摘要：企业导入大型语言模型应用面临输出不确定性的挑战，难以掌控模型实际行为，增加了系统验证与维护的负担。针对这个问题，以色列人工智能公司AI21 Labs推出名为Maestro的企业级人工智能规划与调度平台，通过动态任务规划、自动调度（Orchestration）与

企业导入大型语言模型应用面临输出不确定性的挑战，难以掌控模型实际行为，增加了系统验证与维护的负担。针对这个问题，以色列人工智能公司AI21 Labs推出名为Maestro的企业级人工智能规划与调度平台，通过动态任务规划、自动调度（Orchestration）与即时验证（Validation）等技术，降低大型语言模型输出的不稳定性与不可预测性，协助企业将生成式人工智能落地至业务流程中。

Maestro的核心技术特点是将单一提示词拆解成任务指令词与验证需求两部分，并在推论阶段监控与验证模型生成的内容。这种机制不同于过去依赖模型一次性产出结果，而是以动态树状结构创建多样生成路径。系统会同时生成多个候选输出，并根据默认标准验证每个候选方案的正确性，持续淘汰或修正不合格的结果，直到最终输出完全符合适户设置的需求条件。

Maestro内部会依据任务需求动态调整生成策略，包括在广度上采用Best-of-N策略，也就是针对同一问题同时产生多个候选结果，再选取最佳方案，以及在深度上运用Generate-and-Fix策略，针对接近需求的候选输出进行多次迭代修正。通过交错运用这两种方法，有效提高模型结果的准确性与稳定性。此外，系统也支持外部工具集成，例如通过检索增强生成（RAG）机制集成企业内部知识库或外部数据源，进一步提高输出结果的正确性。

用户借由Maestro的执行关注（Execution Trace）与验证报告机制，可掌握系统运行细节，其详细呈现每一步生成过程、执行策略选择以及验证结果。用户可根据报告即时掌握模型决策的依据与执行情形，进一步调整与改进系统运行规则，避免企业内部人工智能应用成为难以维护的黑盒子。

AI21 Labs表示，Maestro已经在复杂推理应用、内部文件生成、数据集成及严格格式控制等场景获得验证，例如具多步骤推理与多文件检索的FRAMES基准测试中，Maestro的动态规划与验证架构大幅提高了正确率。通过内置的LLM-as-a-Judge及程序化验证两种验证机制，可将企业特定的验证逻辑直接导入生成流程，确保输出结果严谨符合业务或法规要求。

在实际应用上，企业可根据具体需求定义验证条件，包括格式限制、内容规范、语气控制或其他特殊需求，Maestro系统将在生成过程中持续验证并自动修正，直到满足设置要求或预算资源耗尽为止。

来源：十轮网