微软 Agentic 组织:下一代 AI 系统

B站影视 电影资讯 2025-11-14 14:00 1

摘要:想象一下:你面对一道复杂数学题,不是一个人死磕,而是能瞬间召唤3-4个"分身"同时从不同角度进攻,还能动态调配任务、合并成果。这不是科幻,而是LLM通过强化学习学会的真本事。

微软研究院提出了一种全新的推理范式:AsyncThink(异步思维)

想象一下:你面对一道复杂数学题,不是一个人死磕,而是能瞬间召唤3-4个"分身"同时从不同角度进攻,还能动态调配任务、合并成果。这不是科幻,而是LLM通过强化学习学会的真本事。

传统LLM推理就像一条单行道:Chain-of-Thought(CoT) 必须一个字一个字按顺序生成。虽然有效,但效率低下。近年来流行的并行思考(Parallel Thinking) 虽然能生成多条独立推理路径再投票表决,但存在致命短板:

三种思维范式对比

图1:三种思维范式的本质区别。AsyncThink的精髓在于"动态组织"——不是简单地并行,而是学会何时分叉、何时聚合

延迟陷阱:必须等最慢的那条路径完成僵硬结构:手工设计的固定流程,无法根据问题难度自适应调整学习困境:难以通过强化学习优化组织结构概念定义计算机系统类比Agent顺序执行动作的模型实例CPU核心Agent Pool可同时运行的agent集合多核CPUOrganization Policy组织agent协作并发的策略多进程程序

表1:Agentic Organization概念与计算机系统的优雅类比

整个系统通过四个简单的文本标签实现复杂协同:

子任务描述 :组织者向空闲工人i分配子查询 :组织者等待工人i返回结果并合并最终答案 :终止推理Think :组织者自己继续思考

协议示例

图2:AsyncThink的完整 thinking protocol。注意看 organizers 如何像项目经理一样动态调配任务

问题来了:现有语料库压根没有这种Fork-Join对话数据,怎么办?

解决方案:用GPT-4o合成数据!具体步骤:

分析每个查询,识别"条件独立"的思维片段生成符合协议格式的organizer-worker对话轨迹过滤格式错误的数据

关键技巧:为避免模型只学到单一模式(如总是先Fork再Join),研究者随机采样动作序列作为提示,强制模型探索多样化结构。

RL框架

图3:专为AsyncThink设计的RL框架。注意episode包含多条trace,但共享同一个优势函数

奖励设计三板斧

(并发度奖励)

目标:鼓励模型让workers并行跑起来,而不是 sequential 地一个个用!

在这个需要找出4种不同解法的算术游戏中,AsyncThink展现出惊人优势:

Countdown实验结果

图5:"≥a Correct"表示成功找到a个不同解。AsyncThink在"全部正确"指标上达到89.0%,远超基线的68.6%和70.5%

表2:关键数据——AsyncThink用更短延迟达到同等甚至更高准确率,延迟降低28%!

当只在Countdown任务上训练的AsyncThink被直接扔到Sudoku图论遗传学等完全陌生的领域时,它依然能熟练使用Fork-Join策略!

表4:零样本泛化到Sudoku任务。注意模型从未见过Sudoku数据,却自发学会了如何分解这个新问题

Countdown思考轨迹

图8:真实推理轨迹。Organizer先派worker探索乘法路径,自己同时找其他组合,发现差距后又动态发起新子任务

数学推理轨迹

图9:面对四面体几何题,organizer同时fork三个worker用不同方法(向量法、重心法、假设法),最后交叉验证得到一致答案

MMLU-Pro图论问题

遗传学问题

图10-11:未经训练的图论和遗传学问题,AsyncThink依然能正确分解任务。这证明它学的是"如何组织"的元能力

训练动态揭秘

通过监控RL训练过程,可以看到模型如何进化:

训练曲线

图6:训练过程中的关键指标变化。注意并发比率先降后升,说明模型经历了从"瞎试"到"有策略地并行"的转变

The Era of Agentic Organization: Learning to Organize with Language Modelshttps://arxiv.org/abs/2510.26658https://aka.ms/GeneralAI

来源:同行者一点号1

相关推荐