摘要：这项由Meta FAIR实验室的陈德龙（Delong Chen）、Théo Moutakanni等研究人员领导的研究发表于2025年9月，研究论文可通过arXiv:2509.02722v2访问。有兴趣深入了解的读者可以关注这一突破性的人工智能规划技术进展。

这项由Meta FAIR实验室的陈德龙（Delong Chen）、Théo Moutakanni等研究人员领导的研究发表于2025年9月，研究论文可通过arXiv:2509.02722v2访问。有兴趣深入了解的读者可以关注这一突破性的人工智能规划技术进展。

想象一下你正在厨房里准备做一道番茄炒蛋。在动手之前，你的大脑会自动"预演"整个过程：先预热平底锅，然后打散鸡蛋，接着下锅炒制，最后加入番茄调味。这种在脑海中模拟未来行动的能力，正是人类智能的核心特征之一。而现在，Meta FAIR的研究团队成功让AI也具备了这种"想象未来"的能力。

传统的AI系统就像一个只会照着菜谱按部就班操作的新手厨师，它们只能根据既定的指令执行任务，缺乏灵活性和前瞻性。一旦遇到意外情况或需要做出复杂决策时，这些系统往往表现得束手无策。Meta FAIR的研究团队意识到，要让AI真正智能化，就必须赋予它们类似人类的"世界模型"能力——也就是在内心构建一个虚拟世界，在这个世界中预演不同的行动方案，然后选择最优的执行路径。

研究团队开发的视觉语言世界模型（Vision Language World Model，简称VLWM）就像是给AI装上了一个"想象力引擎"。这个引擎可以观看视频，理解当前的环境状态，然后在"脑海"中模拟出执行不同行动后可能产生的结果。更重要的是，VLWM不是用复杂的数学公式来表示这些想象，而是用自然语言来描述，就像人类在心中自言自语一样。

这项研究的创新之处在于提出了两种不同的规划模式。第一种叫做"系统-1规划"，就像是一个经验丰富的厨师，凭借直觉和经验快速做出反应。当遇到熟悉的情况时，AI可以立即生成行动计划，效率极高。第二种叫做"系统-2规划"，则更像是一个深思熟虑的战略家，会在脑海中反复权衡不同方案的利弊，最终选择成本最低、效果最好的行动路径。

为了训练这个系统，研究团队可谓下了"血本"。他们收集了超过18万个视频，涵盖800多天的录像内容，这些视频包括YouTube上的教学视频、专业烹饪节目，以及从第一人称视角拍摄的日常活动记录。研究团队将这些视频转换成了一种叫做"标题树"的结构化文本表示，总共生成了2100万个详细的视频说明，包含超过2.7万亿个词汇。

在处理这些海量数据时，研究团队面临了一个技术难题：如何在有限的计算资源下同时保证高清画质、长时间跨度和复杂理解能力？他们的解决方案相当巧妙，采用了两阶段策略。首先，将原始视频压缩成分层的文本描述，大大减少了数据量；然后，使用大型语言模型对这些文本进行精细化处理，提取出结构化的目标-计划表示。

VLWM的工作原理可以用一个生动的比喻来解释。假设你要教一个机器人做菜，传统方法是给它一本详细的食谱，告诉它每一步该做什么。而VLWM的方法则是让机器人观看大量的烹饪视频，学会理解"预热锅子会让食物不粘锅"、"先炒鸡蛋再加番茄会保持鸡蛋的嫩滑"等因果关系。当需要做一道新菜时，机器人可以在"脑海"中模拟不同的操作顺序，预测每种做法的结果，然后选择最佳方案。

系统-2规划模式的核心是一个"评价员"模块，就像是一个苛刻的美食评委，专门负责给不同的行动方案打分。这个评价员通过自监督学习获得了辨别好坏的能力。研究团队设计了多种训练策略：让评价员学会区分有意义的进展和无关的干扰动作，识别正确的操作顺序和错误的步骤排列。通过这种训练，评价员能够准确衡量每个候选计划与目标状态的接近程度。

研究团队在多个基准测试中验证了VLWM的效果。在视觉规划辅助（VPA）基准测试中，VLWM在成功率、准确性和覆盖度等关键指标上都取得了显著提升。更令人印象深刻的是，在他们专门设计的"规划师竞技场"人类评估中，VLWM系统-2模式生成的计划获得了人类评估者的广泛认可，Elo评分达到1261分，远超其他对比模型。

特别值得关注的是，研究团队发现现有数据集的标准答案质量普遍不高。在某些情况下，VLWM生成的计划甚至比数据集提供的"标准答案"更受人类评估者青睐。这一发现揭示了当前AI研究中一个重要问题：我们用来评估AI性能的基准数据可能本身就存在质量问题。

VLWM在机器人问答（RoboVQA）基准测试中也表现出色，在BLEU-1评分中达到74.2分，超越了多个专门针对机器人任务设计的强基线模型。这证明了VLWM不仅能够进行抽象规划，还能在具体的机器人应用场景中发挥作用。

研究团队还对评价员模块进行了深入分析。在目标达成检测任务中，VLWM的评价员在各种测试场景中都表现出了出色的判断能力，能够准确识别何时任务目标已经完成。即使在面对从未见过的任务类型时，评价员仍能保持较高的准确率，展现了良好的泛化能力。

从技术角度来看，VLWM采用了联合嵌入预测架构（JEPA）的设计理念，但将预测目标从像素级图像改为了语言描述。这种设计既保持了预测的准确性，又大大提高了计算效率。相比于生成式模型需要预测每个像素的颜色值，语言描述只需要捕捉任务相关的关键信息，避免了不必要的计算开销。

在实际应用中，VLWM展现了强大的适应性。无论是简单的日常任务如煮饭、整理房间，还是复杂的专业操作如设备维修、实验流程，VLWM都能生成合理的行动计划。系统能够根据不同的情境自动调整策略：对于简单熟悉的任务使用快速的系统-1模式，对于复杂困难的任务则启用深度思考的系统-2模式。

研究团队特别强调了VLWM在可解释性方面的优势。传统的AI规划系统往往像是一个"黑盒子"，我们只能看到输入和输出，却无法理解中间的决策过程。而VLWM使用自然语言来表示世界状态和推理过程，使得其决策过程完全透明可理解。当VLWM建议"先预热平底锅再打蛋"时，它会明确解释："预热可以防止鸡蛋粘锅，确保口感嫩滑"，让用户完全明白推理逻辑。

为了确保研究结果的可重现性，研究团队承诺将开源VLWM的模型和数据。这意味着全球的研究者都能在此基础上进一步改进和扩展，加速整个领域的发展进步。开源策略也体现了Meta FAIR一贯的研究理念：通过开放合作推动人工智能技术的民主化发展。

值得注意的是，VLWM的训练数据涵盖了多种文化背景和操作习惯，这使得系统具备了一定的文化适应性。无论是西式烹饪还是中式炒菜，无论是欧洲的家居整理方式还是亚洲的收纳习惯，VLWM都能理解并生成相应的行动计划。这种文化包容性对于AI系统的全球化应用至关重要。

从计算资源的角度来看，VLWM的设计相当高效。8B参数的主模型配合1B参数的评价员模块，整体规模适中，能够在普通的高性能服务器上运行。相比于某些需要数百亿参数的大型模型，VLWM在保持高性能的同时显著降低了部署成本，为实际应用铺平了道路。

研究团队还探讨了VLWM的局限性和未来改进方向。目前系统主要在相对可控的环境中表现出色，对于高度动态变化的复杂场景仍有改进空间。此外，虽然VLWM在规划方面表现优异，但将计划转化为具体的机器人动作控制仍需要额外的技术支持。

归根结底，VLWM代表了人工智能发展的一个重要里程碑。它不仅仅是一个技术突破，更是向通用人工智能迈出的坚实一步。通过赋予AI系统"想象未来"和"深度思考"的能力，我们正在创造真正智能的机器伙伴。这些AI助手将不再是简单的工具执行者，而是能够主动理解需求、制定策略、适应变化的智能协作者。在不久的将来，无论是家庭日常管理、工作流程优化，还是复杂的科学研究，VLWM这样的智能系统都将发挥越来越重要的作用，真正实现人机协作的理想愿景。有兴趣的读者可以通过访问arXiv:2509.02722v2获取这篇开创性研究的完整内容。

Q&A

Q1：VLWM视觉语言世界模型和普通AI有什么不同？

A：VLWM最大的不同是具备了"想象未来"的能力。普通AI就像只会照着说明书执行的机器人，而VLWM能在"脑海"中模拟不同行动的结果，选择最优方案。它用自然语言来表示推理过程，完全透明可理解，还有两种模式：快速直觉反应和深度思考规划。

Q2：VLWM的系统-1和系统-2规划模式分别适用于什么场景？

A：系统-1适合简单熟悉的任务，就像经验丰富的厨师凭直觉快速做菜一样，效率很高。系统-2适合复杂困难的任务，会像战略家一样反复权衡不同方案，选择成本最低效果最好的路径。系统会根据任务复杂度自动选择合适的模式。

Q3：VLWM在实际应用中表现如何？能用在哪些领域？

A：VLWM在多项测试中都表现出色，在人类评估中获得1261分Elo评分，超越了其他AI模型。它可以应用于家庭日常管理（如烹饪、整理）、工作流程优化、设备维修指导、甚至复杂的科学实验流程规划。由于使用自然语言表示，决策过程完全透明可理解。

来源：码客人生一点号