摘要：这项由上海AI实验室的吕琦、孔维杰、李昊等研究人员领导的研究发表于2025年9月，题为《F1: A Vision-Language-Action Model Bridging Understanding and Generation to Actions》。有

这项由上海AI实验室的吕琦、孔维杰、李昊等研究人员领导的研究发表于2025年9月，题为《F1: A Vision-Language-Action Model Bridging Understanding and Generation to Actions》。有兴趣深入了解的读者可以通过项目主页 https://aopolin-lv.github.io/F1-VLA 或GitHub仓库 https://github.com/InternRobotics/F1-VLA 访问完整论文和代码。

当你看到一个熟练的厨师在准备晚餐时，你会发现一个有趣的现象：他们总是能预判下一步需要做什么。在切洋葱的同时，他们已经在脑海中想象着洋葱在锅中翻炒的样子，提前准备好调料和火候。这种"预见未来"的能力让他们的动作流畅自然，从不慌乱。

然而，目前的机器人却更像一个只会照着菜谱机械操作的新手，它们只能根据当前看到的情况做出反应，无法预测下一秒会发生什么。这就是为什么机器人在复杂环境中表现得如此笨拙——它们缺乏"想象力"。

上海AI实验室的研究团队决定改变这一现状。他们开发了一个名为F1的机器人"大脑"，这个大脑最神奇的地方在于它能够"预见未来"。就像那位经验丰富的厨师一样，F1能够在执行动作之前先在脑海中想象出下一步的画面，然后基于这个想象来指导自己的行动。

这种革命性的设计思路彻底改变了机器人的工作方式。传统的机器人就像一个近视眼，只能看清眼前的东西然后做出反应。而F1更像一个具有远见的规划师，它不仅能理解当前的环境和任务指令，还能预测接下来会发生什么，然后制定出最合适的行动策略。

研究团队在多个机器人平台上测试了F1的能力，包括双臂协作机器人Genie-1、工业机器人Franka以及移动操作机器人ARX LIFT II。实验结果令人震撼：F1在各种复杂任务中的成功率都大幅超越了传统方法，特别是在需要长期规划和动态适应的任务中表现尤为出色。

一、机器人的"想象力"是如何工作的？

要理解F1的工作原理，我们可以把它想象成一个拥有三个不同技能的团队。第一个成员是"理解专家"，就像一个经验丰富的翻译，能够准确理解人类的语言指令并分析当前的环境情况。第二个成员是"想象专家"，这是整个团队中最有创意的部分，它能够根据当前情况和任务要求，在脑海中描绘出未来几秒钟可能出现的画面。第三个成员是"执行专家"，它根据前两位同事提供的信息，制定出具体的行动计划。

这三个专家之间的协作遵循一个严格的流程。首先，理解专家接收人类的指令和当前的视觉信息，就像一个管家接收主人的要求并观察房间的现状。然后，想象专家基于这些信息创造出一幅"未来图景"——它会想象执行任务后环境会变成什么样子。最后，执行专家看着这幅想象中的图景，反推出需要执行的具体动作序列。

这种设计的巧妙之处在于，它将复杂的机器人控制问题转化为一个相对简单的"逆向工程"问题。就好比你看到一幅完成的拼图，然后反推需要如何摆放每一块拼图片一样。传统的机器人需要直接从当前状态推导出正确的动作，这就像在黑暗中摸索前进。而F1先想象出目标状态，然后找出达到这个状态的路径，这就像有了明确的目的地和地图指引。

想象专家使用了一种特殊的技术来生成未来画面，这种技术叫做"下一尺度预测"。简单来说，它不是一次性生成完整的高清图像，而是像画家作画一样，先勾勒出大致轮廓，再逐步添加细节。这种方法不仅计算效率高，而且能够抓住最重要的视觉特征，为后续的动作规划提供关键信息。

为了确保三个专家之间的有效协作，研究团队设计了一套名为"渐进式注意力机制"的协调系统。这个系统就像一个精心设计的会议流程：理解专家首先发言，分享自己的分析结果；想象专家在听取第一位同事的意见后，提出自己的预测；最后，执行专家综合前两位的观点，制定行动方案。这种单向的信息流动确保了决策过程的逻辑性和可靠性。

二、从零开始培养机器人的"预见能力"

教会机器人预见未来并非一蹴而就的过程，就像培养一个优秀的厨师需要经历学徒、帮厨和主厨三个阶段一样。研究团队设计了一套三阶段的训练方案，每个阶段都有其特定的学习重点和目标。

第一阶段可以比作"打基础"的过程。在这个阶段，研究团队主要训练想象专家的能力，让它学会根据历史画面和任务指令预测下一帧图像。这就像教一个学徒观察师傅的动作，然后想象下一步会发生什么。训练过程中，系统会看到一系列连续的图像以及对应的任务描述，然后尝试预测下一张图像应该是什么样子。如果预测准确，系统就得到正面反馈；如果预测错误，就调整自己的判断标准。

有趣的是，这个阶段的训练采用了"教师强制"的方法，就像一位严格的老师会立即纠正学生的错误一样。当想象专家尝试预测下一帧图像时，训练系统会在每一步都提供正确答案作为参考，确保学习过程的准确性和效率。

第二阶段是"综合训练"阶段。此时，三个专家开始协同工作，系统需要同时学习预测未来画面和执行相应动作。这个阶段使用了大量的机器人操作数据，涵盖了136种不同的任务和超过33万个操作轨迹。训练数据来源广泛，包括了不同类型的机器人、不同的视角设置，以及从简单的物品抓取到复杂的多步骤操作等各种场景。

在这个阶段，训练方法发生了重要变化。系统不再依赖"教师强制"，而是采用完全自主的预测模式，就像学徒开始独立操作，不再需要师傅手把手指导。想象专家必须基于自己之前的预测结果来生成下一步的预测，这种训练方式更接近实际应用场景，能够提高系统的泛化能力。

第三阶段是"专业化定制"阶段。经过前两个阶段的通用训练，F1已经具备了基本的理解、想象和执行能力。在这个阶段，研究团队会针对特定的机器人平台和任务类型进行精细调优。这就像一位已经掌握基本烹饪技能的厨师，开始专精某一种菜系或烹饪风格。

整个训练过程使用了两个相互关联的学习目标。第一个目标是提高想象能力，系统需要准确预测未来的视觉状态。第二个目标是优化执行能力，系统需要生成能够实现预期结果的动作序列。研究团队使用了一种叫做"流匹配"的先进技术来训练执行专家，这种方法能够处理连续的动作空间，生成更加流畅自然的机器人动作。

三、在真实世界中的惊人表现

F1的真正价值在实际应用中得到了充分体现。研究团队在多个机器人平台上进行了广泛的测试，结果证明这种"预见未来"的方法确实带来了革命性的改进。

在双臂协作机器人Genie-1上的测试中，F1展现出了令人惊叹的多任务处理能力。研究团队设计了九项不同的任务，包括基础的物品抓取放置、精密操作、双手协调以及人机交互等。在"放置钢笔"任务中，F1实现了93.3%的成功率，而传统方法只有66.7%。在更具挑战性的"机器人到人类递交"任务中，F1的成功率高达73.3%，远超传统方法的40%。

这些数据背后反映的是F1在复杂环境中的适应能力。传统的机器人在遇到轻微的环境变化时往往会失败，比如物品位置的微小偏移、光照条件的改变，或者人类动作的不确定性。而F1通过预测未来状态，能够提前调整策略，就像一个经验丰富的司机能够预判路况变化并提前采取应对措施。

在工业机器人Franka上的测试更是验证了F1的精密操作能力。研究团队设计了两类任务：清扫和分拣。在清扫任务中，F1平均能成功清理7.1个物品（总共8个），而传统方法只能清理4.9个。更重要的是，F1完成任务所需的尝试次数明显减少，从平均4.8次降低到3.5次，并且几乎不会出现"空挥"现象（从2.4次降低到0.8次）。

这种精确性的提升源于F1对未来状态的准确预测。当机器人需要清扫桌面时，它不再是盲目地移动机械臂，而是先在"脑海"中想象清扫后桌面应该是什么样子，然后制定出最高效的路径。这种方法特别适用于需要精密控制的工业应用场景。

四、动态环境中的卓越适应性

F1最令人印象深刻的能力之一是在动态环境中的表现。为了测试这种能力，研究团队设置了一个特殊的实验场景：在厨房环境中安装了一条传送带，上面放置着不断移动的食物。机器人的任务是根据语言指令抓取指定的食物，这就像在移动的火车上精确抓取特定物品一样困难。

在这个极具挑战性的测试中，F1展现出了惊人的动态适应能力。当系统接收到"抓取生菜"的指令时，它不仅需要识别传送带上的生菜，还要预测生菜在未来几秒内的位置，然后计算出最佳的拦截轨迹。最终，F1在"抓取生菜"和"抓取面包"两个动态任务中都达到了80%的成功率，综合成功率为66.7%，而传统方法仅为33.3%。

这种能力的实现得益于F1独特的预测机制。当面对移动目标时，系统会持续更新对未来状态的预测，就像一个优秀的棒球手能够预判来球轨迹并提前移动到最佳击球位置。传统的反应式机器人往往会"追着目标跑"，导致动作迟缓和失误频发。而F1通过预测目标的未来位置，能够制定出更加高效的拦截策略。

五、长期任务中的规划智慧

真正考验机器人智能的是那些需要多步骤协调的复杂任务。为了验证F1在这方面的能力，研究团队设计了一个包含十个步骤的长期任务序列，整个过程大约需要两分钟完成。这个任务就像完成一套复杂的家务流程：首先拿起可乐放入盒子，然后拿香蕉也放入盒子，接着倒出盒子，拿起抹布擦拭桌面，再拿起扫帚和簸箕清理桌面，最后接住滚动的球并倒掉簸箕中的垃圾。

在这个复杂的测试中，传统方法在完成前四个步骤后就完全失效了，所有后续步骤的成功率都降到了零。这种现象很好理解：传统机器人就像一个没有记忆的人，每一步都要重新分析整个情况，随着任务的进行，累积的误差和不确定性会导致系统完全崩溃。

相比之下，F1展现出了出色的长期规划能力。它在前五个步骤中都保持了90%以上的成功率，即使在后续更具挑战性的步骤中，成功率仍然维持在40%到73%之间。这种持续的执行能力源于F1的预测机制：每一步执行前，系统都会想象完成当前步骤后的场景，这种"想象"帮助它保持对整个任务流程的清晰认识。

更令人惊讶的是，F1还展现出了一定的错误恢复能力。当某个步骤执行不够完美时，系统能够调整后续的预测和规划，就像一个有经验的工人能够在发现问题后快速调整工作策略。这种灵活性对于实际应用场景至关重要，因为现实世界中总是充满了不可预见的变化。

六、跨平台的通用智能

F1的另一个重要特点是它的通用性。研究团队在三个完全不同的机器人平台上测试了F1的性能，每个平台都有其独特的机械结构、控制系统和应用场景。

在双臂协作机器人Genie-1上，F1主要处理需要双手协调的任务。这类任务特别困难，因为系统需要同时控制两只机械臂，确保它们之间的动作协调一致。就像人类用双手折纸或者进行精密装配一样，任何一只手的动作失误都可能导致整个任务失败。F1通过预测未来状态，能够提前规划两只机械臂的协调路径，大大提高了复杂操作的成功率。

在工业机器人Franka上，F1面临的挑战是高精度的定位和操作。工业环境对精度要求极高，毫米级的误差都可能导致产品质量问题。F1的预测能力在这种场景下显得尤为重要，因为它能够预见操作过程中可能出现的偏差，提前进行补偿调整。

在移动操作机器人ARX LIFT II上，F1需要处理移动和操作的双重挑战。这种机器人既要在空间中移动到正确位置，又要执行精密的操作任务。F1通过整合空间预测和操作预测，能够优化整个任务的执行路径，减少不必要的移动和调整。

令人印象深刻的是，尽管这三个机器人平台在硬件和软件方面存在显著差异，F1都能够快速适应并实现优异的性能。这种跨平台的通用性证明了F1架构设计的合理性和预测方法的普适性。

七、"预见能力"的质量评估

为了深入理解F1的预测质量，研究团队开发了一套独特的评估方法。他们邀请了一个大型视觉语言模型作为"评判员"，从三个关键维度评估F1生成的未来图像质量。

第一个维度是"场景一致性"，评估预测图像是否与历史图像在环境布局、光照条件和纹理细节方面保持一致。这就像检验一幅连环画中不同画格的背景是否协调一致。研究发现，F1在这个维度上表现最好，能够准确维持环境的基本特征。

第二个维度是"物体一致性"，检查预测图像中的物体是否在身份、外观和位置方面合理。这个维度最具挑战性，因为物体的形状和位置会随着机器人的操作而发生复杂变化。虽然F1在这个维度上仍有改进空间，但已经能够捕捉到大多数重要物体的基本特征。

第三个维度是"任务进展一致性"，评估预测图像是否合理反映了任务执行后的状态。有趣的是，尽管F1在物体细节方面不够完美，但它在任务逻辑方面表现出色，能够准确预测任务执行后应该出现的关键变化。

这种评估结果揭示了一个重要的发现：对于机器人控制而言，预测的逻辑正确性比视觉完美性更为重要。F1不需要生成电影级别的逼真画面，它只需要抓住足够的关键信息来指导后续的动作规划。这种发现为未来的研究指明了方向，即应该更多关注预测的任务相关性而非视觉保真度。

八、与传统方法的深度对比

为了全面评估F1的性能，研究团队在多个标准测试集上与现有的主流方法进行了详细比较。这些对比实验覆盖了从基础操作到复杂推理的各种场景。

在LIBERO测试集上，F1与包括Diffusion Policy、OpenVLA、π0等多个知名系统进行了比较。LIBERO是一个综合性的机器人操作测试平台，包含了空间推理、物体操作、目标导向和长期规划四个子测试。在所有四个子测试中，F1都取得了最高的成功率和最佳的排名。特别是在长期规划任务中，F1的优势最为明显，成功率达到91.3%，显著超越其他方法。

在SimplerEnv Bridge测试集上的结果同样令人鼓舞。这个测试集专注于精密操作和复杂环境适应。F1在"胡萝卜放盘"任务中的抓取成功率达到87.5%，任务完成率为70.8%；在"茄子入篮"任务中更是实现了100%的抓取成功率和66.7%的任务完成率。这些数据反映了F1在处理不同形状、大小和材质物体时的优异适应性。

更深层次的分析表明，F1的优势主要体现在三个方面。首先是对动态环境的适应性，传统方法在环境发生变化时往往需要重新学习，而F1通过预测机制能够快速适应新情况。其次是长期规划能力，大多数现有方法只能处理短期的反应式任务，而F1能够维持长期的任务执行一致性。最后是跨任务的泛化能力，F1在不同类型任务之间展现出了良好的知识迁移能力。

九、技术架构的深度解析

F1的成功离不开其精心设计的技术架构。整个系统建立在Transformer架构基础上，但进行了专门的优化和改进。理解专家采用了与PaliGemma相同的架构设计，能够有效处理多模态输入信息。生成专家和执行专家则基于Gemma骨干网络构建，确保了系统的一致性和兼容性。

系统使用了Swish激活函数、RMSNorm归一化和旋转位置编码等先进技术，这些组件的组合优化了模型的训练效率和推理性能。初始化策略也经过精心设计：理解专家和执行专家继承了π0的预训练权重，而生成专家则随机初始化，并配备了来自VAR的预训练残差VQ-VAE用于图像量化。

训练数据的规模和多样性也是F1成功的关键因素。整个训练语料库包含了约33万个操作轨迹，涵盖136种不同任务，总计7380万帧图像。数据来源包括Agibot-World、Open-X-Embodiment、LIBERO等多个大规模数据集，确保了系统能够学习到丰富多样的操作模式和环境适应策略。

训练过程分为三个阶段，每个阶段都有特定的超参数设置。第一阶段使用1280的批次大小和3.0×10??的学习率进行51.2万步训练。第二阶段将批次大小增加到2880，学习率调整为5.0×10??，训练10万步。第三阶段针对具体任务进行精调，批次大小降至128，但训练轮数根据任务复杂度灵活调整。

十、广阔的应用前景和深远影响

F1的出现不仅仅是技术上的突破，更预示着机器人应用领域的根本性变革。这种"预见未来"的能力将使机器人在众多现实场景中发挥更大作用。

在制造业中，F1型机器人能够处理更加复杂和精密的装配任务。传统的工业机器人主要从事重复性的简单操作，而具备预测能力的机器人能够应对产品变化、处理异常情况，甚至与人类工人协同完成复杂的制造流程。这将推动制造业向更加灵活和智能的方向发展。

在服务行业，F1的应用潜力同样巨大。家庭服务机器人能够更好地理解和执行家务任务，餐饮服务机器人能够应对复杂的点餐和配送需求，医疗辅助机器人能够协助医护人员完成精密的医疗操作。这些应用将显著提升服务质量和效率，改善人们的生活体验。

在科学研究领域，F1型机器人能够承担更多的实验操作任务。科学实验往往需要极高的精度和一致性，而机器人的预测能力能够减少实验误差，提高结果可靠性。同时，机器人能够处理危险或者重复性的实验操作，解放科研人员去从事更富创造性的工作。

从更宏观的角度来看，F1代表了人工智能发展的一个重要里程碑。它首次在机器人领域实现了感知、预测和行动的有机统一，这种能力被认为是通用人工智能的重要特征之一。随着技术的进一步发展和完善，我们有理由相信，具备预见能力的智能系统将在更多领域发挥重要作用。

当然，任何新技术的发展都不是一帆风顺的。F1目前仍然面临一些挑战，比如预测图像的细节质量有待提高，对复杂动态环境的适应性还需要进一步增强，以及系统的计算效率和实时性需要持续优化。研究团队也认识到这些问题，并在论文中详细讨论了未来的改进方向。

展望未来，研究团队计划将F1扩展到更多类型的机器人平台，包括移动机器人、无人机甚至人形机器人。他们还希望将物理规律和世界模型更深入地融入到预测机制中，使机器人能够做出更加准确和可靠的未来预测。此外，结合强化学习和在线适应技术，让机器人能够在实际应用中持续改进自己的性能，也是一个重要的研究方向。

归根结底，F1的成功证明了一个重要观点：赋予机器人"想象未来"的能力，能够从根本上提升它们在复杂动态环境中的表现。这种技术突破不仅推动了机器人学的发展，也为人工智能的进步开辟了新的道路。随着技术的不断成熟和完善，我们有理由期待在不远的将来看到更多具备预见能力的智能机器人进入我们的日常生活，为人类社会的发展做出更大贡献。

Q&A

Q1：F1机器人大脑与传统机器人有什么根本区别？

A：传统机器人只能根据当前看到的情况做出反应，就像一个近视眼只能看清眼前的东西。而F1能够"预见未来"，它会先在脑海中想象执行任务后的画面，然后基于这个想象来指导行动，就像经验丰富的厨师能预判下一步需要做什么一样。

Q2：F1的预测准确率怎么样？会不会经常预测错误？

A：F1在各种任务中的成功率都大幅超越传统方法。比如在机器人递交任务中达到73.3%成功率（传统方法仅40%），在动态环境抓取任务中达到80%成功率。虽然预测的视觉细节不够完美，但任务逻辑预测非常准确，足以指导机器人完成复杂操作。

Q3：F1技术什么时候能在日常生活中见到？有哪些实际用途？

A：F1目前已经在三种不同机器人平台上验证成功，未来将应用于制造业的精密装配、家庭服务机器人、餐饮服务、医疗辅助等领域。这项技术能让机器人处理更复杂的任务，与人类更好协作，预计在几年内就能在专业领域看到应用。

来源：码客人生一点号