摘要：该论文的创新之处在于提出了一种全新的大规模自博弈强化学习框架GIGAFLOW，并证明其能够有效训练出通用且具备鲁棒性的驾驶策略。

车东西

作者 ｜ Janson

编辑 ｜ 志豪

一天训练950年驾驶经验，苹果让自动驾驶自己“修仙”。

车东西2月24日消息，日前，苹果在机器学习研究页面公布了一项其在自动驾驶领域最新的研究论文。

苹果自动驾驶前沿进展在Apple官网

该论文的创新之处在于提出了一种全新的大规模自博弈强化学习框架GIGAFLOW，并证明其能够有效训练出通用且具备鲁棒性的驾驶策略。

数据显示，通过这一套自监督训练体系，每10天即可完成16亿公里的训练，等效约9500年的驾驶经验，换算成一天就相当于1.6亿公里和950年驾驶经验。

而这样的训练，成本控制也十分突出，每百万公里的模拟成本低于5美元（约合人民币36.1元），且不需要真实世界数据。

这项研究的公布也证明了苹果即使在放弃了造车之后，也还没有完全停止对于汽车行业的关注，或许未来苹果也会在自动驾驶领域拿出令人震惊的新产品。

苹果造车历程始于 2008 年乔布斯亲自启动的 “泰坦计划”，历经多次战略调整、团队重组和领导层变动，目标从全自动驾驶转向技术开发，但因战略模糊和执行不力，始终未能推出实质性产品。

终于在2024年初，苹果正式放弃电动汽车开发，据媒体报道，当时的苹果在造车项目上至少已经投入了100亿美元（约合人民币721亿元）。这样的结局也引发了马斯克、雷军等不少科技圈大佬的集体感怀。

GIGAFLOW是一个高度并行化的模拟器和强化学习框架，专门为自博弈训练而设计。其主要目标是通过模拟数十亿公里的驾驶数据，训练出一种能够适应多种交通参与者和驾驶风格的通用驾驶策略，同时这也是一种不需要真实世界数据的训练模型。

GIGAFLOW能够在8块GPU上同时模拟3.84万个虚拟环境，每小时生成4.4亿次状态转换，这相当于42年的驾驶经验。

值得一提的是GIGAFLOW的模拟环境设计简洁，但通过大规模自博弈的方式弥补了其设计上的简化。

GIGAFLOW的环境模拟

GIGAFLOW使用了8张基本地图，每张地图的车道总长度在4到40公里之间。这些地图经过随机变换（例如缩放和翻转）生成新的变体，形成一个总长136公里的道路网络。

在这样的“世界”中，每个智能体从随机位置出发，目标是到达地图中随机生成的目的地，途中需要经过若干个中间点。

GIGAFLOW的不同驾驶风格

从交互决策的角度来看，这样的环境中最多可以同时存在150个智能体（包括车辆和行人等），所有参与者均由同一策略控制，但通过参数化条件展现出多样化的行为模式，如激进驾驶和守法驾驶等。

在训练过程中，智能体通过自博弈逐步学会了复杂的驾驶行为。

这些行为包括在拥堵路段执行“拉链式”并线、在环岛中协调通行、在狭窄空间中执行多点掉头，以及在发生事故或遇到路障时重新规划路径。

要知道，所有这些复杂行为均是在没有预设脚本或人类示例的情况下，通过自博弈自然涌现的。

从能力上看，GIGAFLOW在单节点上进行3.84万个并行环境的模拟，通过GPU加速的物理计算和动态状态压缩，显著降低了内存占用和通信开销。

在训练资源配置方面，GIGAFLOW完整训练需要2000GPU小时（大约10天完成），总计算量约为2.3×10^19FLOP，训练数据总量为16亿公里。

根据AWS p4d实例（8 GPU/节点）的价格估算，总训练成本约为4.8万美元（约合人民币34.56万元），低于同类强化学习方案。

GIGAFLOW训练量对比其他模型

此外，依赖人类数据的模仿学习通常需要高昂的数据标注成本，而GIGAFLOW则避免了这一部分开销。

为了进一步提升效率，GIGAFLOW采用了优势过滤技术，通过动态阈值丢弃低优势样本，减少约80%的反向传播计算量，再加上所有交通代理（包括车辆和行人）共享同一策略网络，避免了多模型训练的开销。

所有交通参与者共享同一策略网络

此外，GIGAFLOW通过离线生成地图的栅格化特征（如车道拓扑和交通灯位置）优化也可以减少实时计算负载。

然而，GIGAFLOW仍存在一些成本局限性，例如对8 GPU节点级算力的依赖，还有一定门槛，该策略的鲁棒性需要超过15亿公里的训练量，短周期训练难以收敛。

再加上车辆动力学和奖励函数的实时随机化会增加约15%的计算负载，可以说这个系统是目前自动驾驶训练一个不错的发展方向，但还远未到达“革命性”时刻。

在基准测试中，GIGAFLOW策略的零样本泛化能力在三个主流自动驾驶基准上得到了验证，包括CARLA、nuPlan和Waymax。

CARLA基于手工设计的驾驶场景，主要评估长距离驾驶中的表现；nuPlan基于记录的真实驾驶数据，评估短距离驾驶中的表现；Waymax则使用Waymo Open Motion Dataset构建的模拟环境，评估复杂场景中的驾驶表现。

GIGAFLOW在CARLA的测试表现

测试结果显示，GIGAFLOW的策略在所有基准上均超越了特定于基准的专家模型，展现出较强的零样本泛化能力，甚至在未针对任何特定基准进行微调的情况下，其表现仍优于那些专门为基准优化的模型。

在CARLA中，GIGAFLOW的策略能够有效处理突发的行人穿越和拥堵的交叉路口等复杂场景。

GIGAFLOW在其他基准下的测试表现

而在nuPlan和Waymax的基准测试中，GIGAFLOW策略展现了自然且鲁棒的驾驶行为。

进一步分析表明，GIGAFLOW策略在长期驾驶鲁棒性方面也表现优秀，在降低动态噪声和提高控制频率的条件下，智能体平均可以连续驾驶1750万公里才发生一次事故，而美国人类驾驶者的平均事故发生率为每82.9万公里一次。

GIGAFLOW在模拟/决策不同值情况下模型的事故率

此外，研究者还深入探讨了GIGAFLOW策略的行为特性，包括其长远决策能力，能够根据未来可能发生的事件（如150米外的路障）调整当前的驾驶行为；多样化驾驶风格，策略可以通过调整参数化条件展现从谨慎到激进的多种驾驶风格；以及在需要多主体协调的复杂场景（如车流合并）中，策略展现出灵活且自然的行为。

不过，这样的成就在该项目团队中也还有不少进展空间，尽管这种方法的优势在于减少了对人工数据采集的依赖，能够生成多样化的驾驶行为，但是研究仍存在局限性。

首先，纯模拟训练的策略尚未在现实世界中进行验证，因此其在实际应用中的表现仍然未知。

此外，研究假设感知系统是完美的，但在现实中，传感器噪声和环境的不确定性可能会显著影响策略的表现。

最后，尽管自博弈展现了强大的泛化能力，但如何将其与基于人类数据的模仿学习相结合，仍然是未来研究的重要方向。

这篇论文通过GIGAFLOW框架展示了自博弈在自动驾驶领域的巨大潜力。不过，目前该模型仍有诸如真实世界的验证和感知系统的集成等许多挑战需要解决。

从苹果的角度来看，尽管其已经官宣停止造车项目，但从目前来看还并没有放弃在机器学习领域的前沿追求，仍在继续发力汽车行业。

GIGAFLOW框架的研究为未来的自动驾驶研究开辟了新的方向，也为其他多智能体协作领域提供了的启发。我们不妨期待苹果在自动驾驶领域给行业带来的更多震撼。

来源：车东西Fast