从智驾到座舱,商汤绝影用生成式AI打开汽车的想象力

B站影视 港台电影 2025-05-12 12:20 2

摘要:商汤绝影CEO、商汤科技联合创始人、首席科学家王晓刚给出的答案是:“真正的AI汽车是将生成式AI深度融入智驾和座舱,既让辅助驾驶安全变得更有确定性,也要让每一辆车拥有‘有趣的灵魂’,成为真正懂你、爱你、守护你的家庭新成员。”

真正的AI汽车是什么样子的?应该具备哪些特征?

商汤绝影CEO、商汤科技联合创始人、首席科学家王晓刚给出的答案是:“真正的AI汽车是将生成式AI深度融入智驾和座舱,既让辅助驾驶安全变得更有确定性,也要让每一辆车拥有‘有趣的灵魂’,成为真正懂你、爱你、守护你的家庭新成员。”

作为专注于汽车行业的AI公司,商汤绝影也是按照这个思路不断进行技术的创新和迭代。

2025上海车展期间,商汤绝影全面展示了系列生成式AI汽车创新产品,包括生成式智驾R-UniAD技术方案、近实时在线交互的4D世界模型“绝影开悟2.0”、专为车载AIOS打造的AI内核“绝影千机”全新升级的“家庭新成员”New Member,以及健康管家、安全卫士和3D交互等AI座舱创新产品。

这涵盖了商汤绝影在汽车领域全产品谱系的布局。

在王晓刚看来,智能汽车经历了从工具到助手再到家庭新成员的范式演进。商汤绝影希望用生成式AI打开汽车的想象力,让每一台车都能拥有有趣的灵魂,成为真正的家庭新成员。

在持续创新生成式AI技术和产品的同时,商汤绝影也在加速推进商业化落地。截至2024年底,商汤绝影已与本田、比亚迪、广汽等超30家国内外车企达成合作,项目覆盖辅助驾驶、智能座舱等多个领域,涵盖130余款车型,量产交付累计突破360万辆。

01

智能驾驶进入生成式阶段

去年以来,端到端技术被认为是智能驾驶实现路径中的“终极形态”,但大多数技术方案都卡在数据、性能、安全三道门槛前。

王晓刚在接受采访时表示,传统端到端模型即使是百万量产车回流的数据量,极端场景有效信息提取率不足1%,且模仿学习的范式难以突破人类驾驶能力的上限。

就在此前,地平线创始人余凯也指出,99%的人类驾驶行为是不值得学习的

王晓刚指出,只有驾驶行为发生改变的数据才有价值,比如应对各种复杂极端的交通场景。通过参差不齐的驾驶行为数据,以及简单场景的数据,只能让模型达到人类平均水平。

这也是为什么商汤绝影的生成式智驾R-UniAD技术方案将强化学习引入到智能驾驶,让端到端智驾与世界交互的不断深入,通过生成的方式真实还原并深度理解驾驶环境,从而主动预测并处理复杂状况,验证辅助驾驶的安全边界,让驾驶安全更有确定性、更加值得信赖,并且超越人类的驾驶极限。

目前智能驾驶已经从规则式智驾进入到端到端智驾时代,王晓刚表示,下一个阶段智能驾驶将进入到生成式阶段

2025年2月,商汤绝影发布了行业首个与世界模型协同交互的端到端技术方案R-UniAD,通过世界模型生成在线交互的仿真环境,以此进行端到端模型的强化学习训练,行业开始迈向生成式智驾。

基于世界模型和强化学习两大核心技术,商汤绝影构建了集“视觉-语言-行动-强化学习”于一体的VLAR技术架构,实现生成式智驾的核心突破。

商汤绝影的R-UniAD技术方案是“多阶段强化学习”端到端技术方案,具体分为三个阶段,首先是依靠冷启动数据通过模仿学习进行云端的端到端辅助驾驶大模型训练;然后基于强化学习,让云端的端到端大模型与世界模型协同交互,持续提升端到端模型的性能;最后云端大模型通过高效蒸馏的方式,实现高性能端到端辅助驾驶小模型的车端部署。

在VLAR技术架构的助力下,商汤绝影能够针对更多复杂长尾场景、极端工况,进行4D仿真复现、强化学习、泛化验证,让端到端模型比人类“看更多”、“学更快”、“开更好”,让辅助驾驶的安全更有确定性。

以车展现场展示的“施工占道场景”为例,R-UniAD先通过“绝影开悟”世界模型构建4D动态环境,再让模型反复在这个世界里强化训练不同策略。最终结果是,模型不仅能精准避让,还能泛化到其它类似场景中。

在少数据场景里跑出更强泛化能力,是当前行业少见的尝试,它不仅降低了数据成本,更提高了模型上限。

02

“绝影开悟”世界模型2.0决胜智驾战场

世界模型是生成式智驾的基石所在。“这些复杂场景、极端工况,无论是采集成本,还是危险性都非常高。”王晓刚认为,强化学习加上世界模型,能够突破人类驾驶行为的上限。

在去年11月发布的“绝影开悟”世界模型基础上,“绝影开悟”升级为2.0版本,进化为近实时在线交互的4D世界模型,能够实现“4D空间自由交互”,推动智能体迈向通用空间智能,成为商汤绝影决胜智驾战场的重磅武器。

“绝影开悟2.0”具备三大能力,首先是“面向量产的数据生成”,它具有多样性场景的可控生成的能力,为模型训练提供了海量且丰富的训练数据。而且,它还能一键生成极端高风险场景。

例如,Cut-in 场景是行车时极为常见但非常重要的场景,“绝影开悟2.0”能够从100多个维度组合生成万千Cut-in场景,包括白天、黄昏、凌晨、夜晚等不同光照类型;晴天、阴天、雨天等不同天气;从高速到城市道路等不同道路等级;不同的车型,不同的Cut-in距离和车辆速度等等。

此外,极端风险场景(如车祸、道路塌陷等)难以采集,成本也非常高昂。“绝影开悟2.0”只需输入一段提示词,就可以生成极端风险场景,让端到端模型可以在安全的虚拟环境中,让系统反复学习和应对这些危险场景,从而在实际驾驶中更好地预判和规避风险。

其次,“绝影开悟2.0”能够实现“复杂场景自由复现”,根据不同需求,任意修改和调整场景中的各种要素,既可以替换特定车辆、插入新的车辆,或者删除不需要的车辆,也能改变道路的布局、车辆的速度,创造稀缺复杂场景,从而丰富训练场景的多样性。

最后,“绝影开悟2.0”具备近实时交互能力,比行业 SOTA 提升 5 倍之多,让仿真训练过程更加高效和逼真,车辆的决策和反馈能够几乎在瞬间得到响应;同时感知结果接近真实精标数据98%,能避免因数据风格差异带来的 Sim-to-Real 迁移时能力退化问题,为端到端模型打造了“云端虚拟训练场”。

王晓刚在接受采访时强调,“我们对世界模型的要求还是非常高的。比如我们有11个摄像头,这里面要做到时空的一致性和真实性,生成的东西必然要是符合交通法则和各种物理规律等。”

按照计划,绝影UniAD一段式端到端量产方案将于2025年第四季度量产交付,该方案基于英伟达DIRVE AGX Thor平台部署,率先搭载于东风汽车

此外,商汤绝影还有更多基于地平线征程®6打造的辅助驾驶方案量产落地奇瑞等众多车企伙伴。

今年3月底,绝影和广汽联合打造的行业首批基于地平线征程®6M的辅助驾驶方案已经正式量产上市。截至目前,商汤绝影在辅助驾驶领域的量产方案已合作4家车企,上车7款车型,2025年将全力推进辅助驾驶方案的量产交付。

针对不同价位车型,王晓刚表示,商汤绝影会针对不同车型和成本,设计不同技术配置,明确每种方案的安全边界和能力上限

与此同时,王晓刚透露称,绝影也正与车企共同提升L3的解决方案。“L3会有更多的冗余备份,对人机的协同性也会提出相应要求,比如要求接管的路径等。它同时它对于厂家融合的要求也会更高一些。”

在王晓刚看来,智能驾驶的难点在于基础设施标准不统一,不是技术本身。目前车端传感器配置不一,数据回流管道也未打通。“未来比拼的是基础设施构建能力。

03

助力车企打造下一代AIOS

生成式AI不仅带来了智驾新范式,同时也在深度融入智能座舱。当大模型上车成为行业共识,越来越多的汽车公司也意识到,只是简单把AI大模型或者智能体应用(Agent)接入车机并不能真正实现智能座舱体验的跨越式提升,生成式AI深度融入智能座舱需要体系化革新,从操作系统到交互体验,再到智能体应用进行全方位升级。

智能座舱一直是商汤的强项,其座舱AI软件市场份额已连续5年位列行业第一。截至2024年底,商汤绝影已与超30家国内外车企达成合作,覆盖130余款车型,量产交付累计突破360万辆,其中多数为座舱领域。

此次上海车展商汤绝影发布了行业首个专为车载AIOS打造的AI内核“绝影千机”,助力车企打造下一代AIOS。

“绝影千机”最核心的三大技术包括MOE多模态大模型、类人记忆框架以及原生智能体框架。同时,AI 基础系统模块、AIOS 工具链和生成式 UI等外围技术,为三大核心模块提供支持与交互。

依托于“日日新SenseNova V6”基模型,商汤绝影构建了覆盖 0.1B 至 70B汽车垂类模型矩阵,模型首字延迟小于 300ms,吐字速度高达 47 Tokens/s,性能超越DeepSeek,还能在快慢思考之间自如切换,契合每一种场景需求。

商汤绝影去年发布的“A New Member For U”(你的家庭新成员),让每一辆车拥有“有趣的灵魂”,今年也进行了全新升级,拥有了多模态识人能力,以及深度思考的能力,表达会更加生动有趣。

之前行业做到的是大模型一对一的交流,如今New Member在业内首次实现免唤醒的多人多轮对话能力,并能随时参与到对话当中,做到“不过度打扰,但时刻陪伴”。

在汽车智能化变革的浪潮中,车载AIOS正在构建全新的AI汽车生态。未来,商汤绝影将把“绝影千机”AI内核、New Member与主机厂操作系统结合在一起,形成AI的操作系统,推动智能座舱向更加高级的智能体进化。

来源:纵观汽车百态

相关推荐