商汤绝影最新智驾「大杀器」:1块GPU顶500台量产车,而且有5.4万块

B站影视 2024-11-28 07:47 6

摘要:更重要到,商汤绝影作为技术绝对领先的端到端“T0”级别玩家,现出对主机厂的合作吸引力和落地加速度。

商汤绝影,正在展现“CVPR最佳论文”之外的实力。

首先是在超越车端算法的AI大模型实力:自动驾驶的云端世界模型,和智能座舱的流式多模态大模型。

作为智能汽车供应商,还完成了350万辆+的产品上车搭载里程碑。

更重要到,商汤绝影作为技术绝对领先的端到端“T0”级别玩家,现出对主机厂的合作吸引力和落地加速度。

商汤绝影CTO肖枫直接说:

“地大华魔”的头部格局,已经是过去式了。

绝影新进展:云端世界模型和车端多模态大脑

商汤绝影刚刚办了自己的第一个AI DAY,其实说成是一场“交卷答辩”更为合适。

交的卷可以分成技术和落地两方面。

首先是量产智驾方面,绝影首次公开了自己的世界模型——开悟。

简单的理解就是一个自动驾驶专用版的Sora大模型,用来解决端到端研发体系中的仿真问题。

开悟世界模型可以理解真实世界中的物理法则和交通规则,在这个基础上准确的生成场景(这是与sora的最大不同)。

具体来说,生成的视频基于11个摄像头, 11V保持时空一致的时间间隔,最长可以达到 150 秒,分辨率能够达到1080P。

同时开悟生成的场景也是可控的,能够细微的做到元素级别。

晴天下周边环境的投影、夜间车辆远近近光的投射,都是符合物理法则的真实呈现。

这种感觉有点像游戏工业著名的虚幻引擎,但开悟世界模型的的不同之处在于,它通过海量数据的学习物理法则,而且同时还学会了交通规则,比如车辆刹车的时候视屏中车辆会适当的保持车距并合理启停。

而与行业内其他先发的世界模型相比,开悟的优势在于多视角和清晰度。

目前业内最好的水平现在是6V视角,而开悟通过行人车辆3D框和时空轨迹作为精准的输入,控制信号来生成 11V 的视频数据,保证了11个摄像头在仿真空间中的时空一致性。

另外,开悟生成的是1080P视频会更加清晰,更加方便模型进行训练。借助商汤日日新原生多模态的基模型,开悟可以达到元素级别的精准度,可以生成不同的场景和各种的 corner case,比如同一路段雨天变晴天、增加车辆种类数目等等。

有了开悟世界模型,绝影目前打造了覆盖 1024 类场景,包括了 50 多类天气、光照等条件的基础场景, 200 多类不同的交通标志、 300 多类道路的连接的场景,比如说路口、环岛还有隧道等等,而在这个基础上可以构建千万级别的场景库,覆盖更多的长尾场景。

智能座舱层面,绝影发布了「A New Member For U」(你的家庭新成员),号称让汽车拥有「有趣的灵魂」。

核心技术是我们详细介绍过的商汤原生流式多模态大模型,以及车载类人记忆框架和持续运行框架。

体验的亮点是更加“叛逆”,智能座舱不再只是一问一答的工具,而是能够主动学习,自我进化。

例如,在旅途中,后排的孩子睡着了,New Member会主动把空调温度升高、音乐的声量调低,底盘和驾驶模式都调整为舒适模式,给小朋友一个舒适安心的睡眠环境。

不需要用户下指令,而是它观察到了,思考和推理之后,主动的服务。既不打扰,又有温度。

车载类人记忆框架,与人类的记忆机制非常相似,包括临时记忆、长期记忆和场景记忆三部分,三者结合让系统实现类人的记忆能力。

例如,车内的小朋友看到路上其他小孩吃棉花糖,拿出棒棒糖想偷吃,New Member「家庭新成员」看到了这个小动作,「记得」小朋友刚看完牙医,不能吃糖,进行主动提醒。

此外,商汤绝影还打造了能够持续推理的Always-on运行框架,能够将多模态感知到的信息与各种记忆相结合,进行高效的处理和反馈,做到时刻感知需求,主动为用户服务。

两个技术进展“交卷”,分别来自量产智驾和智能座舱领域。

对应在商业落地层面的,绝影横跨智驾、座舱,同样给出了最新的落地进展。

商汤绝影,量产走到哪一步

商汤绝影商业化进展,包含在这张图中:

智驾智舱产品上车数量超过350万辆,覆盖超过30家车企100多款车型。

其中,智能座舱的AI软件产品,绝影的市场份额是行业目前绝对的No.1,连续五年。举几个例子,比如极氪X上的B柱智慧人脸识别系统、小米SU7上小爱同学识别路上汽车品牌、建筑类别等等复杂目标任务等等,都是绝影的提供的底层能力。

量产智驾上,目前公开的有6款车,覆盖3个车企:

产品方案上,包括基础智驾方案、覆盖全场景的高阶智驾,以及基于UniAD打造的端到端量产智驾方案。

地平线J6E和J6M两个平台,绝影打造了AD Pro和AD Max两个量产智驾方案,其中AD Max能够实现城区无图NOP。J6平台的智驾方案预计明年2季度就会量产交付。

200+TOPS的车载算力平台上,绝影已经具备量产无图,无激光雷达的1R11V高阶智驾方案,实现不挑城市不挑路段的“门到门”智驾。

这套“无图纯视觉”端到端方案,奇瑞旗下的大卓智能和东风集团刚刚和绝影达成协议,共同推进量产上车。

新的合作模式中,绝影也不再是一个简单的智舱或智驾模块供应商,而是和主机厂深度合作,分享商汤积累已久的AI大算力装置、云服务、工具链等等能力。

为什么会出现这样的转变?商汤联合创始人、首席科学家、绝影CEO王晓刚认为:

AGI时代,单打独斗的车企和AI公司都很难脱颖而出。

并且给出了技术层面的解析。

王晓刚:决战端到端,车端远远不够

所谓“地大华魔”的格局,是指去年圈内流行开的量产智驾头部玩家名单,以定点数量、舆论声势等作为参考:地平线、大疆、华为、Momenta。

商汤认为这样的评价体系已经成为过去式,但理由却不是常见的端到端带来的体验优越性。

王晓刚博士以绝影最新的技术架构作为依据:

端到端给了所有智驾玩家重新上桌出牌的机会,但这个机会并不平等。

因为端到端的数据驱动本质,决定了它本身上限极高,下限也极低的技术特征,所谓garbage in,garbage out。

所以商汤提出的第一个观点,是决胜不在车,不在端到端算法本身,而在云端更加庞大和关键的世界模型,生成仿真数据,形成双轮驱动车云、车轮一车云一体。

关键是获取大量、高质量的路测数据,当然还必须能持续获得。

也给出了具体的数据尺度:

目前绝影智驾研发中20%的数据,都是由开悟世界模型生成。在一块A100 GPU上,世界模型平均每天可以生产大约2万个bundle,相当于100台路测车的数据采集能力,或500 台量产车回传有效数据的效率。

而这样的GPU,商汤一共有超过5.4万块,另外世界模型生成的训练数据,往后还会进一步占比达到80%。

这其实才是“绝影”真正一日千里的核心,也是车企和AI公司无法“独赢”的底层逻辑。

特斯拉因其不可复制的历史原因,率先拥有了 700 万辆高阶智驾量产车,和算力达到 10万PFLOPS的基础设施,已经拿稳了L2+终局的门票。

但根据第三方统计,我们国内支持城区辅助驾驶高阶支架的车的数量约为数十万辆,并且不同的车型数据的基础设施也不统一,云端算力与特斯拉也有两个数量级的差距。

国内车厂要想追赶上,必须要通过新的模式来革新数据基础设施。

商汤绝影,同样因其难以复制的历史原因,形成了传统自动驾驶创业公司无法具备的大算力、大模型能力。

所以大卓、东风和绝影的合作模式,超越传统的地方不仅在于绝影愿意白盒交付,更关键在于绝影愿意把基础设施、底层工具直接部署到主机厂,合作开发。

换言之,将传统智驾模块用AI算法替代实现数据驱动并不难,甚至如今连“门槛”都算不上。端到端上车的体验、效率,关键是背后的数据能力。

所以从这个角度看,商汤绝影是目前智能供应商中的唯一:

顶尖AI大牛团队、全栈智舱智驾交付能力、“纯血”一段式端到端算法、自有超算基础设施、完善齐全的各类大模型应用。

以及完全To B,没有任何主导C端整车意愿的产品策略。

来源:家用汽车V

相关推荐