新知物联：面向量产的3DHMI架构设计与工程实践

摘要：2025年3月19日，在第五届中国汽车人机交互与体验设计创新大会上，杭州新知物联科技有限公司CTO卢松洁介绍到，新知物联专为3D HMI应用设计了纳米（Nano）架构，能够支持3D HMI应用常用的3D车模、3D桌面、车辆设置、座椅和空调、VPA等功能，渲染能

新知物联是一家专注于Real-time 3D解决方案的公司，产品包括座舱3D HMI软件、ADAS仪表/Surrounding、APA和HPA。

2025年3月19日，在第五届中国汽车人机交互与体验设计创新大会上，杭州新知物联科技有限公司CTO卢松洁介绍到，新知物联专为3D HMI应用设计了纳米（Nano）架构，能够支持3D HMI应用常用的3D车模、3D桌面、车辆设置、座椅和空调、VPA等功能，渲染能力强大，在性能有限的平台也能有良好的渲染效果。

卢松洁指出，当前3DHMI应用还存在诸多技术挑战，包括功能、平衡、交互、流畅和信号五个方面。在这些方面，新知物联进行了相关探索。

卢松洁 | 杭州新知物联科技有限公司CTO

以下为演讲内容整理：

3D HMI架构设计的背景与挑战

在汽车智能化发展浪潮中，3DHMI技术成为提升座舱体验的关键因素。新知物联作为专注于实时3D座舱解决方案的企业，在量产实践过程中积累了丰富经验，其设计的3D HMI架构在应对复杂技术挑战方面展现出独特优势。

新知物联的产品涵盖座舱3D软件、仪表盘、还原世界、APA、HPA等多个领域。在成功完成数款量产项目后，公司总结并设计出了适用于3D HMI应用的基础架构，其中包括纳米3D HMI架构和矩阵ADAS还原世界架构。这些架构旨在满足3D HMI应用中日益增长的功能需求、渲染要求、交互响应以及信号处理等多方面的挑战。

图源：新知物联

在3D HMI量产实践中，面临着诸多技术难题。功能集成方面，3D HMI系统功能繁多，涵盖车辆设置、座椅和空调控制、桌面场景展示、VPA、多媒体等不同功能，如何将这些功能有机整合，确保系统的稳定性和流畅性，是一大挑战。渲染性能上，车机对渲染效果的要求不断提高，需支持各种反射、天气特效、粒子特效等，但车机平台的性能却相对有限，在有限性能下实现高质量渲染效果成为技术瓶颈。

交互响应的实时性也是关键问题，3D HMI操作要求反馈时间控制在百毫秒级别，并且要支持触摸、语音、手势等多模态交互方式。流畅性方面，3D HMI场景切换需要支持一镜到底，且在切换过程中能够任意打断而不出错。信号处理同样复杂，3D HMI应用可能接入车机信号、第三方APP信号等数百种不同信号，且每种信号流向不同功能模块，对信号的高效处理提出了很高要求。

纳米3D HMI架构设计与实现

为应对上述挑战，新知物联设计了纳米3D HMI架构，该架构主要分为五大模块：信号链路层、数据缓存层、逻辑控制层、渲染层以及支持工具链。

信号链路层负责整合各类信号，如屏幕触控信号、车机信号、导航信号等。通过多源信号通讯链路模块，将这些不同类型的信号进行汇聚，再利用动态多路由信号分发转换器，将其转换为新知物联公司标准的NS格式信号，并存储在数据缓存层，为后续逻辑控制层的业务逻辑处理提供数据支持。

图源：新知物联

逻辑控制层包含多个重要模块。车辆孪生和实时控制框架用于实现车模的3D孪生，其中车模随车模块能够反应当前车辆的配置，如车漆颜色、轮毂样式等；车辆状态镜像模块能够实时镜像车辆的四门三盖、车灯等状态；车辆控制模块通过对屏幕上车模的触摸等方式实现对车门、车灯等车辆部件的控制。此外，逻辑控制层还包括一镜到底的转场框架、时光引擎以及VPA模块。一镜到底转场框架支持任意两个场景之间的无缝切换；时光引擎可实现不同时间段和天气效果的切换；VPA模块则支持多模态交互，并具备一键换装等功能。逻辑控制层生成的渲染对象会提交到渲染层进行处理。

渲染层是实现高质量视觉效果的关键环节，包括车模渲染、场景渲染、动态天气和光照渲染以及VPA渲染等。同时，渲染层还配备了动态帧率控制、多层抗锯齿控制等渲染控制机制，以确保最终渲染效果能够精准呈现到车机屏幕上，为用户带来优质的视觉体验。

支持工具链为系统提供了额外的支持功能，如热更新功能可以在不影响系统运行的情况下对软件进行更新，多语言处理满足中文、英文等不同的语言需求，分层分类的日志系统方便在出现问题时进行调试，有助于快速定位和解决系统故障。

针对渲染引擎中参数配置复杂、优化困难的问题，公司引入了机器学习的渲染参数配置优化模型。以Unreal引擎为例，与渲染相关的参数众多，手动寻找最优配置不仅困难，而且在目标平台上进行测试的成本高、效率低。该模型通过输入人工验证过的配置样本集，利用机器学习算法生成预测配置集，并经过强化学习和有限次数的测试，最终找到一组能够使性能指标（如GPU性能消耗）最优的配置。经测试，在Arm64 8155平台和X86E05平台上，通过机器学习优化配置的效果相较于人工经验优化有显著提升，优化幅度可达70% - 90%。

在一镜到底的转场实现方面，纳米3D HMI架构也面临着挑战。由于3D场景数量众多，任意两个场景之间的镜头切换组合数量庞大，如果每个镜头切换都由美术人员进行定制，工作量巨大。因此，架构需要支持自动生成镜头切换轨迹曲线，以减少美术工作量。同时，为满足设计方的特殊转场要求，镜头转场需具备自定义功能，包括对位置、视野（FOV）等参数的自定义，以及添加关键点和事件的功能，并且在美术全流程中都能够对曲线进行自定义控制。此外，转场框架还需支持断点调试，方便美术人员查看和调整转场效果，同时确保在转场过程中能够随时中断，并顺利切换到新的场景而不出错。为此，架构设计了开发期间的调试工具和数据配置模块，以及运行期间的场景调度模块、镜头轨迹控制模块和转场中断回退及镜头校准模块，以实现一镜到底转场的高效稳定运行。

矩阵AD还原世界架构设计与应用

在ADAS应用领域，同样存在诸多技术挑战。数据来源多样且格式不统一，涉及感知数据、地图数据、传感器信号等，数据格式包括二进制和文本等多种形式，不同供应商和车企提供的数据格式差异较大。数据质量参差不齐，感知数据质量的好坏直接影响渲染结果，质量不佳时可能导致渲染失真，如目标位置抖动、道路坡面异常、车道线断裂等问题。

ADAS应用需要支持多种工况，如有无地图的工况、巡航和泊车工况、手动驾驶和人机共驾工况等。实时性要求极高，延时基本不能超过100毫秒，否则用户会有明显感知。此外，还需要兼容高中低等不同算力的平台以及各种屏幕分辨率。

为应对这些挑战，新知物联设计了Matrix还原世界架构。该架构与纳米3D HMI架构类似，分为通讯链路层、数据处理层、数据缓存层、逻辑控制层和渲染层。与纳米架构的显著区别在于其更强调在数据处理方面的能力。其中，异源特征目标时空融合模型能够将感知数据、地图数据和定位数据进行时间序列和空间坐标的融合，为有图渲染提供支持；动态目标的轨迹还原模型则在感知数据质量不佳的情况下，通过建立数学模型对动态目标的运行轨迹进行平滑滤波操作，还原出良好的渲染效果。

动态目标轨迹还原模型采用了两种滤波算法。高斯卷积滤波算法通过3 - 5帧的滤波窗口对缓存数据进行高斯卷积，生成平滑曲线，其优点是算法简单、性能较好，但存在实时性差、延时可能超过100毫秒的缺点。基于物理约束的扩展卡尔曼滤波模型则先对运动目标进行物理约束（如速度、加速度上限约束），再利用扩展卡尔曼滤波模型进行轨迹点预测，生成平滑运动轨迹。该模型轨迹平滑效果好，实时性强，但对CPU消耗较大。因此，在实际应用中，根据平台算力情况选择合适的滤波算法，算力有限的平台采用高斯卷积滤波，算力充沛的平台采用基于物理约束的扩展卡尔曼滤波。