摘要：这项由新加坡国立大学、新加坡管理大学和南洋理工大学等多家顶尖学府联合开展的开创性研究，于2025年1月发表在计算机视觉顶级期刊上。研究团队由孔令东、杨卫斯利、梅建标等数十位研究者组成，他们来自全球多个知名研究机构。有兴趣深入了解的读者可以通过https://g

这项由新加坡国立大学、新加坡管理大学和南洋理工大学等多家顶尖学府联合开展的开创性研究，于2025年1月发表在计算机视觉顶级期刊上。研究团队由孔令东、杨卫斯利、梅建标等数十位研究者组成，他们来自全球多个知名研究机构。有兴趣深入了解的读者可以通过https://github.com/worldbench/survey访问完整的研究资料和代码。

想象一下，如果我们能够像电影《黑客帝国》中那样创建一个完全虚拟但又真实无比的世界，让机器人和AI系统在其中学习、训练和成长，那将是怎样的场景？这正是世界建模研究试图解决的核心问题。传统的AI系统就像是只能看二维画册的孩子，虽然能认识各种图片，但对真实世界的三维空间和时间变化缺乏深刻理解。而这项研究就像是给AI戴上了3D眼镜，让它们能够真正"看见"和"理解"我们生活的立体世界。

这个研究领域之所以如此重要，可以用一个简单的类比来理解。如果说传统的AI是在学习如何看照片，那么3D和4D世界建模就是在教AI如何在真实空间中生活和工作。就像人类婴儿需要通过触摸、爬行、探索来理解空间概念一样，AI系统也需要一个能够模拟真实物理世界的"虚拟游乐场"来学习如何在三维世界中导航、操作物体和做出决策。

此前的研究大多专注于二维图像和视频的生成，就像是教孩子画画却不让他们接触真实的积木和玩具。这种方法在处理平面内容时表现不错，但当涉及到需要理解深度、距离、物体遮挡关系以及物理运动规律的任务时，就显得力不从心了。特别是在自动驾驶、机器人操作、虚拟现实等需要精确空间理解的应用中，这种局限性变得尤为明显。

研究团队发现，当前的世界建模研究存在一个严重的碎片化问题。不同研究组使用不同的定义、方法和评估标准，就像是不同的建筑师使用完全不同的度量单位建造房屋，最终无法形成统一的建筑群。缺乏统一的标准使得研究成果难以比较，也阻碍了整个领域的快速发展。

为了解决这些问题，研究团队决定做一件前人从未做过的事情：创建第一个专门针对3D和4D世界建模的全面调研。他们像是绘制一张详细的探险地图，标明了这片新大陆上的各种地形、道路和重要地标。这份调研不仅整理了现有的所有重要研究成果，还建立了统一的分类系统和评估标准，为整个领域提供了一个清晰的发展路径。

一、什么是3D和4D世界建模

要理解3D和4D世界建模，我们可以把它想象成搭建一个超级逼真的虚拟世界。传统的2D建模就像是制作一本精美的图册，虽然图片很漂亮，但你无法走进去探索。而3D建模就像是建造一个立体的房屋模型，你可以从各个角度观察，甚至想象自己在其中行走。4D建模则更进一步，它就像是制作一部立体电影，不仅有空间的深度，还有时间的流动，物体会移动、变化，环境会发生动态演变。

在这个研究中，团队重点关注三种不同类型的"建筑材料"来构建这些虚拟世界。第一种是视频数据，就像是用摄像机记录的连续画面，能够捕捉物体的运动和变化。这种方法的优势在于能够生成人眼看起来非常自然的画面，就像我们平时看的电影一样流畅。但它的问题在于缺乏精确的几何信息，就像一幅逼真的风景画，看起来很美，但你无法准确测量画中山峰的实际高度。

第二种建筑材料是占用网格，这听起来很技术化，但其实可以简单理解为三维像素。想象你用乐高积木搭建一个房屋，每个积木块要么是实心的（被占用），要么是空心的（未被占用）。占用网格就是这样将空间划分成无数个小立方体，每个立方体都标记着是否有物体存在。这种方法的好处是能够精确表示物体的几何形状和空间关系，就像建筑师的精确图纸一样。

第三种建筑材料是激光雷达点云数据。激光雷达就像是一个超级精确的测距仪，它发射激光束测量周围物体的距离，从而生成由无数个3D坐标点组成的"点云"。每个点都记录了空间中一个具体位置的信息，就像是用无数个针尖在空中标记出物体的轮廓。这种数据特别适合需要高精度几何信息的应用，比如自动驾驶汽车需要精确知道前方障碍物的确切位置和距离。

研究团队将世界建模分为两种基本类型：生成式建模和预测式建模。生成式建模就像是一个创意无限的艺术家，能够从无到有创造出全新的虚拟场景。你可以告诉它"我想要一个下雨天的城市街道"，它就能凭空生成这样的场景。预测式建模则更像是一个经验丰富的预言家，它观察当前的情况，然后预测接下来会发生什么。比如，给它展示一辆汽车正在转弯的画面，它能预测这辆车在下一秒钟会出现在哪个位置。

这两种建模方式各有用武之地。生成式建模特别适合创建训练数据和测试场景，就像是为AI系统建造各种不同的"练习场"。而预测式建模则更适合实时决策，比如自动驾驶系统需要实时预测其他车辆的行为来避免碰撞。

为了更好地组织这些研究，团队提出了四种功能分类。数据引擎就像是一个内容生产工厂，能够批量生成各种类型的训练数据和场景。动作解释器像是一个精通多种语言的翻译官，能够理解各种动作指令并预测相应的结果。神经模拟器则像是一个互动游戏平台，支持多个智能体在虚拟环境中进行实时交互。场景重建器就像是一个修复专家，能够从不完整或损坏的数据中恢复完整的场景。

二、技术路径的三大分支

研究团队将整个技术领域划分为三个主要分支，每个分支都有其独特的优势和应用场景。这就像是三条不同的河流，最终都汇入同一片海洋。

视频生成路径是最接近人类视觉感知的方法。它就像是训练一个超级导演，能够创造出各种逼真的视觉场景。这种方法的最大优势是生成的内容看起来非常自然，人眼很难区分真假。在自动驾驶应用中，视频生成可以创造出各种罕见的交通场景，比如暴雨中的夜间驾驶或者施工路段的复杂情况，为自动驾驶系统提供丰富的训练素材。

MagicDrive是这个领域的代表性研究，它就像是一个魔法师，能够根据给定的场景描述和几何条件生成高质量的驾驶场景视频。想象你告诉它"我想要一个阳光明媚的下午，在繁忙的十字路口，有一辆红色轿车正在左转"，它就能生成符合这些条件的逼真视频。更令人印象深刻的是，它能够保持多个摄像头视角之间的一致性，就像是同时指挥多个摄影师从不同角度拍摄同一个场景，确保所有画面在时间和空间上都完全匹配。

GAIA-1代表了另一种创新思路，它将文本描述、视觉信息和动作指令融合在一起。这就像是一个能够理解导演意图的智能摄影师，不仅能拍摄美丽的画面，还能根据剧本要求调整镜头运动和场景变化。这种多模态融合的方法使得系统能够生成更加可控和多样化的内容。

Vista研究则专注于解决长时间序列生成的问题。传统方法生成长视频时容易出现时间不一致的问题，就像是一个健忘的画家，前面画的内容和后面画的内容对不上。Vista通过创新的记忆机制和时间建模方法，能够保持长时间的一致性，生成更加连贯的长视频序列。

占用网格生成路径则更注重几何精确性。如果说视频生成是在追求视觉真实感，那么占用网格生成就是在追求几何真实感。这种方法就像是用数字积木精确地重建现实世界，每个小立方体都记录着准确的空间信息。

SSD研究开创了将扩散模型应用于3D语义数据生成的先河。扩散模型原本是为图像生成设计的，就像是一个能够从噪音中"显影"出清晰图像的魔法过程。SSD将这种魔法扩展到了3D空间，能够从随机的3D噪声中生成有意义的3D场景结构。

SemCity进一步改进了这种方法，通过引入初始的场景重建结果作为条件，大大提高了生成质量。这就像是给画家提供了一个粗略的草图，让他在此基础上完善细节，而不是从一张白纸开始。这种方法显著减少了生成结果中的几何不一致问题。

OccWorld和OccSora则专注于4D占用网格的生成，也就是考虑时间维度的动态场景。这就像是制作一个会动的乐高动画，不仅要保证每一帧的几何精确性，还要保证帧与帧之间的运动合理性。这些系统能够根据车辆的运动轨迹预测未来的占用情况，为路径规划和避障提供重要支持。

激光雷达生成路径则专注于最高精度的几何建模。激光雷达数据虽然不如图像直观，但它提供了毫米级的精度信息，这对于需要精确定位和测量的应用至关重要。

LiDARGen是这个领域的先驱研究，它首次将深度学习方法应用于激光雷达点云生成。这个系统就像是一个精密的3D打印机，能够根据给定的场景描述生成精确的点云数据。不同于传统的基于规则的生成方法，LiDARGen能够学习真实激光雷达数据的复杂模式和特征。

R2DM改进了位置编码方法，使得生成的点云在空间分布上更加准确。这就像是改进了3D打印机的定位系统，让每个点都能精确地放置在正确的位置上。这种改进对于需要高精度几何信息的应用特别重要。

WeatherGen则专注于特殊天气条件下的点云生成。恶劣天气是自动驾驶面临的重大挑战，而收集这类数据又非常困难和危险。WeatherGen能够生成雨雪雾等各种天气条件下的激光雷达数据，为系统提供充足的训练素材。这就像是在实验室中模拟各种极端天气条件，让自动驾驶系统能够应对现实世界的各种挑战。

三、数据集和评估体系

要训练和评估这些世界建模系统，就需要大量高质量的数据，就像培养一个孩子需要丰富的学习材料一样。研究团队系统整理了这个领域使用的各种数据集，这些数据集就像是不同类型的教科书，各有其特色和用途。

nuScenes数据集就像是一本全面的城市驾驶教科书，包含了1000个完整的驾驶场景，每个场景都有6个不同角度的摄像头记录，还配有激光雷达和雷达等多种传感器数据。这个数据集特别适合训练需要多模态感知能力的系统，就像是让学生从多个角度学习同一个知识点。

Waymo Open数据集则更像是一本高质量的驾驶手册，虽然场景数量更多（1150个场景），但主要专注于5个摄像头视角的数据。它的标注质量极高，特别是3D目标检测标注，为训练精确的感知系统提供了优质素材。

CARLA数据集有些特殊，它不是真实世界的记录，而是来自一个高度逼真的驾驶模拟器。这就像是一个可以无限扩展的虚拟驾驶学校，研究者可以根据需要生成任意数量的训练场景，包括现实中很难遇到的极端情况。

评估这些系统的性能需要多个维度的指标，就像评价一个学生不能只看一门功课的成绩一样。研究团队将评估指标分为五个主要类别。

生成质量评估主要关注生成内容的真实感和多样性。FID指标就像是一个艺术评论家，比较生成图像和真实图像在特征空间中的分布差异，分数越低说明生成内容越接近真实。FVD指标则专门评估视频的时间一致性，确保生成的视频不会出现跳跃或不连贯的现象。

预测质量评估关注系统预测未来状态的准确性。这就像是测试一个天气预报员的预测能力，看它能否准确预测明天的天气。IoU指标测量预测的占用区域和真实占用区域的重叠程度，而Chamfer距离则测量预测点云和真实点云之间的几何误差。

规划质量评估特别重要，因为最终这些系统要为实际的自动驾驶提供支持。L2误差测量规划轨迹和专家轨迹之间的偏差，碰撞率则直接关系到安全性。PDMS分数综合考虑了进展、间距和舒适度等多个因素，更全面地评估驾驶质量。

重建质量评估主要用于神经模拟器，关注从新视角观察场景的真实感。PSNR和SSIM测量像素级的重建精度，LPIPS则评估感知层面的相似度。这些指标确保生成的虚拟场景在各个角度观察时都保持高质量。

下游任务评估测试世界模型对实际应用任务的支持能力。比如，使用生成的数据训练的目标检测系统在真实数据上的表现如何，这直接反映了世界模型的实用价值。

四、实际应用领域

这些世界建模技术的应用前景就像是一片广阔的海洋，每个领域都有其独特的需求和挑战。自动驾驶是最重要的应用领域之一，也是推动这项技术发展的主要动力。

在自动驾驶领域，世界建模技术就像是为司机提供了一个超级训练场。传统的自动驾驶测试需要在真实道路上积累数百万公里的驾驶数据，这不仅成本高昂，而且存在安全风险。而世界建模技术能够生成各种复杂和罕见的驾驶场景，让自动驾驶系统在虚拟环境中经历各种可能的情况。

比如，系统可以生成一个雨夜中的紧急避险场景：前方突然出现障碍物，旁边车道有其他车辆，路面湿滑。这种场景在现实中很难安全地进行测试，但在虚拟环境中可以反复练习，直到系统掌握正确的应对策略。更重要的是，系统可以尝试不同的处理方案，评估每种方案的效果，从而选择最优策略。

机器人领域也是一个重要的应用方向。机器人需要在复杂的3D环境中导航和操作，这需要对空间几何有精确的理解。世界建模技术能够为机器人提供丰富的虚拟训练环境，让它们学会在各种复杂环境中工作。

想象一个家庭服务机器人，它需要在充满家具和杂物的房间中移动，同时避免碰撞或损坏物品。传统的训练方法需要在真实环境中反复试验，可能会造成损失。而使用世界建模技术，可以创建各种不同布局的虚拟房间，让机器人在其中练习导航和操作技能，既安全又高效。

虚拟现实和游戏是另一个充满潜力的应用领域。用户对虚拟环境的真实感和交互性要求越来越高，世界建模技术能够创建更加逼真和动态的虚拟世界。传统的游戏场景是预先设计好的静态环境，而基于世界建模的游戏能够根据玩家的行为实时生成新的内容和场景。

数字孪生技术在智慧城市建设中也有重要应用。通过世界建模技术，可以创建城市的完整数字副本，实时反映城市的状态变化。这个数字孪生不仅可以用于城市规划和管理，还可以用于灾害预测和应急响应。比如，在发生洪水时，系统可以预测水流的路径和影响范围，为救援工作提供重要参考。

医疗领域的应用也很有前景。世界建模技术可以创建人体器官的精确3D模型，帮助医生进行手术规划和培训。外科医生可以在虚拟环境中反复练习复杂的手术操作，降低真实手术的风险。

工业制造也是一个重要应用方向。在工厂的数字化转型中，世界建模技术可以创建生产线的精确模型，帮助优化生产流程和预测设备故障。这就像是为工厂配备了一个预知未来的水晶球，能够提前发现问题并采取措施。

五、技术挑战与未来方向

尽管世界建模技术取得了显著进展，但仍然面临着多个重要挑战，就像登山者在攀登珠峰时遇到的各种困难一样。

首要挑战是建立统一的评估标准。目前不同研究团队使用不同的数据集和评估指标，这就像是用不同的尺子测量同一个物体，得出的结果难以比较。缺乏统一标准不仅影响了研究成果的比较，也阻碍了整个领域的快速发展。研究团队认为，建立标准化的评估框架是当务之急。

长时间序列生成是另一个重大技术挑战。虽然现有方法能够生成短期的高质量内容，但在生成长时间序列时往往会出现累积误差，导致内容质量逐渐下降。这就像是玩传话游戏，信息传递的链条越长，最终的结果与原始信息的偏差就越大。解决这个问题需要在算法架构和训练策略上进行创新。

物理真实性是世界建模面临的核心挑战之一。现有方法虽然能够生成视觉上令人信服的内容，但往往缺乏物理合理性。比如，生成的视频中可能出现物体穿墙而过或者违背重力定律的现象。这种缺乏物理约束的生成结果无法满足需要精确物理模拟的应用需求。

计算效率也是一个不容忽视的问题。当前的世界建模方法通常需要大量的计算资源和时间，这限制了它们在实时应用中的部署。特别是对于需要即时响应的应用，如自动驾驶或机器人控制，系统必须在毫秒级的时间内完成复杂的世界建模计算。

跨模态一致性是另一个技术难点。在多模态世界建模中，不同传感器类型的数据需要保持严格的时空一致性。比如，摄像头看到的物体位置必须与激光雷达测量的位置完全匹配，否则会导致感知错误。实现这种一致性需要在算法设计和训练过程中加入专门的约束机制。

面对这些挑战，研究团队提出了几个重要的发展方向。首先是发展更加物理感知的生成模型，将物理定律直接嵌入到生成过程中。这就像是给AI系统上一堂物理课，让它明白什么是可能的，什么是不可能的。

其次是开发更高效的推理算法，通过模型压缩、知识蒸馏等技术降低计算复杂度。这就像是让一个博学的教授把复杂的知识简化成学生容易理解的形式，既保持了核心内容，又提高了传授效率。

实时生成能力的提升也是重要方向。未来的世界建模系统需要能够根据实时输入快速生成相应的场景，这对算法的并行化和硬件优化提出了更高要求。

跨模态统一建模是另一个重要发展方向。目前针对视频、占用网格和激光雷达的建模方法相对独立，未来需要开发能够统一处理多种数据类型的通用架构。这就像是培养一个多才多艺的艺术家，既能画画，又能雕塑，还能制作音乐。

大规模预训练模型的应用也是未来趋势。借鉴自然语言处理领域的成功经验，通过在海量数据上进行预训练，然后针对特定任务进行微调，有望大大提升世界建模的效果和泛化能力。

最后，建立开放的评估平台和数据共享机制将推动整个领域的协同发展。这就像是建立一个学术交流平台，让全世界的研究者能够分享数据、比较方法、交流经验，共同推动技术进步。

Q&A

Q1：3D和4D世界建模是什么？和我们平时看到的视频有什么区别？

A：3D和4D世界建模就像搭建超级逼真的虚拟世界。传统2D方法就像制作图册，只能看不能探索。3D建模像建造立体房屋模型，可以从各角度观察。4D建模更进一步，像制作立体电影，有空间深度还有时间流动。和平时视频不同的是，这些模型包含精确的几何信息和物理规律，AI可以在其中真正"生活"和学习，就像《黑客帝国》中的虚拟世界一样。

Q2：这些世界建模技术主要用在哪些地方？对普通人有什么影响？

A：主要应用包括自动驾驶汽车的训练、机器人学习、虚拟现实游戏、智慧城市建设等。对普通人来说，未来的自动驾驶会更安全可靠，因为AI在虚拟世界中经历了各种复杂场景的训练。游戏体验会更加真实互动，虚拟现实更加沉浸。智能家居机器人会更聪明，能够在复杂环境中自如工作。医疗方面，医生可以在虚拟环境中练习手术，降低真实手术风险。

Q3：目前这些技术还面临哪些困难？什么时候能真正普及？

A：主要困难包括长时间生成容易出错、物理真实性不足、计算资源需求大、不同技术方法缺乏统一标准等。就像登山遇到的各种困难一样。研究团队正在开发更高效的算法、加入物理约束、建立统一评估标准。虽然技术进展很快，但要真正普及还需要几年时间，特别是在计算效率和成本控制方面还需要进一步突破。不过在某些专业领域如自动驾驶测试，已经开始实际应用了。

来源：科技行者一点号1