摘要：人类拥有视觉空间智能，可以通过连续的视觉观察记忆空间。然而，在百万规模的视频数据集上训练的多模态大语言模型（MLLMs）也能从视频中进行“空间思维”吗？
整理：学术君
人类拥有视觉空间智能，可以通过连续的视觉观察记忆空间。然而，在百万规模的视频数据集上训练的多模态大语言模型（MLLMs）也能从视频中进行“空间思维”吗？
今日凌晨，纽约大学计算机科学助理教授谢赛宁团队联合“AI 教母”、斯坦福大学首位红杉讲席教授李飞飞和耶鲁大学计算机科学与经济学本科生Rilyn Han，在一项名为“空间思维”（Thinking in Space）的研究中，探索了 MLLM 如何看见、记忆和回忆空间。
他们发现，虽然空间推理能力仍然是 MLLM 达到更高基准性能的主要瓶颈，但在这些模型中确实出现了局部世界模型和空间意识。
谢赛宁在 X 上发文称，“在视觉方面，人类处理空间，但很少推理；多模态大语言模型思考，但往往忽略空间逻辑。然而，作为人类，从进行心智旋转测验到为新家挑选家具，人类都依赖于空间和视觉思维，但这些思维并不总能很好地转化为语言。”
先看看官方给出的 demo：
视频以 2 倍速播放
基于以上视频中的情景，研究团队测试了 Gemini-1.5 Pro 的空间智能能力，结果发现，Gemini-1.5 Pro 无一答对。以下是一些问答案例：
问：如果我站在冰箱旁，面对着洗衣机，那么炉子在我的左边、右边还是后面？如果我至少要转 135 度才能面对一个物体，那么它就在我的后面。
问：从每个物体的最近点测量，哪个物体（桌子、凳子、沙发、炉子）离电视最近？
问：以下类别在视频中的首次出现顺序是什么：毯子、垃圾桶、微波炉、植物？
值得注意的是，目前流行的语言推理技术（如思维链、自洽性、思维树）无法提高空间推理能力，而在问答过程中明确生成认知地图可提高 MLLM 的空间距离能力。
据介绍，研究团队通过研究涵盖各种视觉空间智能任务（包括关系任务和度量任务）的新基准来探索这一问题。视频是一种天然的媒介——它反映了人类体验世界的方式，并要求较长形式的推理（以及世界建模）。
那么，他们究竟是如何获得数据和标注的呢？在先前计算机视觉工作的基础上，他们重新利用了现有的空间扫描视频，并利用其 ground-truth 标注自动生成 VQA 问题。人类仍在环路中进行质量控制。
他们提出了一个新颖的基于视频的视觉空间智能基准（VSI-Bench），通过 5000 多个问答对，他们发现 MLLM 显示出具有竞争力的视觉空间智能，尽管仍低于人类。Gemini Pro 模型表现最佳，但与人类的表现仍有差距。虽然这对人类来说也并非易事（我们有时确实会迷失方向），但人类可以调整和完善我们的心智模型，而目前的 LLM 却无法做到这一点。
谢赛宁表示，他最喜欢的部分之一就是分析表明这些任务与以语言为中心的智能有多么不同。当被要求进行解释时，LLM 显示，空间推理——而非物体识别或语言能力——是主要瓶颈，经常在视角转换、自我中心转换方面挣扎，并在较长的视野中失去对事物的追踪。
另一个例子是，语言提示技术在这种情况下并不有效——CoT 或多数投票（majority voting）等方法实际上对我们的任务相当不利。
但值得注意的是，这些技术对于一般的视频分析任务（如 VideoMME 中的任务）也是有效的。这再次强调了两者的区别：并非所有视频都是一样的，理解电影情节等内容更依赖于语言智能，而不是视觉空间智能。
最后，他们还通过提示（prompting）模型在笛卡尔网格上“可视化”其记忆来探究模型，其中每个被占据的单元格都代表一个物体中心。
研究发现，在处理空间信息时，MLLM 会从给定的视频中构建一系列局部世界模型，而不是一个连贯的全局模型。当问题涉及相距甚远的物体时，这种局限性会迅速显现出来。
这些观察结果表明，该领域未来研究的一个重要方向是开发更有效的空间记忆机制。
谢赛宁表示，他们深信，视觉空间智能在现实世界中的应用比以往任何时候都要接近——想象一下，人工智能眼镜能向你展示你去过的地方，让你知道你在哪里，并指引你去你想去的地方。
论文地址：https://arxiv.org/abs/2412.14171
阅读报告全文，请访问欧米伽研究所的“未来知识库”
未来知识库是“欧米伽未来研究所”建立的在线知识库平台，收藏的资料范围包括人工智能、脑科学、互联网、超级智能，数智大脑、能源、军事、经济、人类风险等等领域的前沿进展与未来趋势。目前拥有超过8000篇重要资料。每周更新不少于100篇世界范围最新研究资料。欢迎扫描二维码或访问进入。
截止到11月25日 ”未来知识库”精选的100部前沿科技趋势报告
Air Street Capital《2024 年人工智能现状报告》
未来今日研究所：2024 技术趋势报告 - 广义计算篇
科睿唯安中国科学院 2024 研究前沿热度指数报告
文本到图像合成：十年回顾
《以人为中心的大型语言模型（LLM）研究综述》
经合组织 2024 年数字经济展望报告加强连通性创新与信任第二版
波士顿咨询 2024 全球经济体 AI 成熟度矩阵报告
理解世界还是预测未来？世界模型的综合综述
Google Cloud CSA2024 AI 与安全状况调研报告
英国制造商组织 MakeUK2024 英国工业战略愿景报告从概念到实施
花旗银行 CitiGPS2024 自然环境可持续发展新前沿研究报告
国际原子能机构 2024 聚变关键要素报告 - 聚变能发展的共同愿景
国际可再生能源署 IRENA2024 年全球气候行动报告
Cell: 物理学和化学 、人工智能知识领域的融合
智次方 2025 中国 5G 产业全景图谱报告
未来今日研究所：2024 技术趋势报告 - 移动性，机器人与无人机篇
Deepmind：AI 加速科学创新发现的黄金时代报告
PitchBookNVCA2024 年第三季度全球风险投资监测报告
德科 2024 年未来全球劳动力报告
高工咨询 2024 年协作机器人产业发展蓝皮书
国际能源署 IEA2024 年全球能源效率报告
基因慧基因行业蓝皮书 2024 - 2025
普华永道 PwC2024 全球经济犯罪调查英国报告 - 智对风险直面挑战
中国互联网协会 2024 面向未来网络的数字孪生城市场景应用白皮书
中移智库 2024 先进感知新技术及新应用白皮书
智次方研究院 2025 中国 AIoT 产业全景图谱报告
未来今日研究所：2024 技术趋势报告 - 人工智能篇
国际电联：迈向衡量数字经济的通用框架的路线图
联合国粮食与农业组织：2024 年世界粮食安全和营养状况
大语言模型综述
李飞飞等，AI 智能体：探索多模式交互的前景综述
哈尔滨工业大学 - ChatGPT 调研报告
2024《美国核部署战略报告》最新文件
清华大学：AIGC 发展研究 3.0 发布版 b 版
OpenAI：2024 年 OpenAI o1 大模型技术报告
Verizon2024 年世界支付安全报告
皇家学会哲学学报 从复杂系统角度评估人工智能风险
复旦大学 大模型 AI 代理的兴起和潜力：综述
经合组织 OECD2024 年气候行动监测报告
Wevolver2024 年边缘人工智能现状报告 - 探索各行业边缘 AI 应用动态
2024 全球人形机器人产品数据库报告 - 人形机器人洞察研究 BTIResearch
《全球金融稳定报告》 把舵定航 不确定性、人工智能与金融稳定
瑞士洛桑联邦理工学院 《人工智能中的 - 创造力：进展与挑战》
《你所需要知道的理 - 论：人工智能、人类认知与决策》牛津大学最新 53 页报告
世界经济论坛 新兴技术时代的网络弹性导航：应对复杂挑战的协作解决方案 2024
ADL 理特咨询 2024 汽车出行未来展望报告
2024 中国硬科技创新发展白皮书 - 开辟未来产业新赛道
科学时代的大语言模型中的人工智能
Gartner2025 年重要战略技术趋势报告
CBInsights2024 年第三季度全球人工智能投融资状况报告
TrendHunter2025 年全球趋势报告 - 全行业顶级创新和变革趋势前瞻
天津大学 2024 大模型轻量化技术研究报告
欧洲海洋局 2024 导航未来报告将海洋置于更广泛的地球系统中第六版
美国安全与新兴技术中心 2024 AI 生成代码的网络安全风险研究报告
国际原子能机构 2024 年世界聚变展望报告
复旦大学 2024 大语言模型的能力边界与发展思考报告
安盛 AXA2024 年气候与生物多样性报告气候过渡计划路线图
YouGov2024 美国公众对人工智能 AI 的态度调研报告
麦肯锡中国报告：《中国与世界》完整版
麦肯锡全球研究所 2024 下一代竞技场报告 - 重塑全球经济的 18 个新兴行业领域
Project Sid，一个旨在模拟多智能体交互以研究 AI 文明的项目
德国研究与创新专家委员会 德国研究创新与科技成果报告
2024 年欧洲关键产业的科技重塑研究报告
智能体专题报告之二 - 智能体时代来临具身智能有望成为最佳载体
ActivateConsulting 2025 年顶级技术和媒体发展趋势报告
兰德 全球灾难风险评估
斯坦福李飞飞 《AI agent 综述》Agent AI 开启多模态交互新纪元
中国联通研究院 2024 中国生成式人工智能应用与实践展望白皮书中文版
普华永道 2024 第五次工业革命研究报告迈向弹性可持续和以人为本的未来
大成 Dentsons2024 年全球智慧城市与互联社区智库年度报告
TechUK2024 量子技术挑战与机遇并存构筑量子韧性的策略与实践研究报告
Emakina 将塑造 2024 年的技术趋势报告
图灵奖得主 Yann LeCun《机器如何才能达到人类智能水平？》——Yann LeCun, 附 Slides 及视频
华为：2024 鸿蒙生态应用开发白皮书 V3.0（最新版）
CASA：2023 第三代半导体产业发展报告
大型视觉语言模型中幻觉现象的综述
IEA PVPS：2024 光伏应用趋势报告（英文版）
ABI Research：82 个将会或不会在 2024 年发生的技术趋势白皮书
《美国反无人机系统未来趋势报告（2024 - 2029 年）》
《军事自主系统：未来之路》美空军
空间智能如何？牛津大学博士论文《深度具身智能体的空间推理与规划》
2024 低空经济场景白皮书 v1.0
战略与国际研究中心（CSIS）人类地月空间探索的总体状况研究报告（2024）
Artificial Intelligence Review：人工智能与物理学相遇的综述
麦肯锡：全球难题，应对能源转型的现实问题
欧米伽理论，智能科学视野下的万物理论新探索（研究论文）
Gartner 2025 年主要战略技术趋势研究报告
2024 人工智能国外大模型使用手册 + 中文大模型使用手册
详解光刻巨人 ASML 成功之奥妙 - 241015
CB Insights：未来变革者：2025 年九大科技趋势研究报告
国际电信联盟 2023 - 2024 年联合国人工智能 AI 活动报告
《人工智能能力的人类系统集成测试和评估》最新 51 页，美国防部首席数字和人工智能办公室（CDAO）
2024 瑞典皇家科学院诺贝尔化学奖官方成果介绍报告
MHP 2024 全球工业 4.0 晴雨表白皮书
世界经济论坛白皮书《AI 价值洞察：引导人工智能实现人类共同目标》
瑞典皇家科学院诺贝尔物理学奖科学背景报告资料
AI 智能体的崛起：整合人工智能、区块链技术与量子计算 (研究报告，书）
OpenAI o1 评估：AGI 的机遇和挑战（280 页）
世界知识产权组织：2024 年全球创新指数
美国白宫：国家近地天体防御策略与行动计划
上下滑动查看更多
来源：人工智能学家
