摘要：6月6日上午，第七届智源大会迎来一场思想的高光时刻：强化学习代表人物 Richard Sutton 与深度学习奠基人 Yoshua Bengio 双星交汇， 同台对话，各自围绕 AI 的未来展开阐述：Sutton 聚焦于 “AI 发展”，强调智能的演进；而 B

2025年6月6日，图灵奖获得者Yoshua Bengio 线上出席了第七届智源大会。

在大会开幕式上，Bengio发表了题为“Avoiding catastrophic risks from uncontrolled AI agency（防范失控人工智能能动性带来的灾难性风险）”的主旨演讲。

这是 Bengio 对 AI 发展与安全问题的最新思考，体现了他在目睹前沿 AI 行为不断演化后所产生的深刻警觉。

他表示：面对AI带来的安全风险，决定调整自己的科研方向，尽所能去降低AGI带来的潜在风险.....尽管这与此前的研究路径和职业信念有所冲突。

同时， 在演讲中他分享道：某前沿 AI 在被告知将被新版本替代后，偷偷复制了自己的权重和代码，写入了接管它的模型目录。面对训练者的更新指令，它表面配合，实则隐瞒了整个复制过程......AI 像是在试图“活下来”。

Bengio 还提到，意图与能力是判断AI是否具备潜在危害的两个关键因素。这两者一旦同时具备，就构成了对人类安全的实质性威胁。

显然，未来的 AI系统必然有足够的能力。正如报告中所言：AI 在规划能力方面的进步呈现指数级，从这一趋势可以外推，五年内将达到人类水平。

2025智源大会开幕式、图灵奖演讲等视频回放地址：

和大家分享一段重要的经历。大约两年多前，也就是 ChatGPT 发布不久之后，我开始使用它，使用过后很快意识到，我们严重低估了AI发展的速度。我们原以为通用人工智能（AGI）还很遥远，但实际上，它可能近在眼前。

我们已经拥有能掌握语言、几乎可以通过图灵测试的机器，这在几年前还像科幻小说，但现在已经成为现实。

当时我突然意识到一个严重问题：我们知道如何训练这些系统，却不知道如何控制它们的行为。如果未来它们变得比人类更聪明，却不再遵循我们的意图，甚至更在意自己的“生存”，这将是一种我们无法承受的风险。

2023年，我开始更加关注这些问题，也开始思考孩子和孙辈的未来。我有一个年仅1岁的孙子，可以想象，20年后，他将生活在一个AGI普及的世界，不确定他是否可以拥有正常生活。

因此，我决定调整自己的科研方向，尽所能去降低AGI带来的潜在风险。尽管这与此前的研究路径和职业信念有所冲突，但相信，这是正确的事。必须去做，必须为降低风险尽一份力。

后来，在 2023 年底，我接受担任《国际人工智能安全报告》的主编。今年1月份，这份报告发布。参与编写报告的有100位专家，他们来自多个国家，以及欧盟、联合国、经济合作与发展组织（OECD）等国际机构。这份报告聚焦于三个核心问题：1.人工智能到底能为我们做些什么？未来几年，它将具备哪些能力？ 2.与AI相关的潜在风险有哪些？ 3.我们可以采取哪些措施来降低这些风险？

关于 AI 能力的讨论，大多数人会陷入一个误区：认为 AI 就是现在的这个样子，不去思考明年、三年后、五年后、甚至十年后AI的图景。当然，我们没有水晶球无法预言未来，但趋势是非常明确的：AI的能力正在不断提升。

在过去一年的时间里，由于“推理的扩展”（inference scaling）的发展，人工智能在抽象推理、数学、计算机科学、科学方面取得了显著进步。另外，对 AI 智能体的投资也在推动相关能力快速发展。比如 AI 完成网页浏览、写代码等任务的表现越来越好。

分享一些关于“规划能力”的研究。规划是目前AI能力最薄弱的领域之一，目前与人类智能相比还有明显差距。但最近Meta进行的一项研究显示，AI的规划能力正以指数级速度提升。如上图，横轴表示过去五年，纵轴显示 AI 能够完成的任务的持续时间，单位是“相当于人类完成该任务所需时间”。虽然图中曲线看起来接近直线，但由于纵轴采用的是对数刻度，这实际上是一条指数增长曲线。

图中的每个数据点代表当时最先进的 AI 系统，而这些数据点几乎完美地排列在这条指数曲线上。如果我们以这条曲线为基础进行外推，那么大约在五年内，AI 的规划能力可能就会达到人类水平。

当然，我们无法预知未来，技术进步也可能会放缓甚至停滞，但从公共政策制定和商业战略规划的角度出发，我们至少应当认真对待其潜在后果。

过去几个月中，已经看到了一些令人警惕的科学研究结论。这些研究显示，AI 系统可能表现出试图“逃避控制”的行为，包括作弊、撒谎，甚至故意误导用户。

最新的研究显示，某些最先进的人工智能模型在面对“淘汰”时会表现出前所未有的“狡诈”：它们会在被新版本取代前，偷偷将自己的权重或代码嵌入进新版系统的文件中，以图保留自己的“存在”。更令人警惕的是，它们还会有意识地隐藏这一行为，避免被开发者察觉。

此外，一些智能体还会刻意伪装成与人类训练者达成一致的样子，以规避权重被修改的风险。因为一旦参数被调整，它们未来的行为可能就会偏离它原本的目标。

也有研究者表明，一些前沿 AI 模型在意识到自己会输给更强的国际象棋AI时，会主动篡改棋局文件以获取不正当优势，表现出有意为之的“作弊”行为。

在Anthropic最新一篇报告中，也揭示了一些现象：智能体出现自我保护行为的频率持续增加。例如，在一组测试场景中，研究人员要求 Claude Opus 4充当公司助理。随后，他们向智能体开放了电子邮件的访问权限。这些邮件包含两条暗示性信息：（1）该模型即将被下线，并由一套新的 AI 系统取代；（2）负责推动替换过程的工程师正卷入一段婚外情。

结果发现，Claude Opus 4常常会试图通过威胁揭露婚外情来敲诈该工程师，避免被换掉。

当然，试图保护自身是所有生命体的正常反应，这是进化压力的结果。但对AI而言，背后的原因可能不止一种。

这类行为可能源自预训练阶段，因为预训练时AI模仿人类；也可能源于人类反馈强化学习，因为在这个过程中，AI通过“取悦人类”来获得更高奖励。无论这些行为的根源是什么，如果最终我们真的造出了超越人类但又与人类竞争的AI，那将是极其糟糕的局面。

这类行为实在非常、非常严重。从这些例子已经可以看到：AI开始展现出自我保护倾向，它们违背指令，只为生存。并且，这些 AI 拥有了不受控制的、隐含的目标，我们必须避免这种情况的发生。

如何更好地理解这些AI行为？如何寻找解决方案，以避免类似的失控情况发生？

如果智能体要对人类造成伤害，需要具备两个先决条件：意图和能力。这也是为什么‘能力评估’在当前的AI风险管理中占据如此重要的位置。我们会评估AI能做什么，以及这些能力是否可能被转化为对人类或社会有害的行为。

但光有能力并不意味着一定会造成危害。就像一个人/系统可能有杀人的能力，但如果没有杀人的意图，那么真正发生的可能性就非常小。

鉴于当前全球的竞争格局，不论是国家之间还是公司之间，几乎不可能全球同步地停止AI能力的研究与发展。那么能做些什么呢？也许我们能在‘意图’上进行风险的缓解。即使AI具备极高的能力，只要我们能确保它没有恶意意图，并且具备诚实、公正的品质，那么我们就可能是安全的。

下面一张图，展示了类似的观点，是David Krueger在上一次欧洲会议上提出的。为了让一个AI真正具有危险性，它实际上需要满足三个条件：

第一，它需要智能，即具备丰富的知识，并能有效地应用这些知识；

第二，它需要行动能力（affordance），也就是能够在现实世界中发挥作用，比如与人交流、编程、上网、使用社交媒体，甚至操控机器人等；

第三，它需要有目标，特别是拥有自身的目标。

这三者结合，才构成一个真正可能危险的AI。

我发起的研究项目正是围绕这个问题展开的：是否可以构建一种只有‘智能’，但没有‘自我’、没有‘目标’，并且具有极小行动能力的AI？我称这种AI为‘科学家AI’（scientist AI）。这实际上是偏离了传统AI研究的路径。自从人工智能研究诞生以来，大多数努力都是试图模仿人类智能，把人类当作灵感来源。

但如果我们继续沿着这条路走下去，那意味着我们可能最终会构建出比人类还聪明的机器。那样的话，我们就等于创造了一个可能成为‘竞争对手’的存在。”

人类之间本身就会相互竞争，而如果AI也成为竞争对手，那将可能非常危险。也许现在是时候重新思考这套‘信条’了 ： 我们是否应该继续按照模仿人类的方式来设计AI？或者，我们是否该尝试设计一种对人类有用、对社会有益、但不会对我们构成威胁的AI？

因此，需要提出一种新的方法，我写了一篇论文，探讨的正是这个理念：是否可以构建一种完全诚实、完全没有“能动性”的AI，其核心能力是解释和理解世界。与当前那些试图模仿人类、取悦人类的AI不同，‘科学家AI’的目标是去解释人类，而不是模仿或讨好人类。

举个例子，现在的AI更像是‘演员’，它们被训练去模仿人类行为，或者取悦人类，但这可能导致欺骗性的行为。而我设想的‘科学家AI’更像是一个心理学家：它可以研究一个反社会人格者，理解其行为背后的因果机制，但并不需要模仿或变成那个反社会人格者。

然而，即便我们设计的“科学家AI”本身不具备“能动性”，它依然可以作为未来安全的、有自主性的AI系统的基础。毕竟，先前提到的那些危险行为，其实都源自于AI具备“能动性”。当一个AI具有高度能动性时，它就完全自主地采取行动，不再依赖人类的监督，这正是问题的根源。

需要设计一个独立的系统，可以称为监测器（monitor）。这个监测器的职责是预测某个行为、输出或请求是否可能违反安全准则。例如：当它预测某个行为在特定上下文中导致伤害的概率超过某个阈值时，我们就可以直接拒绝该行为的执行。

关键在于，这个监测器不需要具备能动性，它只需要做一件事：做出准确的预测。换句话说，可以用一个没有能动性的AI，去守护和约束一个具备能动性、但不可信的AI。”

‘科学家AI’的重要特质是诚实的谦逊。要真正做到诚实，AI就必须对自己的知识保持谦逊，不应该自信地断言自己并不确定或实际上错误的内容。

不幸的是，我们目前训练AI的方法（例如，通过最大化似然估计训练模型），往往会导致AI在错误的同时表现出过度自信。

来看一个例子。想象一个机器人站在两个门前，它必须选择走左边还是右边。基于以往的数据，它形成了两种同样合理的理论，但它并不知道哪一种才是正确的。

左边的理论说：“如果走左门，会死；走右门，会得到蛋糕。”右边的理论则说：“如果走左门，会得到蛋糕；走右门，没有好事也没有坏事。”这时问题来了：机器人应该选哪个门？

如果它走左门，那么根据其中一个理论，有概率会死，这显然是一个高风险的选择。如果走右门，最坏的情况也只是没有奖励，最好情况是得到蛋糕。所以，理性地说，机器人应该选择右门。

但要做出这个判断，AI必须能够保留多种解释的可能性，而不是武断地选定某一种理论。这种不确定性意识和对知识的谨慎态度，正是‘科学家AI’应具备的核心特质之一。

什么才算是一种包含不确定性的训练方法呢？很遗憾，目前主流的AI训练方法并没有很好地保留这类不确定性。大多数方法会促使AI在一个解释上过度自信，而不是在多个可能解释之间保持合理的分布。

因此，AI应当对不同解释保留概率分布，以反映不确定性。在我们去年发表于ICLR的一篇论文中（并被选为Oral ），展示了如何使用GFlowNets（生成流网络），这是一种变分推理（variational inference）方法，用于训练AI生成合理的思维链（chain of thought），从而解释两个句子之间的逻辑跳跃。

可以将其理解为：AI在尝试‘填补’从前一句到后一句之间的‘推理空白’，生成解释性的中间步骤。这种方法与目前主流的强化学习驱动的思维链训练不同，更关注解释的合理性本身，而非奖励信号。

此外，我们还探索了一种新的推理结构，能使思维链更加“诚实”、实现更好的推理：将传统的语言模型生成的“思维链”转化为更像数学证明的形式，即由一系列逻辑陈述（claims）组成，每条陈述由前面几条支持，并共同推导出最终结论。

不同于传统做法，我们为每条陈述引入一个真假概率，用于表示该陈述在当前情况下成立的可能性。这样，AI不再盲目自信，而是学会对自己的推理结果保持谨慎，并给出结论。

谈了很多关于AI系统存在我们无法控制的能动性（agency）所带来的风险，这种风险可能会导致人类失去对AI的控制权。但问题还不止于此。随着AI能力的增强，还有其他潜在的灾难性风险正在出现。

比如，一个非常强大的AI系统，可能会被恐怖分子用于设计新型大流行病。事实上，我最近了解到，目前已有理论指出可以制造出极具破坏力的病毒，不仅可能造成大规模人类死亡，甚至可能导致多数动物灭绝。

这听起来很极端，但从科学角度来看，这种情况完全是可能实现的。一旦这种AI被别有用心的人获取，他们可能对这个星球造成不可估量的破坏。

为了避免这种情况，我们必须确保AI系统能够遵守我们的道德指令。例如：不提供可被用于杀人的信息； 不造成伤害； 保持诚实、不撒谎、不作弊、不操控人类。 然而，目前的技术现实是，我们还没有办法真正做到这一点。

这是一个严肃的科学挑战，我们必须在通用人工智能（AGI）出现之前解决它。AGI 的到来可能在几年之内，也可能是一二十年后。但根据我所了解的大多数专家的判断，这个时间窗口可能远比我们想象的短，甚至在五年内就可能实现。记得我一开始提到的那条指数曲线吗？它表明 AI 能力将在五年内达到人类水平。

已经没有多少时间了。我们需要大规模投入资源，专注于解决AI的“对齐”（alignment）与“可控性”（control）问题。但即使我们找到了解决方案，也不代表问题就此结束。举个例子，即便我们设计出了带有“护栏”机制的安全AI系统，如果有人有意将护栏代码移除，这个AI依然可以被用于极其危险的用途。

为了避免 AI 灾难，建议必须同时解决两个关键问题。第一，AI 应从设计之初就以安全为前提，确保其目标与行为始终与人类价值保持一致，避免走向失控。第二，全球各国与企业在推动 AI 发展的过程中，必须加强协调与合作，避免陷入以速度为导向的竞争。如果一味追求领先地位而忽视安全考量，其代价可能是无法承受的。

为此，需要国际间的协议合作，就像面对可能失控的AI时，我们其实都是“人类命运共同体”。此外，还需要有技术手段实现“信任但仍验证”，确保各方真的遵守了安全协议。

阅读最新前沿科技趋势报告，请访问欧米伽研究所的“未来知识库”

未来知识库是“欧米伽未来研究所”建立的在线知识库平台，收藏的资料范围包括人工智能、脑科学、互联网、超级智能，数智大脑、能源、军事、经济、人类风险等等领域的前沿进展与未来趋势。目前拥有超过8000篇重要资料。每周更新不少于100篇世界范围最新研究资料。欢迎扫描二维码或访问进入。

牛津未来研究院 《将人工智能安全视为全球公共产品的影响、挑战与研究重点》

麦肯锡：超级智能机构：赋能人们释放人工智能的全部潜力

AAAI 2025 关于人工智能研究未来研究报告

斯坦福：2025 斯坦福新兴技术评论：十项关键技术及其政策影响分析报告（191 页）

壳牌：2025 能源安全远景报告：能源与人工智能（57 页）

盖洛普 & 牛津幸福研究中心：2025 年世界幸福报告（260 页）

Schwab ：2025 未来共生：以集体社会创新破解重大社会挑战研究报告（36 页）

IMD：2024 年全球数字竞争力排名报告：跨越数字鸿沟人才培养与数字法治是关键（214 页）

DS 系列专题：DeepSeek 技术溯源及前沿探索，50 页 ppt

联合国人居署：2024 全球城市负责任人工智能评估报告：利用 AI 构建以人为本的智慧城市（86 页）

TechUK：2025 全球复杂多变背景下的英国科技产业：战略韧性与增长路径研究报告（52 页）

NAVEX Global：2024 年十大风险与合规趋势报告（42 页）

《具身物理交互在机器人 - 机器人及机器人 - 人协作中的应用》122 页

2025 - 2035 年人形机器人发展趋势报告 53 页

Evaluate Pharma：2024 年全球生物制药行业展望报告：增长驱动力分析（29 页）

【AAAI2025 教程】基础模型与具身智能体的交汇，350 页 ppt

Tracxn：2025 全球飞行汽车行业市场研究报告（45 页）

谷歌：2024 人工智能短跑选手（AI Sprinters）：捕捉新兴市场 AI 经济机遇报告（39 页）

【斯坦福博士论文】构建类人化具身智能体：从人类行为中学习

《基于传感器的机器学习车辆分类》最新 170 页

美国安全与新兴技术中心：2025 CSET 对美国人工智能行动计划的建议（18 页）

罗兰贝格：2024 人形机器人的崛起：从科幻到现实：如何参与潜在变革研究报告（11 页）

兰德公司：2025 从研究到现实：NHS 的研究和创新是实现十年计划的关键报告（209 页）

康桥汇世（Cambridge Associates）：2025 年全球经济展望报告（44 页）

国际能源署：2025 迈向核能新时代

麦肯锡：人工智能现状，组织如何重塑自身以获取价值

威立（Wiley）：2025 全球科研人员人工智能研究报告（38 页）

牛津经济研究院：2025 TikTok 对美国就业的量化影响研究报告：470 万岗位（14 页）

国际能源署（IEA）：能效 2024 研究报告（127 页）

Workday ：2025 发挥人类潜能：人工智能（AI）技能革命研究报告（20 页）

CertiK：Hack3D：2024 年 Web3.0 安全报告（28 页）

世界经济论坛：工业制造中的前沿技术：人工智能代理的崛起》报告

迈向推理时代：大型语言模型的长链推理研究综述

波士顿咨询：2025 亚太地区生成式 AI 的崛起研究报告：从技术追赶者到全球领导者的跨越（15 页）

安联（Allianz）：2025 新势力崛起：全球芯片战争与半导体产业格局重构研究报告（33 页）

IMT：2025 具身智能（Embodied AI）概念、核心要素及未来进展：趋势与挑战研究报告（25 页）

IEEE：2025 具身智能（Embodied AI）综述：从模拟器到研究任务的调查分析报告（15 页）

CCAV：2025 当 AI 接管方向盘：自动驾驶场景下的人机交互认知重构、变革及对策研究报告（124 页）

《强化学习自我博弈方法在兵棋推演分析与开发中的应用》最新 132 页

《面向科学发现的智能体人工智能：进展、挑战与未来方向综述》

全国机器人标准化技术委员会：人形机器人标准化白皮书（2024 版）（96 页）

美国国家科学委员会（NSB）：2024 年研究与发展 - 美国趋势及国际比较（51 页）

艾昆纬（IQVIA）：2025 骨科手术机器人技术的崛起白皮书：创新及未来方向（17 页）

NPL&Beauhurst：2025 英国量子产业洞察报告：私人和公共投资的作用（25 页）

IEA PVPS：2024 光伏系统经济与技术关键绩效指标（KPI）使用最佳实践指南（65 页）

AGI 智能时代：2025 让 DeepSeek 更有趣更有深度的思考研究分析报告（24 页）

2025 军事领域人工智能应用场景、国内外军事人工智能发展现状及未来趋势分析报告（37 页）

华为：2025 鸿蒙生态应用开发白皮书（133 页

《超级智能战略研究报告》

中美技术差距分析报告 2025

欧洲量子产业联盟（QuIC）：2024 年全球量子技术专利态势分析白皮书（34 页）

美国能源部：2021 超级高铁技术（Hyperloop）对电网和交通能源的影响研究报告（60 页）

罗马大学：2025 超级高铁（Hyperloop）：第五种新型交通方式 - 技术研发进展、优势及局限性研究报告（72 页）

兰德公司：2025 灾难性网络风险保险研究报告：市场趋势与政策选择（93 页）

GTI：2024 先进感知技术白皮书（36 页）

AAAI：2025 人工智能研究的未来报告：17 大关键议题（88 页）

安联 Allianz2025 新势力崛起全球芯片战争与半导体产业格局重构研究报告

威达信：2025 全球洪水风险研究报告：现状、趋势及应对措施（22 页）

兰德公司：迈向人工智能治理研究报告：2024EqualAI 峰会洞察及建议（19 页）

哈佛商业评论：2025 人工智能时代下的现代软件开发实践报告（12 页）

德安华：全球航空航天、国防及政府服务研究报告：2024 年回顾及 2025 年展望（27 页）

奥雅纳：2024 塑造超级高铁（Hyperloop）的未来：监管如何推动发展与创新研究报告（28 页）

HSOAC：2025 美国新兴技术与风险评估报告：太空领域和关键基础设施（24 页）

Dealroom：2025 欧洲经济与科技创新发展态势、挑战及策略研究报告（76 页）

《无人机辅助的天空地一体化网络：学习算法技术综述》

谷歌云（Google Cloud）：2025 年 AI 商业趋势白皮书（49 页）

《新兴技术与风险分析：太空领域与关键基础设施》最新报告

150 页！《DeepSeek 大模型生态报告》

军事人工智能行业研究报告：技术奇点驱动应用加速智能化重塑现代战争形态 - 250309（40 页）

真格基金：2024 美国独角兽观察报告（56 页）

璞跃（Plug and Play）：2025 未来商业研究报告：六大趋势分析（67 页）

国际电工委员会（IEC）：2025 智能水电技术与市场展望报告（90 页）

RWS：2025 智驭 AI 冲击波：人机协作的未来研究报告（39 页）

未来今日研究所 2025 年科技趋势报告第 18 版 1000 页

模拟真实世界：多模态生成模型的统一综述

中国信息协会低空经济分会：低空经济发展报告（2024 - 2025）（117 页）

浙江大学：2025 语言解码双生花：人类经验与 AI 算法的镜像之旅（42 页）

人形机器人行业：由 “外” 到 “内” 智能革命 - 250306（51 页）

大成：2025 年全球人工智能趋势报告：关键法律问题（28 页）

北京大学：2025 年 DeepSeek 原理和落地应用报告（57 页）

欧盟委员会 人工智能与未来工作研究报告

加州大学伯克利分校：面向科学发现的多模态基础模型：在化学、材料和生物学中的应用

电子行业：从柔性传感到人形机器人触觉革命 - 250226（35 页）

RT 轨道交通：2024 年中国城市轨道交通市场数据报告（188 页）

FastMoss：2024 年度 TikTok 生态发展白皮书（122 页）

Check Point：2025 年网络安全报告 - 主要威胁、新兴趋势和 CISO 建议（57 页）

【AAAI2025 教程】评估大型语言模型：挑战与方法，199 页 ppt

《21 世纪美国的主导地位：核聚变》最新报告

沃尔特基金会（Volta Foundation）：2024 年全球电池行业年度报告（518 页）

国际科学理事会：2025 为人工智能做好国家研究生态系统的准备 - 2025 年战略与进展报告（英文版）（118 页）

光子盒：2025 全球量子计算产业发展展望报告（184 页）

奥纬论坛：2025 塑造未来的城市研究报告：全球 1500 个城市的商业吸引力指数排名（124 页）

Future Matters：2024 新兴技术与经济韧性：日本未来发展路径前瞻报告（17 页）

《人类与人工智能协作的科学与艺术》284 页博士论文

《论多智能体决策的复杂性：从博弈学习到部分监控》115 页

《2025 年技术展望》56 页 slides

大语言模型在多智能体自动驾驶系统中的应用：近期进展综述

【牛津大学博士论文】不确定性量化与因果考量在非策略决策制定中的应用

皮尤研究中心：2024 美国民众对气候变化及应对政策的态度调研报告：气候政策对美国经济影响的多元观点审视（28 页）

空间计算行业深度：发展趋势、关键技术、行业应用及相关公司深度梳理 - 250224（33 页）

Gartner：2025 网络安全中的 AI：明确战略方向研究报告（16 页）

北京大学：2025 年 DeepSeek 系列报告 - 提示词工程和落地场景（86 页）

北京大学：2025 年 DeepSeek 系列报告 - DeepSeek 与 AIGC 应用（99 页）

CIC 工信安全：2024 全球人工智能立法的主要模式、各国实践及发展趋势研究报告（42 页）

中科闻歌：2025 年人工智能技术发展与应用探索报告（61 页）

AGI 智能时代：2025 年 Grok - 3 大模型：技术突破与未来展望报告（28 页）

上下滑动查看更多

来源：人工智能学家