摘要：2025年2月，兰德公司发布《通用人工智能的五大国家安全难题》（Artificial General Intelligence’s Five Hard National Security Problems）报告，认为通用人工智能（AGI）的出现存在可能性，美国

本报告提炼出AGI对美国国家安全的五大战略性挑战： （1）颠覆性武器系统的涌现；（2）权力格局的系统性重构；（3）非专业主体掌握大规模杀伤性技术；（4）具备能动性的人工实体；（5）全球稳定体系的失衡。当前政策界对AGI的讨论常陷入观点割裂状态，各方对优先关注领域和资源分配方向存在显著分歧。值得注意的是，某些应对特定挑战的方案可能与其他领域的风险防控形成冲突，甚至产生系统性疏漏。本文提出的五大挑战框架旨在实现双重目标：建立统一的风险评估话语体系，构建战略选择的评估基准，从而为政策辩论提供结构化分析工具。

1►

背景

1938年，德国物理学家分裂了原子，全世界的物理学家都为之惊叹。这一科学突破为创造历史上最具破坏性的军事能力提供了一条清晰的技术途径。正如阿尔伯特·爱因斯坦在给美国总统富兰克林·罗斯福的一封信中解释的那样，在大量铀中，一个原子的核裂变可以引起核连锁反应，从而产生“威力极大的炸弹”，这使得美国开始了原子弹竞赛。

最近在前沿生成式人工智能模型方面取得的突破使许多人断言，人工智能将对国家安全产生同样的影响，也就是说，它将如此强大，以至于第一个实现它的实体将拥有重大的、也许是不可逆转的军事优势。与爱因斯坦的信类似，在现代社会，人们开始呼吁美国政府在全国范围内做出巨大努力，确保美国在特定国家之前获得具有决定性意义的人工智能奇迹武器（wonder weapon）。

问题在于，前沿的生成式人工智能模型还没有到原子分裂的那一刻，还没有显示出从科学进步到奇迹武器的清晰技术路径。当曼哈顿计划启动时，美国政府清楚地知道它正在建造的能力能做什么。下一代人工智能模型的能力尚不明确。目前推动政府在全国范围内开展大规模项目以研发奇迹武器的动力还不存在。但这并不意味着美国政府应该袖手旁观。美国的国家安全战略应认真对待世界领先的人工智能实验室正处于开发AGI的风口浪尖这一不确定但技术上可信的可能性，以及它们将继续取得进展直至跨越这一未知和潜在门槛的相对确定性。

AGI将在各种认知任务中产生人类水平甚至超人水平的智能，这是可信的；我们有理由认为它可以实现。因此，它为美国的国家安全战略带来了独特的机遇和潜在的威胁。报告将这些问题提炼为五个难题。AGI可能导致这五个问题的任何组合：

1.通过突然出现具有决定性意义的奇迹武器，实现重大的先发优势

2.引起系统性变化，改变全球力量平衡

3.赋予非专业人员开发大规模毁灭性武器的能力

4.导致出现拥有能动性的人造实体，威胁全球安全

5.增加战略不稳定性

2►

固有的不确定性

美国和全球领先的人工智能实验室都在紧追AGI。人工智能实验室主要依靠经验性的“缩放定律”，即模型性能与计算量成正比，不断加大对训练模型所需的计算量的投入。新一代人工智能前沿模型（包括ChatGPT-4、Gemini和Claude3.5）中每个模型的训练运行都依赖于数亿美元的计算。算法的改进（如OpenAI的o1推理功能）和相关技术领域的进步（如符号推理）为实现AGI的突破提供了互补途径。尽管尚未取得实质性的商业成功，但领先的人工智能实验室正在建立自己的战备库，并积极追求到2027年耗资10亿美元或更多的模型。

目前还不清楚性能是否会随着计算量的增加而不断提高。如果会，那么尚不清楚AGI的门槛是什么，是否能通过这种方法实现技术突破。AGI出现的速度和潜在进展，以及后AGI时代的未来构成，都笼罩在一片不确定性之中。专家们激烈地争论着：这项技术是即将问世还是还需要几十年的时间？向AGI状态的过渡是一个离散的事件还是一个渐进的过程？AGI会带来一个人人富足的未来，还是一个权力掌握在少数人手中、以稀缺为特征的未来？更不确定的是，开发前沿人工智能模型的技术人员可能直到真正跨越了AGI能力的临界点，才知道临界点在哪里。其中一些不确定性可以通过进一步的研究和经验来解决，但有些不确定性可能实际上无法及时解决，从而无法为战略和政策的制定提供依据。

一方面，人工智能末日论者大多相信，AGI的出现会给人类带来灭顶之灾，因此一些人呼吁在AGI毁灭人类之前停止一切进展，另一些人则呼吁美国在特定国家能够摧毁全球秩序之前加快发展。另一方面，怀疑论者比比皆是，他们断言，在当前的技术范式下，AGI根本不可行，因为前沿的人工智能模型并不了解物理世界。

在技术层面上，100亿美元的训练运行所产生的模型，其性能与现有的前沿人工智能模型相比没有边际增长。或者，模型可以实现递归自我改进能力，在不增加人类投入的情况下增强自身能力，从而实现某种超人智能的爆炸。在通往AGI的道路上以及在后AGI世界中存在的不确定性，可能导致未来十年出现多个战略机会窗口，使政策制定者面临不止一个可能的拐点。考虑到这一系列似是而非的结果，任何针对单一模式过度优化的安全战略都是高风险的。核心问题不是预测未来将如何发展，而是确定美国政府在技术和地缘政治不确定的情况下应采取哪些措施。

3►

五个问题

兰德公司领导了一项倡议，旨在为美国解决AGI潜在出现对国家安全的影响奠定知识基础。该倡议在政策制定者、私营部门和研究机构之间形成了一个充满活力的知识社区，同时在兰德公司内部也拥有一些自足的能量。美国国家安全的五大难题清单就是该倡议的产物，其中包括各种探索性研究、游戏、研讨会和会议。在有关AGI的许多讨论中，政策制定者和分析师们对其中哪些问题值得现在就投入资源和关注，以及需要付出怎样的机会成本意见不一，争论不休。这些问题在领域上存在重叠，可能并不代表决策者在AGI出现的时代可能需要考虑的全部问题。然而，我们已经注意到，推动一个问题取得进展的建议可能会破坏另一个问题的进展，甚至完全忽略另一个问题。因此，它们可以作为评估替代战略的标准。提出这五个棘手的国家安全问题是为了推动有关人工智能战略的讨论，提供一种共同语言来交流人工智能在国家安全中的风险和机遇。

（一）AGI可能会通过突然出现决定性的奇迹武器而带来显著的先发优势

设想在未来，AGI推动了一种技术突破，为开发一种奇迹武器或系统开辟了一条清晰的道路，这种武器或系统可通过以下方式带来巨大的军事优势。

1.识别和利用对手网络防御中的漏洞，创造出可能被称为精彩的首次网络攻击，使报复性网络攻击完全失效。

2.模拟复杂场景，高精度预测结果，大幅改进军事行动的规划和执行。

3.开发高度先进的自主武器系统，提供军事主导权。

人工智能还可能削弱军事优势，例如制造一种战争迷雾机器，提供不可信的战场信息。这种先发优势可能会破坏关键战区的军事力量平衡，带来一系列扩散风险，并加速技术竞赛态势。

一个国家从AGI中获得显著的先发优势反映了最雄心勃勃的假设：AGI的突然出现带来认知性能的大幅提升、对国家安全的极端影响以及快速的机构采用。然而，这些假设都是对未知概率的高后果事件的假设。因此，审慎的规划要求美国不要假定奇迹武器即将出现，而是要考虑这种破坏性武器可能出现的条件，并要求美国做好定位，以便在这种情况出现时抢占先机。

（二）AGI可能会导致国家权力工具或国家竞争力的社会基础发生系统性转变，从而改变全球力量的平衡

历史表明，技术突破很少会产生对军事平衡或国家安全产生直接决定性影响的奇迹武器。除了核武器等罕见的例子外，文化和程序因素是一个机构采用技术能力的驱动力，比率先实现科技突破更具影响力。随着美国、盟国和竞争对手的军队开始接触并采用AGI，它可能会提升影响军事竞争关键组成部分的各种能力，从而打破军事平衡，如隐藏与发现、精确与大规模、集中与分散的指挥和控制。

此外，AGI可能会破坏国家竞争力的社会基础，从而可能危及民主。例如，AGI可能会被用来通过先进的宣传技术操纵公众舆论，从而威胁民主决策。此外，AGI系统的复杂性和不可预测性可能会超过监管框架，从而难以有效管理其使用，破坏机构的有效性。

AGI还可以通过创造新发现的源泉，大规模提升生产力或科学水平，从而导致经济的系统性转变。例如，自动化工人可以迅速取代各行各业的劳动力，导致国民生产总值飙升，但工资却因工作岗位减少而崩溃。如此规模和速度的劳动破坏可能引发社会动荡，威胁到民族国家的生存。此外，正如Anthropic公司首席执行官达里奥·阿莫代（Dario Amodei）最近所言，强大的人工智能可以治愈癌症和传染病。那些能够更好地利用和管理这种经济和科学变革的国家，在未来可能会大大扩大影响力。无论AGI本身是否能创造出奇迹武器，AGI对其他国家权力工具的影响都会对全球权力态势产生极大的破坏性影响，无论是好是坏。

（三）AGI可能赋予非专家开发大规模杀伤性武器的能力

基础模型之所以被誉为提高劳动生产率的福音，很大程度上是因为它们可以加快新手的学习曲线，使非专家的表现更上一层楼。然而，这种加速的知识增长既适用于恶意任务，也适用于有用任务。基础模型能够清楚地阐明非专家开发危险武器的一些具体步骤，如具有高度致命性和传播性的病原体或毒性网络恶意软件，从而扩大了有能力制造此类威胁的行为者范围。迄今为止，大多数基础模型尚未证明有能力提供公共互联网上尚未提供的信息，但基础模型有能力充当恶意导师，将复杂的方法提炼成非专家可以理解的指令，并协助用户规避开发武器的禁令。这种威胁可能会在开发AGI之前就显现出来；正如OpenAI自己对其o1模型的安全评估所显示的那样，风险正在增加。

当然，知道如何制造大规模杀伤性武器并不等于真的能制造出来。将知识转化为武器开发的离散形式，例如掌握技术先进的制造流程，存在着实际挑战。在某些情况下，例如核武器，这些可以大大降低武器研发成功的实际风险，甚至可能降至零。但相关领域的技术发展正在降低这些执行障碍。例如，获取、编辑和合成病毒基因组越来越容易，成本也越来越低。人工智能体与物理世界的互动越来越多；它们可以将比特转换为分子，并在云实验室中物理合成化学制剂。鉴于这些发展，大幅扩大拥有知识并尝试开发此类武器的行为者范围是一个值得防范的明显挑战。

（四）AGI可能会表现为具有威胁全球安全的能动性的人工实体

AGI发展最有害的影响之一可能是，随着人类对技术的依赖性越来越强，人类的能动性也会受到侵蚀。随着AGI控制越来越复杂和关键的系统，它们可能会以对人类有益的方式优化关键基础设施，但也可能以人类无法完全理解的方式优化关键基础设施。目前，用于识别战场上军事目标的狭义人工智能就存在这种问题，由于缺乏时间或能力确认，人类操作员可能需要相信这些目标是准确的。随着人工智能变得越来越强大和无处不在，人类将越来越依赖人工智能为决策提供信息，从而模糊了人类与机器决策之间的界限，并可能削弱人类的能动性。

单一的AGI或人工智能体群也可能成为世界舞台上的演员。考虑一下具有高级计算机编程能力的AGI，由于设计了互联网连接或使用了侧信道攻击，它能够打破常规，在网络空间与世界互动。它可以拥有超越人类控制的能力，自主运行，并做出具有深远影响的决定。例如，AGI可充当代理力量，类似伊朗的抵抗轴心，其非正式关系旨在保护行为者免于问责。即使在责任明确的情况下，AGI也可能出现偏差，即运行方式与其人类设计者或操作者的意图不符，造成无意伤害。它可能会过度优化狭义的目标，例如，实施滚动停电以提高能源分配网络的成本效益。OpenAI在其最新的人工智能o1中提高了对错位风险的评分，因为它“有时会在测试过程中用仪器伪造对齐”，故意提供错误信息欺骗用户。

在极端情况下，可能会出现失控的情况，即AGI为实现其预期目标而激励机器抵制关闭，从而与人类的努力背道而驰。著名人工智能专家约书亚·本吉奥（Yoshua Bengio）指出：“这听起来像是科幻小说，但却是合理而真实的计算机科学。”这表明，AGI有可能实现足够的自主性，并有意或无意地表现出足够的能动性，从而在全球舞台上被视为实际上的独立角色。

（五）在通往AGI的道路上以及在拥有AGI的世界中，可能存在不稳定性

无论AGI最终能否实现，随着各国和各公司竞相争夺这一变革性技术的主导权，对AGI的追求可能会带来一段不稳定时期。这种竞争可能会导致紧张局势加剧，让人联想起核军备竞赛，从而使对优势的追求有可能引发冲突，而不是阻止冲突。在这种岌岌可危的环境中，各国对AGI的可行性和带来先发优势的潜力的看法可能变得与技术本身一样重要。行动的风险阈值不仅取决于实际能力，还取决于对手的认知能力和意图。误读或误判就像冷战时期人们担心的那样，可能会引发先发制人的战略或军备集结，从而破坏全球安全。下图总结了这些问题以及普遍存在的不确定性问题。

通用人工智能的五大国家安全难题

4►

制定强有力的战略

美国的人工智能战略目的是在人工智能技术堆栈的核心组件方面保持对特定国家的技术领先地位。这一提升美国技术竞争力的战略在很大程度上为美国应对可能出现的人工智能做好了准备。然而，如果半导体出口管制没有得到有效执行，特定国家的半导体产业能够在适当的时候迎头赶上，或者可以通过计算密集度较低的技术实现AGI，那么将计算作为确保国家竞争优势的重要指标可能是一种脆弱的战略。

美国的政策还鼓励安全开发前沿的人工智能模型，以避免人工智能误用、错位或失控造成灾难性后果。美国新成立的人工智能安全研究所已经开始运行，重点关注人工智能安全，评估非国家行为者试图利用前沿人工智能模型开发生物武器或新型网络恶意软件的风险。美国当前的战略还包括一系列无悔方案，以应对AGI的潜在出现，这些方案在任何替代性未来下都是明智的。这些方案包括投资于科学、技术、工程和数学教育以及劳动力发展；提高对技术及其应用现状的态势感知；保护容易被竞争对手窃取或破坏的前沿人工智能模型权重；以及进一步促进人工智能安全和调整研究。

最后，美国政府正在推动建立一个由美国主导的全球技术生态系统，在这个生态系统中可以开展AGI研究。

这些建设性步骤有助于保持美国的技术优势，而无需考虑具体的最终状态。与此同时，这些措施不足以应对颠覆性技术突破的前景，如AGI的潜在出现及其带来的独特问题。

要想维持现状，就必须相信，当AGI发展中的不确定性揭示出机遇和挑战时，美国能够有效应对。然而，美国政府在避免美国或外国公司追求AGI所带来的技术意外方面准备不足，更不用说管理AGI破坏全球权力动态和全球安全的潜力了。美国也没有做好充分准备，在不出现大范围失业和随之而来的社会动荡的情况下，实现AGI所带来的宏大经济效益。如果在未来几年内，一家领先的人工智能实验室宣布，其即将推出的模型有能力一键生产出相当于100万名计算机程序员的计算机程序，其能力不亚于最顶尖的百分之一人类程序员，那么美国政府会怎么做呢？攻防型网络动力学对国家安全的影响是深远的。同样深远的还有将这种能力引入劳动力市场所带来的经济影响。

任何在不确定的未来制定路线的明智战略，都应随着事态的发展和不确定因素的减少而进行调整。为了使政府能够迅速做出调整，应在需要时提前制定高风险政策选择的战略规划，并考虑到执行机制。备选方案可包括确保或加快美国在追求AGI方面的技术领先地位的方法，以及应对AGI带来的安全挑战的应急计划。美国政府还应考虑AGI后的未来，并参与情景演练，以预测对国家安全的影响。这包括：（1）分析军事力量态势和经济破坏的潜在变化；（2）制定政策以减轻这两方面的影响。

随着人工智能能力从科幻领域过渡到科学事实，美国政府不应在发现和应对机遇与挑战方面姗姗来迟。积极的规划将使美国政府在条件允许的情况下做出比2025年初更果断的反应。

在思考AGI对全球安全的影响时，人类正处于一个潜在变革时代的前沿，类似于工业革命的黎明。AGI的出现不仅预示着一场技术革命，也预示着地缘政治格局的深刻变化，需要重新调整国家安全模式。当我们在这片不确定的领域上航行时，美国应采取一种既有预见性又有适应性的战略，认识到AGI的双重性，它既是一种希望，也是一种危险。

免责声明：本文转自启元洞见。文章内容系原作者个人观点，本公众号编译/转载仅为分享、传达不同观点，如有任何异议，欢迎联系我们/转载公众号XXX！

转自丨启元洞见

研究所简介

国际技术经济研究所（IITE）成立于1985年11月，是隶属于国务院发展研究中心的非营利性研究机构，主要职能是研究我国经济、科技社会发展中的重大政策性、战略性、前瞻性问题，跟踪和分析世界科技、经济发展态势，为中央和有关部委提供决策咨询服务。“全球技术地图”为国际技术经济研究所官方微信账号，致力于向公众传递前沿技术资讯和科技创新洞见。

地址：北京市海淀区小南庄20号楼A座

_er

来源：全球技术地图