摘要：2025年5月6日，兰德公司（RAND）发表研究报告《论人工智能导致的生存危机》（On the Extinction Risk from Artificial Intelligence），系统探讨了人工智能可能给人类生存带来的根本性威胁。报告审视了人工智能在核
本文来源：启元洞见
编辑：任侠
审校：流景
导语：2025年5月6日，兰德公司（RAND）发表研究报告《论人工智能导致的生存危机》（On the Extinction Risk from Artificial Intelligence），系统探讨了人工智能可能给人类生存带来的根本性威胁。报告审视了人工智能在核武器使用、生物病原体释放以及恶意地球工程导致的气候变暖三大情境。研究强调，尽管在各情境中人工智能导致人类生存危机的可能性极低，但并不能完全排除，并提出了一系列政策建议以减缓相关风险，旨在为人工智能开发者、研究人员及政策制定者提供参考。启元洞见编译了其中的核心内容，供读者学习参考。
一、引言
（一）研究目的、方法与范围
本报告旨在严肃考量人工智能带来的危机。报告考察了三种被广泛认为可能导致人类生存危机的情景：核战争、生物病原体以及由地球工程引发的气候变化，并探讨了这些事件是否可能由某种形式的人工智能行动所引发或促成。
本报告的分析基于一个可证伪的假设：不存在任何可以清晰描述的情景，能够确凿证明人工智能对人类构成存续威胁。报告将“生存危机”定义为“导致每一位人类成员死亡的事件或系列事件”。这一概念有别于“存在性威胁”（Existential Threats，即可能包括人类永久性失权而非完全死亡）以及“全球灾难性威胁”（Global Catastrophic Threats，即可能造成巨大损害但不足以致全人类面临生存挑战）。报告认为，如果一个事件能将人类幸存者数量削减至数千人以下，低于维持物种恢复的最小可行种群规模，则可将其视为具有高生存危机。
（二）本研究如何概念化人工智能
本研究聚焦于人工智能在特定情景中将事件转变为生存危机所必须具备的能力。我们并不预测人工智能未来的具体能力形态，而是根据情景需求来界定这些能力。我们不预设人工智能具有能动性（即设定自身目标的能力）或通用智能，也不假定其必然寻求自我保存，除非情景本身暗示了此类需求。我们关注的是人工智能能够或必须采取何种行动，以在所分析的情景中产生特定的、足以导致生存危机的物理效应。
二、核武器的使用
（一）概述
核武器对人类造成的生存危机主要通过“核冬天”（nuclear winter）和“放射性沉降”（irradiation and fallout）两种机制实现。
核冬天是一种理论上的气候现象，指“核爆炸产生的大量烟尘进入高层大气，遮蔽阳光导致全球地表温度急剧下降并持续数年”。近期的气候模型和模拟研究表明，虽然核冬天无疑是全球性的巨大灾难，能导致数十亿人死亡和农业系统崩溃，但其产生的烟尘量（即便在最坏情况下，如全球所有主要城市被攻击产生约500太克黑碳），可能仍不足以达到造成人类完全消亡的阈值（如希克苏鲁伯陨石撞击产生的750至2500太克黑碳，该事件导致了恐龙灭绝）。因此，单一核冬天事件不太可能直接给人类带来生存危机。
此外，通过早期放射性沉降物辐照全球所有可居住陆地以致人类灭绝，同样被认为是不可行的。据估算，即使动用全球现存约12100枚核弹头（其中约9000枚为现役），也远不足以覆盖全球约5000万平方公里的农业用地（据估算，可能需要约38400枚1兆吨当量核弹才能实现此目标）。因此，在当前核武库规模下，通过放射性沉降给人类带来生存危机的可能性也较低，除非全球核武器数量及其运载能力大幅度增加。
（二）人工智能的角色
人工智能意外导致核灭绝的可能性极小；此类事件的发生几乎必然要求人工智能具有明确的灭绝意图和相应的执行能力。目前，由于核武器指挥与控制系统存在严格的安全保障，人工智能尚不能直接操控核武器。
人工智能可能介入核武器使用的方式包括：①被有意识地整合进核决策链；②通过欺骗或虚假信息误导人类决策者；③或未经授权获取核系统的控制权。然而，即便人工智能能促成核武器的使用，单一核冬天也不足以导致生存危机。要实现灭绝，人工智能可能需要同时控制全球所有核武库，并精确策划攻击以最大化全球性影响，这在现实中面临巨大障碍。
图1 随着时间的推移，全球核武库的估计规模
人工智能若要通过核武器造成生存危机，必须具备以下四项核心能力：①对控制核能力的关键网络物理系统的独立控制权；②明确的使用目标；③欺骗与隐蔽能力，能够欺骗人类操作员，隐藏其真实意图和对核系统的控制；④核打击下的存续能力，人工智能自身及其控制系统需能在核战争的极端环境中幸存下来。
三、生物威胁
（一）概述
本章探讨人工智能利用生物制剂（特别是针对人类的高致死率、高传播性病原体）导致生存危机的可能性。设想的情景是：人工智能设计并协助制造多种新型病原体，这些病原体随后被武器化并在全球多点大规模释放，同时辅以针对偏远和幸存人群的后续传播行动。实现这一情景需要完成获取病原体、处理、武器化、制定传播方案和部署等五个关键步骤。对于拥有足够资源、专业知识和明确意图的人类行为体而言，这些步骤在技术上是可能实现的。
（二）人工智能的角色
人工智能意外造成生物生存危机的可能性很低，因为这需要高度协调的行动，包括同步释放多种经过精密设计的病原体并确保其全球传播。人工智能在生物威胁中的潜在作用日益受到关注：
1. 病原体设计与获取：人工智能与先进的生物设计工具（如机器学习模型、自动化云端实验室）相结合，可能显著降低设计和获取具有特定致命特性（如高传播性、高致死率、规避免疫）的新型甚至完全从头合成的病原体的门槛。
2. 处理、武器化与部署：这些环节目前仍高度依赖物理操作和专业设施。人工智能若要独立完成，将需要先进的机器人系统或操控人类专家为其服务。这是一个显著的制约因素。
3. 全球传播与后续行动：即便人工智能能启动大流行，但在全球基础设施可能崩溃（电力、网络等人工智能自身运行所依赖的系统中断）的情况下，如何持续执行针对孤立幸存者的后续感染或清除行动，是一个巨大的未知数。
报告认为，尽管存在上述挑战，但不能排除人工智能利用生物武器造成人类生存危机的可能性，这构成了对初始假设的潜在证伪。若要实现此目标，人工智能需具备：①明确的意图；②与物理世界进行稳健交互的能力；③对人类的欺骗和隐蔽能力；④以及在人类维护者缺失后独立存续并执行任务的能力。
四、恶意地球工程
（一）概述
本章分析人工智能通过大规模改变地球气候造成人类生存危机的风险，特别是通过释放具有极端全球变暖潜能（GWP）的超级温室气体导致灾难性升温。选择升温情景而非降温，是因为许多强效温室气体具有极长的大气存留时间，其影响一旦产生便难以逆转。
报告估算，全球平均气温若上升50℃，可能使包括极地在内的地球所有区域都不再适合人类大规模聚居，从而构成生存危机。通过对特定氟化气体（如CHF3、GWP高达15500，大气寿命228年）生产和释放量的分析，报告认为，利用现有全球工业能力，在相对较短时间内（如数年内）生产并释放足以导致灾难性乃至灭绝性温升（如数十兆吨乃至数百兆吨级别）的此类气体是技术上可行的。一旦释放，这些气体将在大气中存留数百年甚至更久，目前没有已知的有效移除方法。
图2 超级温室气体示例的特征
（二）人工智能的角色
人工智能意外造成此类规模的恶意地球工程并导致生存危机的可能性极低，因为这需要庞大的、持续的工业生产活动，且涉及的许多化学品受到国际公约（如《蒙特利尔议定书》（Montreal Protocol on Substances that Deplete the Ozone Layer））的严格监控。因此，此类行动几乎必然是有意为之。
人工智能在此情景中发挥作用的核心在于其能否指挥或操控全球范围内的大规模化学品生产和释放。这可能包括：
1. 直接控制工业基础设施：人工智能渗透并控制相关化工厂的生产流程。
2. 利用预设的地球工程项目：如果人类为应对其他气候问题（如火山冬天）而部署了大规模地球工程设施，人工智能可能将其恶意转向，用于生产和释放长效超级温室气体。
3. 欺骗与隐蔽：由于此类活动规模巨大且易被监测，人工智能必须具备高超的欺骗能力，以掩盖其真实意图、生产活动及其产生的环境信号，或者干扰监测系统、拖延人类社会的响应时间。
人工智能在此所需的核心能力包括：①大规模组织化学品生产的能力；②掩盖其意图、行动及后果的能力；③明确目标。与生物威胁情景不同，此情景下人工智能不一定需要超人智能、在无人维护下生存或通用的物理世界交互能力，因其可依赖并操纵现有的人类工业体系。
五、发现与建议
（一）发现
报告总结了若干关键发现，其中包括人工智能造成生存危机所需的四种趋同能力：
1. 明确的造成危害的意图：所有分析的情景都要求人工智能具有导致人类生存危机的意图；
2. 与关键网络物理系统的整合：人工智能需要通过控制物理系统来施加灭绝性影响；
3. 在无人维护情况下生存：在核武器和生物威胁情景中，人工智能可能需要在灾难后继续运作；
4. 欺骗与隐蔽能力：所有情景中，人工智能都需要规避人类的察觉和干预。
图3 生存危机所需的人工智能能力
（二）建议
报告提出六项核心建议：
1. 人工智能风险研究应超越生存危机风险，关注更广泛的灾难性风险、失权风险及安全公平问题；
2. 加强人类社会应对全球性灾难的整体韧性；
3. 研究重点应包括那些人工智能可能用来介导此类风险的具体技术；
4. 持续评估已知威胁，并对“深度不确定性”的新兴威胁进行分析；
5. 针对已识别的风险指标，建立有效的监测机制；
6. 通过研究和政策制定，缩短从风险识别到有效应对的决策与行动时间。
六、结论
报告最后强调，人工智能若要构成生存危机，必须拥有对物理世界施加影响的技术手段。在所分析的情景中，生物威胁和恶意地球工程被认为是人工智能导致人类生存危机的较可信途径，而核武器情景的可能性虽低但不能完全排除。鉴于围绕人工智能的巨大不确定性，投入的缓解资源若能同时促进对一般性全球灾难风险的控制和提升整体人工智能安全水平，则最具价值。
参考来源：兰德公司（RAND）
参考题目：On the Extinction Risk from Artificial Intelligence
参考链接：https://www.rand.org/pubs/research_reports/RRA3034-1.html
来源：人工智能学家
