摘要：要驯服一头庞然巨兽，使其融入人类的生产与生活，除长久的谨慎与耐心外，还需要一套稳固可靠的“驯兽术”——一边思考驾驭，一边谋求共生；一边提供空间，一边抓紧缰绳。这与我们当下面对人工智能的处境何其相似。

IPP评论是国家高端智库华南理工大学公共政策研究院（IPP）官方微信平台。

导语：

要驯服一头庞然巨兽，使其融入人类的生产与生活，除长久的谨慎与耐心外，还需要一套稳固可靠的“驯兽术”——一边思考驾驭，一边谋求共生；一边提供空间，一边抓紧缰绳。这与我们当下面对人工智能的处境何其相似。

如今，人工智能正从单一的技术工具，迅速变为融入经济与社会运转的基础设施。它调度交通、驱动金融交易、影响舆论传播，并日益融入公共安全管理和基层治理。伴随这种转变，其引发一系列风险往往也不再是孤立事件。一次金融风控模型的算法偏差，可能瞬间蔓延至资本市场，引发系统性恐慌；一段深度伪造的视频，足以在短时间内搅动舆论，左右公众判断；自动驾驶一旦失灵，可能引发保险、物流乃至城市治理的连锁反应。

IPP特约研究员、广州市社会科学院城市治理研究所副所长孙占卿认为，阿西莫夫描绘的“智能反叛”可能正在走出科幻：生成式人工智能正速度改变世界，而治理和伦理框架却未能跟上。网络攻击、深度伪造、算法歧视、军备竞赛……AI正在多维度重塑公共安全版图。要驯服这股力量，关键不是按下暂停键，而是在持续发展中打造一套有韧性、够敏捷、能协同的全球治理体系，用动态风险管理和国际共识为未来护航。

阿西莫夫在小说《莎莉》中描述了一辆自动巴士因为受到粗暴对待，造反杀死了自己的主人吉尔宏的故事。这可能是人类第一次意识到人工智能可能忤逆人的意图，并由此诞生了“机器人三大法则”。现代人工智能，尤其是生成式人工智能的到来，迅速颠覆了人们对人工智能的伦理想象，并确立了新的思路：

与其将安全希望寄托在人工智能身上，不如把安全规则建立在人类开发行为中。

在阿西莫夫看来，技术背后真正的风险多源于人的动机与制度缺陷。图源：Getty Imagies

一、AI安全问题已迫在眉睫

与技术的高速演进相比，人工智能安全机制、伦理规范和治理框架发展相对滞后，已经形成了危险的“治理赤字”。

斯坦福大学人类中心人工智能研究所（Stanford HAI）发布的《2025AI指数报告》指出，2024年全球人工智能总投资额高达2523亿美元，较2023年增长25.5%。仅以领军企业OpenAI为例，其2025至2029年预计现金支出就将达到1150亿美元。这表明人工智能已经成为驱动全球经济的核心引擎。指数级的资本注入转化为惊人的行业渗透率，全球有78%的组织报告称在2024年使用了AI。在2023的时候，这一数据仅为55%。

《人工智能全球治理上海宣言》（以下简称《上海宣言》）指出：

“随着人工智能技术快速发展，我们也面临前所未有的挑战，特别是在安全和伦理方面”。

对人工智能公共安全风险进行系统性、前瞻性的评估与治理，已经变成维护社会稳定与未来发展的当务之急。

2024世界人工智能大会暨人工智能全球治理高级别会议开幕式上，上海向全球发布了《人工智能全球治理上海宣言》。图源：新华社

二、AI带来了新型公共安全风险

人工智能正在打破网络安全与物理安全之间的传统界限，催生了形态多样、影响深远的新型公共安全风险，意味着公共安全治理体系必须打破原有部门壁垒，推动网络安全、交通安全、能源安全等领域的深度融合，重构专业知识体系和应急响应机制。

在技术应用层面，人工智能正被用于构建和放大传统安全威胁。

人工智能技术普及极大地降低了网络攻击和虚假信息制造的门槛，同时显著提升了其复杂性和破坏力。一方面，AI被用于武器化的网络攻击。生成式AI可以被用来创造恶意软件，这类软件能够实时改变其代码以规避传统的病毒检测系统，并能自动化地发现和利用系统漏洞。

另一方面，AI驱动的大规模虚假信息和认知作战正成为突出现实威胁。利用深度伪造（Deepfake）等技术，攻击者可以生成高度逼真的音视频内容，用于实施精准诈骗（如香港发生的涉案金额高达2500万美元的深度伪造诈骗案）和操纵公众舆论。

“深度伪造技术”（Deepfake）基于AI人工智能技术进行人体图像合成。近年在国内外已出现多起相关诈骗案件。图源：央视新闻

世界经济论坛的《全球风险报告》已连续两年将“错误信息和虚假信息”列为未来两年全球面临的最大风险，并明确指出AI是其主要驱动因素。

在2024年，AI生成的虚假与误导信息被认为是仅次于极端天气的全球重大风险。图源：World Economic Forum

人工智能技术正从数字空间溢出到物理世界，直接关系到人身与财产安全。

首先，自主系统的安全事故频发。以自动驾驶汽车为例，尽管技术不断进步，但其在复杂真实世界环境中的感知、决策和执行环节仍存在缺陷。美国国家公路交通安全管理局（NHTSA）和加州车辆管理局（DMV）的事故报告显示，自动驾驶系统在特定场景下存在缺陷，且各地的事故报告标准不一，增加了风险评估和监管的难度 。

其次，致命性自主武器系统带来了严峻的伦理和安全挑战。联合国裁军研究所（UNIDIR）的研究报告指出，自主武器系统可能压缩人类决策时间，增加误判和冲突意外升级的风险，并对如何确保“有意义的人类控制”提出了根本性质疑，凸显了其对全球战略稳定的潜在颠覆性影响。

联合国新闻网站（UN News）发布评论指出，自主武器带来程序失误、恶意软件入侵等高危隐患。图源：路透社

人工智能的“双刃剑”效应在生化安全领域尤为突出。为药物研发等良性目的设计的AI工具，可能被恶意行为者滥用，用于设计新型毒素分子或增强病原体的毒性与传播性，也可能被用于开发新型武器。这种“双重用途”困境使得传统的出口管制和材料监控措施的效果大打折扣。

欧盟在其《人工智能法案》中已将化学、生物、放射性和核（CBRN）威胁明确列为高风险AI系统需要评估的“特定风险” 。同样，美国的相关行政命令也强调，需评估和减轻前沿模型被用于制造生化武器风险的重要性。

澳大利亚悉尼大学研究团队开发出一种生物AI系统，可在几周内创造出具有新功能的分子，为药物研发带来突破性进展。图源：路透社

在社会治理层面，人工智能的不当应用可能侵蚀社会公平正义的基石，挑战公共秩序的稳定性。

在司法和执法领域，算法的不透明和数据偏见可能固化甚至放大社会不公。例如，“预测性警务”系统如果使用带有历史偏见的逮捕数据进行训练，可能会将警力过度集中于特定族裔社区，从而形成“数据污染—算法偏见—歧视性执法—更多偏见数据”的恶性循环。

最具代表性的案例是美国非营利新闻机构ProPublica对COMPAS算法的调查。该算法被用于美国多个州的法院，以评估被告的再犯风险。调查发现，COMPAS在预测准确率上对不同族裔看似“公平”，但在错误率上存在显著的种族偏见：它将未再犯的黑人被告错误地标记为“高风险”的概率，几乎是白人被告的两倍。此案例深刻揭示了不同数学“公平”定义之间的冲突，以及算法偏见在现实世界中造成的实质性伤害。

ProPublica的调查中，COMPAS算法系统性地偏向于将黑人被告判定为高风险，而更频繁将白人被犯低估为低风险。

人工智能与传统治理手段的结合，放大了治理行为的活动空间和深度，以目前被广泛用于公共安全领域的人脸识别等生物识别技术为例：自动拍摄、自动识别的使用极大扩张了原识别的范围和对象，引发对个人隐私和公民自由的严重关切。

联合国人权事务高级专员办事处警告称，无处不在的监控可能对人们的隐私权、集会自由和言论自由产生寒蝉效应，最终侵蚀民主社会的根基。为此，欧盟《人工智能法案》对执法部门在公共场所使用实时远程生物识别系统采取了原则上禁止、对待例外情况极其严格的规定，旨在遏制其滑向大规模社会监控的风险。

据路透社近日报道，许多公司对遵守《人工智能法案》的合规成本和严格要求表示担忧。图源：路透社

人工智能系统正被深度整合到能源、金融、交通、通信等国家关键基础设施中，这在提升效率的同时也造成了新的脆弱性。未来这类系统不仅面临外部网络攻击的风险，其自身的复杂性和“黑箱”特性也可能导致难以预料的故障或错误。

一次针对AI控制系统的网络攻击，或一次算法的意外失效，都可能引发长链条反应，导致物理世界的服务大规模中断。目前多个国家已明确要求负责关键基础设施的政府机构全面评估并防范AI相关风险。

上述当前已显现的风险及其特征并不是挑战的全貌，它们预示着，随着人工智能的持续演进，公共安全治理体系将面临一系列更为严峻的长期性与结构性挑战。

三、人工智能对公共安全体系的结构性挑战

除了当前已显现的风险，人工智能的持续演进还将从更深层次、更广范围对公共安全体系构成长期性和结构性的挑战。

人工智能的军事化应用正成为大国地缘政治竞争的焦点，尤其是在中美之间。兰德公司等研究机构的分析指出，将AI整合到军事指挥、情报分析和武器系统中，将极大地压缩决策时间窗口，但同时也会增加误判和冲突意外升级的风险，从而可能破坏长期以来形成的战略稳定。

这种围绕“算法优势”展开的新一轮军备竞赛，不仅投入巨大，而且各国形成的高度自主的智能系统，其行为边界和可靠性难以预测，给危机管控带来了前所未有的复杂性。

另外，与传统军备竞赛不同，AI技术的扩散速度更快、成本更低，这使得一些非国家行为体也能获得强大的非对称能力，对传统大国制衡的国际安全格局构成复杂挑战。

人工智能技术的指数级发展速度与政策法规的线性演进速度之间形成巨大的“剪刀差”。斯坦福大学的研究表明，前沿模型的评估基准和方法严重缺乏标准化，同步厂商各自为政，使得对不同模型的风险进行系统性比较极为困难。

更深层次的挑战在于，AI系统的“黑箱”特性，以及大模型动辄数百亿参数的规模使得其内部工作机理难以被解释，甚至其开发者都无法完全理解其所有行为。这给监管机构带来了巨大难题：不仅包括在制度层面，如何在不完全理解技术的情况下，设计出既能有效防范风险又不过度扼杀创新的、基于证据的法规；还包括在执行层面，如何甄别人工智能产品的安全性和合法性。这种知识上的不对称导致治理往往依赖于企业的自愿承诺，而对于事关公共安全的高风险领域，这种软性约束可能远远不够。

人工智能对劳动力市场的冲击不仅是一个经济问题，更是一个深刻的公共安全问题。世界经济论坛、国际货币基金组织（IMF）等机构的报告预测，AI可能导致全球数亿个工作岗位被取代或重塑。

IMF的分析指出，在发达经济体中，高达60%的工作岗位将受到AI的影响。这种由技术驱动的大规模、快速的结构性失业，可能催生一个庞大的“AI不稳定无产者”阶层，他们不仅面临收入损失，更可能失去职业认同感、社会归属感和生活目标。

历史经验表明，大规模失业和社会疏离感的蔓延是社会不稳定的温床，可能导致犯罪率上升、极端主义滋生、社会凝聚力下降，从而给公共安全和治安管理带来巨大压力。

以深度伪造为代表的AI生成内容技术，正以前所未有的能力大规模制造足以乱真的虚假信息。这使得公众、媒体甚至专业机构辨别真伪的难度呈指数级增长，从根本上动摇了“眼见为实”的认知基石。当事实与虚构的界限模糊，社会共识的基础便会瓦解，这直接威胁到社会治理的有效性，甚至政治选举等活动的严肃性。兰德公司和世界经济论坛等机构均对此发出过严重警告 。

从长远的时间维度看，通用人工智能（AGI）——在认知能力上达到或超越人类，具备主体性的“类人”的出现，几乎可以肯定，因此构成了对人类社会的终极挑战。

牛津大学人类未来研究所的尼克·博斯特罗姆（Nick Bostrom）等学者指出，如果一个远超人类智能的系统其目标与人类的核心价值观不一致，可能会带来灾难性甚至存在性风险。虽然AGI的实现尚无明确时间表，但其潜在的巨大影响意味着，对其安全和“对齐”（Alignment）问题的研究必须从现在开始就纳入国家安全和公共安全治理的顶层战略规划中。

忽视这一长期挑战，无异于在没有设计刹车和方向盘的情况下，加速驶向一个充满不确定性的未来。然而，随着这一天加速到来，人类必然又面临另一个争议：为什么类人的价值观，必须以人类为中心？为什么不是两者之间的价值融合，甚至人类向类人看齐？毕竟，从基思·斯坦诺维奇的《机器人叛乱》一书的视角看，人类也只是机器人的一种。

基思·斯坦诺维奇（Keith E. Stanovich）的心理学著作《机器人叛乱》（ The Robot's Rebellion: Finding Meaning in the Age of Darwin）

四、坚持在发展中管控风险的治理理念

《上海宣言》提出：

“以发展的眼光看问题，在人类决策与监管下，以人工智能治技术防范人工智能风险，提高人工智能治理的技术能力”。

在人工智能仍处于技术生命周期的初级阶段，其能力边界、应用场景和潜在风险仍在不断演变。在此背景下，选择何种治理理念，将决定未来相当一段时间内人类驯服人工智能的成效。我们应该摒弃狭隘偏见，坚持在发展中解决安全问题。

对人工智能安全性的治理，存在巨大的两难困境：与传统技术革命不同，人工智能技术的安全风险并不随着技术演进而降低，而是一种同步加速的复杂共生关系。

驱动人工智能快速发展的因素——创新的速度、投资的规模、部署的广度——恰恰也是制造系统性脆弱性的核心动因。

首先，创新的高速度制造了“治理赤字”。技术的指数级迭代与政策法规的线性演进之间的“剪刀差”，使得传统治理模式难以跟上技术发展的步伐，在风险浮现时往往显得被动和滞后。

其次，投资的规模导致了能力的高度集中。高昂的研发成本使得前沿AI的开发能力集中于少数大型科技企业，这些非国家行为体的内部决策，能够产生全球性的公共安全影响，从根本上改变了传统的以国家为中心的安全治理范式。

另外，部署的广度打破了安全边界。人工智能正被深度整合到金融、能源、交通等关键基础设施中，并从数字空间溢出到物理世界，使得纯粹的数字威胁（如算法被篡改）能够直接转化为物理世界的伤害（如自动驾驶汽车事故、关键基础设施瘫痪）。这种发展与安全的伴生关系，意味着我们无法将二者割裂开来。

安全问题内生于发展过程之中，也应该在持续的发展中寻求动态的解决方案。试图在绝对安全的环境中谋求发展，或在无视风险的情况下追求增长，都将是徒劳的。因此，任何有效的人工智能治理体系，都必须深刻理解并立足于这一基本现实，在鼓励创新和防范风险之间找到一条精妙而稳健的平衡之道。

北京的机器人商城，一台机器人正在工作。图源：AP

有种观点认为，技术发展本身能够解决其带来的所有问题，市场和创新最终会自我修正，消除安全隐患。这种“发展万能论”的盲目乐观具有极大的危险性，人工智能的许多风险，特别是社会治理层面的风险，具有自我强化效应，并不会随着技术的进一步发展而自动消失。

以ProPublica对COMPAS算法偏见的调查为例，用于预测再犯风险的算法对不同族裔存在显著的偏见，源于带有历史歧视的训练数据，而算法的预测结果指导警力部署，从而在特定社区产生更多带有偏见的执法数据，形成“偏见数据—偏见算法—歧视性执法—更多偏见数据”的恶性循环。在这种情况下，更强大的算力、更复杂的模型不仅不会消除偏见，反而可能使其更加隐蔽和固化。

同样，AI驱动的虚假信息对社会信任的侵蚀、大规模失业对社会结构的冲击等问题，也无法单纯依靠技术自身迭代来解决，而需要主动的、有意识的治理干预。公众日益增长的忧虑情绪也表明，社会对技术发展的信任并非无条件的，忽视风险只会侵蚀创新的社会基础。

与“发展万能论”相对的另一个极端，是基于恐惧和不确定性的“过度预防论”，即人为地为技术探索设置大量禁区，试图通过暂停或禁止某些领域的研究来规避潜在风险。这种做法看似审慎，实则可能导致更深层次的战略被动和安全隐患。

首先，在人工智能发展的早期阶段，人类尚无法完全预见其所有潜在的技术路线。过早地关闭探索之门，可能会错失其在应对气候变化、攻克疾病、发现新材料等人类重大挑战方面的巨大潜力 。

其次，人工智能领域的国际竞争日益激烈，技术领导权直接关系到国家安全和经济竞争力。单方面设置研究禁区，无异于将制定未来技术规则和伦理规范的主导权拱手让人。另外，禁止良性研究并不能阻止恶意行为者利用已有技术作恶。真正的长久安全之道，在于通过持续的发展，构建更强大的技术治理体系和防御能力，例如，利用更先进的AI来识别和对抗深度伪造、检测和防御网络攻击。

“过犹不及”，安全风险治理，用力过猛和不管不顾同样不合理，只有正视技术发展不可阻挡的趋势，尊重风险的客观性，加强技术创新引导，以持续创新破解发展中的出现问题，才是驯服人工智能的合理方式。

五、面向未来的安全治理框架

为将“发展中治理”的理念落到实处，必须构建一个面向未来、兼具“敏捷性”与“韧性”的一体化治理框架。该框架应是多层次的，能够将宏观战略、法律规范与微观实践紧密结合，从而有效应对技术快速迭代带来的风险。

一是要加强风险管理而不是执着于风险消除。治理目标不是追求一个没有风险的乌托邦，而是在承认不确定性的前提下，建立一套能够有效识别、评估、监测和管理风险的动态机制。

二是监管应用而非技术本身。治理的焦点应从限制技术研发转向规范技术的具体应用场景。例如欧盟《人工智能法案》对不同应用进行风险分级，对社会评分、操控性AI等“不可接受风险”的应用予以禁止，对用于关键基础设施、执法、就业等领域的“高风险”应用施加严格的合规要求，而对“最低风险”应用则给予充分的发展空间。

三是将安全融入设计。推动“安全始于设计”的理念，通过政策引导和标准设定，鼓励和要求开发者在AI系统的整个生命周期中，从一开始就将安全、伦理、隐私和公平等要素融入其中，而不是在产品成型后亡羊补牢。

四是坚持以发展促安全。积极支持和投资于“安全AI”的研究，鼓励利用人工智能技术本身来解决其带来的安全挑战。这包括开发用于模型评估、漏洞检测、偏见纠正、内容溯源和网络防御的AI工具，形成技术闭环。

作为治理框架的根本，应在国家层面确立一套高级别、技术中立、与国际主流共识相衔接的AI伦理和安全原则。

经济合作与发展组织（OECD）提出的五大价值观原则——包容性增长与福祉、以人为本的价值观与公平、透明度与可解释性、稳健性与安全性、问责制——为我们提供了良好的参照。

我国发布的《新一代人工智能治理原则》也强调了和谐友好、公平公正、安全可控、责任明确等核心思想。这些高层原则具有高度的稳定性和指导性，是整个治理体系的“压舱石”，确保无论技术如何演变，其发展始终不偏离维护公共利益和尊重基本权利的根本方向，从而为治理体系提供“韧性”。

在治理共识和原则指导下，建立一套以风险为基础的核心法律法规与技术标准体系。借鉴国际先进经验，特别是欧盟的风险分级方法，明确界定在我国公共安全领域不可接受的AI应用，并为高风险应用设定具有法律强制力的准入和运行规范。

同时，大力推进技术标准的制定工作。美国国家标准与技术研究院（NIST）在AI安全、安保和测试标准方面的实践表明，统一、权威的技术标准是弥合产学研与监管之间认知差距、实现有效治理的关键。当前，前沿模型评估基准的严重缺乏标准化，使得对不同模型的风险进行系统性比较极为困难。因此，建立国家级的AI测评基准和标准体系，是实现“安全可控”的必要前提。

为应对技术的快速迭代，法规和标准必须通过灵活、可操作的执行工具来落地。美国NIST发布的《人工智能风险管理框架》（AI RMF）提供了一个将高层原则转化为具体实践的优秀范例 。该框架通过治理、识别、度量、管理四大核心功能，为在AI系统的整个生命周期中系统性开展风险管理提供了一套标准化的流程和通用语言。

图源：美国国家标准与技术研究院（NIST）

我国可以借鉴这一理念，制定并推广国家人工智能风险管理框架和实施指南，并将其作为高风险人工智能系统采购、部署和评估的必要环节。此外，还应建立国家级人工智能安全事件监测预警平台，借鉴OECD的“AI事件监控器”模式，汇集和分析安全事件数据，实现对系统性风险的早期识别和态势感知。根据技术和风险变化不断更新监管工具，赋予治理体系至关重要的行动“敏捷性”。

人工智能治理的复杂性决定了任何单一部门都无法独立应对。因此，必须设立一个高级别的、跨部门的国家人工智能治理协调机构，负责统筹全国人工智能治理工作，打破部门壁垒，确保政策的一致性和协同性。同时，由于人工智能风险的全球性，深度参与全球治理至关重要，包括积极参与国际标准的制定，并在全球人工智能多边机制中广泛发挥建设性作用，推动建立风险通报、行为准则等信任措施，共同塑造一个开放、包容、安全的全球人工智能治理秩序。

人工智能（AI）作为一种关键的通用目的技术，正深刻重塑着全球经济结构、社会形态和国家安全格局。我们既不能因噎废食，也不能放任自流，只有坚持“在发展中治理”的中道理念，构建具有集共识“韧性”、工具“敏捷性”和跨域“协同性”于一体的现代化安全治理框架，才有可能驯服人工智能，确保技术发展服务于增进人类的长远福祉。

【关于“城市观察”】

“城市观察”是广州市社会科学院城市治理研究所副所长、IPP特约研究员孙占卿博士在“IPP评论”开设的专栏，着力分析当今中国城市发展所面临的模式与路径、技术与产业发展等问题。

“IPP评论”是国家高端智库华南理工大学公共政策研究院（IPP）的官方微信平台，以提倡优秀政策研究为导向。现IPP评论欢迎海内外学者和专家同仁就国际关系、社会治理、技术与产业及相关公共政策话题的研究赐稿，协助举办专栏。

稿件须以科学化和学科化为导向，符合学术议论文的一般规范，突出对于公共政策实践的启示和建议。IPP评论将邀请院内专家对稿件进行匿名审稿，并在收文一个月内择优刊登。

来稿请寄 wx@ipp.org.cn，电子邮件题目请标明“IPP评论投稿”。目前仅接受电子邮件投稿，一般来稿以5千字左右为宜。

凡在IPP评论上发表的文字，不代表本机构观点，作者需对作品的学术正直性负全责。著作权归华南理工大学公共政策研究院所有，作者享有署名权。未经书面允许，不得转载。引用或转载本刊文章请注明出处。

华南理工大学公共政策研究院

“IPP评论”编辑部

关于IPP

华南理工大学公共政策研究院（IPP）是一个独立、非营利性的知识创新与公共政策研究平台。IPP围绕中国的体制改革、社会政策、中国话语权与国际关系等开展一系列的研究工作，并在此基础上形成知识创新和政策咨询协调发展的良好格局。IPP的愿景是打造开放式的知识创新和政策研究平台，成为领先世界的中国智库。

来源：IPP评论