摘要：当前，全球智能化浪潮风起云涌，人工智能领域创新突破层出不穷。作为引领新一轮科技革命和产业变革的重要驱动力量，人工智能正以前所未有的发展速度赋能千行百业，深刻融入社会生产与日常生活。在带来无限机遇与强劲活力的同时，人工智能技术迭代与应用场景的泛化多元也助推了深度

文 | 中国信息安全测评中心主任 彭涛

当前，全球智能化浪潮风起云涌，人工智能领域创新突破层出不穷。作为引领新一轮科技革命和产业变革的重要驱动力量，人工智能正以前所未有的发展速度赋能千行百业，深刻融入社会生产与日常生活。在带来无限机遇与强劲活力的同时，人工智能技术迭代与应用场景的泛化多元也助推了深度伪造、算法偏见等新型安全风险的滋生蔓延。面对智能时代的新机遇、新挑战、新问题，加快凝聚创新发展“向心力”、共筑人工智能“安全堤”，已成为护航网络强国建设、推动数字中国发展的时代命题。

顺应时代发展大势，推动人工智能安全发展是大势所趋

世界认知：从“技术议题”升为“全球共识”。自深度学习技术取得重大突破以来，人工智能在图片识别、自然语言处理等领域的能力实现了跨越式增长。2016年，谷歌开发的人工智能围棋程序“阿尔法狗”（AlphaGo）击败人类顶尖棋手引发超级智能失控风险的大讨论。2022年，美国开放人工智能研究中心（OpenAI）旗下的ChatGPT横空出世，又将深度伪造、算法偏见、数据隐私等风险具象化，推动人工智能安全议题从技术领域进入公共政策视野。同时，被誉为“AI教父”的杰弗里·辛顿、图灵奖获得者约书亚·本吉奥等全球人工智能领域顶级专家纷纷表示，人工智能的发展速度远超预期，已从能力突破升维至全域渗透，呼吁全球尽快形成应对人工智能长期风险的战略共识，探索推动跨文明的协同治理形成合力。在联合国层面，2021年，联合国教科文组织发布《人工智能伦理问题建议书》，明令禁止使用人工智能系统进行社会评分和大规模监控，并呼吁各成员国采取行动，通过制定数据治理战略、加强数据安全保护等措施维护个人数据安全。2024年3月，联合国大会通过首个关于人工智能的全球决议，呼吁推动开发“安全、可靠和值得信赖的”人工智能系统，以促进可持续发展。通过倡议先行、软法跟进的策略，联合国逐步在全球范围内确立了人工智能安全发展的共同规范。在技术突破、风险外溢与国际协作的共同推动下，世界各国对人工智能安全的认知也从过去单一的技术议题升维为全球的共识理念。

中国行动：从“规划蓝图”化为“实景美图”。习近平总书记高度重视统筹人工智能发展和安全，围绕发展和安全辩证统一关系、筑牢国家安全屏障等作出一系列重要论述，强调要加强人工智能发展的潜在风险研判和防范，维护人民利益和国家安全。2025年4月25日，习近平总书记在主持中共中央政治局第二十次集体学习时强调，“要把握人工智能发展趋势和规律，加紧制定完善相关法律法规、政策制度、应用规范、伦理准则，构建技术监测、风险预警、应急响应体系，确保人工智能安全、可靠、可控”。近年来，我国逐步构建起“法律明底线、制度建流程、技术筑屏障、人才强支撑”的人工智能实践体系，加速将人工智能发展和安全的“规划图”“设计图”落地成为“施工图”“实景图”。例如，在法规层面，2023年，国家互联网信息办公室联合七部门共同出台我国首部专门规制生成式人工智能的法规《生成式人工智能服务管理暂行办法》，以前瞻性的视野引入安全评估、算法备案等重要制度；2025年，《人工智能生成合成内容标识办法》《人脸识别技术应用安全管理办法》以及配套强制性国家标准相继推出，“推进人工智能健康发展立法工作”被列入《国务院2025年度立法工作计划》，标志着国家层面的人工智能安全立法实践工作已步入“快车道”，人工智能的高质量发展和高水平安全正进入深度融合的新阶段。同时，全面打通人工智能安全与构建人类命运共同体之间的闭环逻辑链。2025世界人工智能大会暨人工智能全球治理高级别会议发表的《人工智能全球治理行动计划》，面向全球提出包括“开展人工智能安全治理”等在内的十三条具体举措，从治理理念、制度机制和实践路径等多个维度提供了前瞻性、系统性的中国方案，为实现智能时代的全球安全治理贡献中国智慧。

2025年4月28日，在第八届数字中国建设峰会期间，第二届“长城杯”信息安全铁人三项赛（防护赛）总决赛在福建福州举办。

聚焦威胁挑战万变，防范智能时代风险是使命所至

近年来，中国信息安全测评中心认真践行中央赋予的职责使命，持续加强对人工智能安全及相关测评工作的研究。全面精准识别安全风险是监管和治理的前提。人工智能具有通用性、颠覆性、自主性等特点，随着人工智能与社会、政治、经济、文化等方面深度关联，内生性、伴生性、系统性安全风险复杂交织。除传统安全领域因人工智能的融入应用而呈现新形态新特点之外，智能时代的风险挑战还主要体现在三个方面。

一是数据泄露风险“量级加大”。智能时代数据泄露风险呈现多维度渗透特征。一方面，人工智能算法的内部工作原理、参数调整情况、决策逻辑等往往对外不透明，普遍存在“黑箱”问题，导致传统的安全检测手段难以精确判断算法在处理数据时是否存在潜在的安全漏洞。尤其是涉及深度学习等复杂算法时，即使训练数据中的原始数据加密或匿名化处理，大模型仍可能记忆部分敏感信息，一旦攻击者通过模型逆向攻击（即利用反向推理技术推导原始训练数据或属性的技术手段）、内在关联等手法层层递进窃取用户隐私信息，就会造成敏感数据泄露；另一方面，大模型应用部署所依赖的数据库、云计算平台、微服务架构等基础设施若存在安全漏洞，极易成为攻击者截获交互信息的主攻点和突破口，引发敏感数据泄露的风险隐患。

二是虚假信息传播“险级加重”。大模型使用门槛的降低给虚假信息的制造和传播提供了便捷的“暗道”。大模型训练的数据主要源于公开数据、网络文本和用户生成的内容，一旦攻击者利用数据监管盲区实施数据投毒或后门攻击，定向注入误导性内容，将直接导致大模型输出错误结果或虚假信息。尤其是现在的大型推理模型，不仅要处理文本信息，还需要处理大量音视频等多模态数据，多模态数据的引入意味着大模型需要同时对不同类型的数据进行推理，攻击者若利用音视频中的对抗性噪声或隐藏信息，很可能诱使大模型生成虚假或有害的内容。当这类虚假信息、有害内容被精心设计或巧妙融入真实素材后，将变成包含主观恶意、极具误导性乃至社会危害性的谣言，会对社会稳定和国家安全产生一定程度的影响。

三是网络攻击威胁“锐度加深”。随着人工智能技术在网络空间的深度应用，网络攻击正逐渐呈现从“人力驱动”到“智能驱动”、从“静态代码”到“动态变异”、从“异常流量”到“完美伪装”的跃迁特征。传统的网络攻击主要依赖人工操作，往往周期长、成本高、效率低。但在人工智能的加持下，网络攻击工具可不间断运行，自动完成目标扫描、漏洞利用、权限提升、数据窃取等完整攻击链，实现“一键式”的攻击部署。同时，人工智能赋能的恶意软件还可能实现“自我进化”，在攻击过程中可实时分析防御系统的反应，自动生成恶意代码变种，使攻击具备类似于生物病毒的适应性特征。这将大幅降低网络犯罪的实施门槛，人工智能使得网络攻击呈现“低成本、高效率、难溯源”的新特征。

探索安全治理新路，夯实智能安全根基是强国所需

人工智能安全是我国总体国家安全观的重要组成部分。推动人工智能健康有序发展，需凝聚全民共识，始终将安全理念贯穿于人工智能创新迭代与应用治理的各方面、全过程，在守好人工智能发展生命线、筑牢底线思维的基础上，积极推动人工智能从“颠覆性力量”升级为护航网络强国建设、推动数字中国发展的新质生产力。

一是推动三位一体治理体系升级。加快完善“法律管总—标准规范—执行监督”三位一体的人工智能安全治理体系建设。在立法层面，推进对人工智能安全专项立法的可行性研究，从顶层设计角度进一步明确风险分级、系统准入、数据治理、算法伦理、责任追溯等相关法律要求，为人工智能技术活动和各类应用场景划定不可触碰的法律红线；在标准层面，以基础共性、安全管理、关键技术、测试评估和产品应用五大板块为骨架，加快形成与网络安全、数据安全和个人信息保护国家标准相衔接的人工智能安全标准体系，推动人工智能安全标准建设迈向“体系化、急用先行、分阶段落地”的新阶段；在监督层面，打造全流程技术监管平台，完善跨部门、跨区域协同执法机制，落实人工智能安全各方主体责任。通过法律定底线、标准立规则与执行保落实的方式，确保三力合一、同向齐发，牢牢将人工智能锁定在以人为本、智能向善，安全、可靠、可控的发展轨道上。

二是推动安全测评能力水平升级。落实《人工智能全球治理行动计划》提出的“探索分类分级管理，建立人工智能风险测试评估体系”的相关倡议举措，针对重要部门、重点行业和关键信息基础设施领域使用的人工智能技术和相关应用系统，可从数据隐私、模型鲁棒性（模型在面对各种干扰、变化或不确定性时，依然保持稳定性的能力）、内容合规性、后门攻击风险、智能体行为可控性以及供应链风险管控等关键维度，采取按等级、分步骤的方式，逐步推进人工智能安全测评工作，构建起一套从底层算法到上层应用的全链条安全测评机制，将人工智能安全测评打造成守护国家网络安全、促进产业健康发展、维护社会公共利益的惠民工程和安邦基石。

三是推动数据安全防护效能升级。人工智能的数据安全治理应深入把握总体国家安全观要求，构建数据合规准入机制，确保训练数据的收集、聚合和使用可信、可靠。尤其是针对生成式人工智能的数据滥用风险，应明确不同层级数据的采集范围和处理权限，避免超范围采集高敏信息，强化数据采集环节的合规审查，建立算法训练数据溯源机制；结合《中华人民共和国网络安全法》《中华人民共和国数据安全法》《生成式人工智能服务管理暂行办法》等法律法规要求，明确数据投毒攻击、对抗样本植入等新型安全风险的防御基线，建立包含动态监测、深度清洗等在内的多层级防御体系和完整的数据安全责任机制。通过技术创新与安全防护的动态平衡，系统性降低数据在采集、训练、部署和应用等各环节的安全风险，为实现智能时代的数据安全保驾护航。

万物得其本者生，百事得其道者成。站在新的历史起点、面临新的使命任务，必须发挥新型举国体制优势，以安全筑基释放智能红利，协力将人工智能安全打造成网络强国建设的核心支点、数字中国行稳致远的底板工程。

来源：中国信息安全