摘要：随着AI大模型、智能体的研发和创新，AI技术会更多地产业化，进入普遍应用，将低成本高效率地完成任务。将人工智能的正面功效发挥到最大，将其潜在和易扩散的风险限制到最小，需在深入研发和广泛应用中，积极防范和治理风险，注重隐私保护，实现AI产业发展和风险防范的统一。

邵春堡：人工智能的安全风险大过一般科技问题

改革创新

学好用好习近平文化思想，建成文化强国

★★★★★

随着AI大模型、智能体的研发和创新，AI技术会更多地产业化，进入普遍应用，将低成本高效率地完成任务。将人工智能的正面功效发挥到最大，将其潜在和易扩散的风险限制到最小，需在深入研发和广泛应用中，积极防范和治理风险，注重隐私保护，实现AI产业发展和风险防范的统一。

一、探索和应用人工智能伴随着安全风险问题

积极研发和利用人工智能旨在提升生产力，更好地促进经济社会发展。积极研发AI和普遍应用中，常会伴随一些风险和安全问题。

1、利用数据要素加大智能发展与数据泄漏和侵犯隐私的矛盾

智能发展均以海量数据为基础，可以生产巨量优质产品和服务，运用数字平台更好地配置资源、机会、过程，通过扩大信息占比，推进以轻资产为主的发展，从而减少对能源、自然的开发。但这些智能发展、平台发展和生态发展，很大程度所依赖的数据挖掘和分析，恰恰会带来数据和隐私安全问题。特别是生成式人工智能的研发和应用，突破了原先不能达到的领域和不可攀登的高度，为创新发展开辟了广阔途径，但AI则会通过自主学习和分析获取个人隐私等隐秘数据信息。

2、发挥AI智能决策优势与带来算法鲁棒性的矛盾

人工智能、大数据等技术兼有生产力与生产关系的属性，在发挥其物质生产智能化的作用中，也利用其智能优势参与辅助性决策、治理和监管，智能化地处理大量数据，简化决策流程，有利提高决策的科学性和运营效率。但以深度学习为代表的AI普遍遭遇鲁棒性问题，易受对抗攻击、后门攻击和模型窃取等威胁。这些攻击使AI系统做出错误或恶意的决策，如图像识别中的图像欺骗，会导致自动驾驶出问题。

3、AI技术通用性与技术滥用的矛盾

人工智能的通用性，使它可用到任何方面。“人工智能+”就是将人工智能与工业、商业、金融等行业全面融合，带动经济社会发展。因此，利用人工智能技术和互联网平台，可让人工智能与传统行业、新型行业深度融合，提升各业的创新力和生产力。但是AI的潜在滥用可能带来严重的生产事故，甚至危害人类生命安全。如医疗机器人因程序漏洞可能直接伤害患者性命。如ChatGPT 可快速生成钓鱼邮件、编写恶意软件与代码，加剧数据泄露和欺诈攻击的风险。如人工智能通过网络、决策者和操作者连接，让军事行动针对性更强、目标更明确、打击范围更广，人工智能还可用在“机器人杀手”等致命性自主武器上，通过自主识别攻击目标、远程自动化操作等，隐藏攻击者来源、建立对抗优势，加剧AI武器化造成的威胁[1]。

二、人工智能的安全风险大过一般科技问题

一般技术多是创造和改进工具，代替人的部分体能，而人工智能因其智能性，兼有工具和劳动力的性质，还会代替人的部分智能。AI越具有广泛的应用前景和深远的影响力，越有可能带来更大的风险和危害。

1、AI的危险超越核武

任何科研和实验难免风险，但在涉及人类风险和安全问题上，除了核武器外，现在当数人工智能。伊隆·马斯克在一次访谈中说，“人工智能的危险要远大于核武器的危险[2]。”与核武器相比，AI技术更易被广泛获取和使用，会带来滥用风险，比如通过AI技术生成虚假信息、进行网络攻击等。霍金认为，人工智能一旦脱离束缚，以不断加速的状态重新设计自身，人类由于受到漫长的生物进化的限制，将无法与之竞争，从而被取代[3]。此外，人工智能系统还面临数据中毒、模型窃取、算法歧视、数据泄露、欺诈攻击、社会安全问题等多方面的风险，以及由于技术不成熟导致的算法不可解释性、数据强依赖性等问题。

2、防止AI科研的潘多拉效应

近两年，AI研究飞速发展，人们对大模型的惊叹和关注，推进了人工智能的深入研发，激励了科研人员的探索热情和开拓精神。但在深入研发中会否稍不留心打开潘多拉魔盒，此类担心并非多余，因为大模型的运作机制对研究者来说仍是个谜，有着极大的好奇。在大模型带来惊喜的同时，也让人感到一些神秘和不解，研究人员对于其背后的原理和逻辑并不完全清楚。

例如，‌大语言模型的工作方式似乎与数学理论所展示的不同，‌而且它们的运作方式有时难以捉摸。‌即使对于OpenAI这样的专业研发机构来说，‌也面临着解释大模型行为和性能的挑战‌[4]，曾经的“OpenAI宫斗”就涉及安全和风险；还在ChatGPT-4发布后，出于对AI深入研发的安全和风险担忧，美国数千名对人工智能领域关注的学者、企业家、教授发起一封公开信，强烈呼吁暂停训练比 GPT-4 更强大的系统，理由是这些模型对社会和人类存在潜在风险。OpenAI CEO奥特曼在与MIT科学家Lex Fridman的对话中指出，AI已经出现其无法解释的推理能力，同时承认“AI杀死人类”有一定可能性[5]。

此外，OpenAI 删掉使用条款中“禁止军事和战争用途”的内容，也涉及AI安全和风险的栅栏。2023年5月30日，超过350名人工智能领域的专家、高管签署联合声明，警告称快速发展的人工智能技术对于人类的威胁可以堪比疫情和核战争[6]。2024年诺贝尔物理学奖获得者、谷歌公司原副总裁杰弗里·辛顿说，当学习算法与数据交互时，会产生复杂的神经网络，这些神经网络很擅长做某些事，但我们并不真正理解它们是如何做这些事情的[7]。

3、AI的潜在风险和安全问题

人工智能对人类最大的威胁和风险会是什么？多数人担心AI生出意识，或超越人的智商，以至人类将无法驾驭，甚至AI有毁灭人类的危险。清华大学AI国际治理研究院薛澜院长认为，人工智能开始学会了欺骗，AI未来发展可能不受人类控制，现在通过图灵测试已经不是什么难事了[8]。

人类历史上还没有任何一项技术具有AI那样的力量，一旦使用不当，其引发的风险将是难以设想的。其实，最大风险也许是所有人都还没想到的问题，正如薛澜院长说的，AI的可怕在于“未知的未知”[9]，随着AI研发和应用的演进，可能会在更深入的频繁的交互中暴露风险，对此，知情者有必要向有关方面和社会公开，在安全风险与技术突破之间，建立合作机制，有规制地协调防范。

三、积极防范和应对AI风险和安全问题的建议

针对技术无止境发展可能造成的危害，约纳斯倡导人们“懂得在我们有理由为之最感自豪的东西中划界并停下来，本身就可能是未来世界的一个全新价值”[10]。当然，对人工智能的风险和安全问题的防范和解决，更要通过技术创新、伦理规范、法律制度等多方面来积极防范和治理。

1、建立严密的治理体系

在AI研发前沿和应用早期，要善于发现AI的问题和风险。通过制定详细的风险管理计划、建立风险识别机制、利用多种分析工具和方法，定期回顾和沟通合作，有效地识别、发现和评估潜在风险，确保项目推进和实施。开发者应使用模型评估法，善于发现模型能够造成极端危害的程度以及是否有可能造成极端危害。若AI应用风险早期未暴露，就要跟踪过程，敏锐捕捉显现的风险。通过技术手段将风险防范和治理纳入伦理引导、行政监管、依法惩处之中。比如，在伦理上要遵从阿西莫夫“机器人三定律”，即机器人不得伤害人类，或坐视人类受到伤害；机器人必须服从人类的命令，除非与第一定律冲突；在不违背第一定律和第二定律的情况下，机器人必须保护自己[11]。无论人工智能发展到什么程度，甚至AI能够替代人类的一些能力，超出人的智商，都要坚守“人机伦理”的基调，将“科技能够的”与“伦理应该的”相结合，从而建立AI的治理和防范体系，‌确保AI技术健康发展和广泛应用。

2、将技术手段作为防范风险的根本

用AI技术解决AI自身带来的安全问题。通过后续研究解决早期研发和应用中的问题，通过深入研发解决浅表透露的问题，通过系统方式改进零星发现的问题。通过技术监管，‌确保AI技术创新符合伦理标准，‌保护人们的利益和安全。‌荷兰学者维贝克、范登霍恩等人提出“在技术设计中，通过分析作为中介性技术的可能性空间，尤其是发现‘潜在的可能性’，将可接受的道德价值转化为可接受的技术功能，尽可能压缩潜在、不可靠、不可控的‘可能性空间’，使技术的‘初心’与技术的后果尽可能一致”[12]。科学家和工程师要承担创造技术的责任。应该“指导技术人工物的潜在威力释放方向和道德指向。将科技伦理知识整合到科学家和工程师的知识体系和思维方法中，或许是‘道德嵌入’的最高境界”[13]。通过提高AI＋安全的科技创新能力，把AI安全技术融入数智化场景，开展有效的风险防范。比如，借助AI能力加速网络安全技术创新、安全防护体系创新，解决AI应用产生的数据隐私、算法偏见、决策不透明和伦理问题，防范风险的技术要超越应用技术。

3、开展AI的国际竞合

任何方面的AI短板，都会拉低应对AI风险和安全问题的水平，影响数智经济的健康发展。因此，国际社会有必要协调力量，突破各国经济、政治、文化的差异，跨越不同的意识形态和国家利益，共同制定AI大模型技术的标准和规则，确立AI技术伦理，特别是算法伦理，坚持立法先行，着眼于人类共同命运和共同利益，严格遵守隐私和数据保护法规，促进AI规范发展。联合国大会虽然通过我国提出的《加强人工智能能力建设国际合作决议》，但是在国际合作的实践中，仍然布满曲折，需要共同坚持以人为本、智能向善、造福人类的原则，通过国际合作和实际行动帮助各国特别是发展中国家加强人工智能能力建设[14]。“日本亚洲成长研究所所长戴二彪说，人工智能技术的开发利用需要建立符合人类利益的规则，而制定规则不是一小部分发达国家的专利，所有国家都应参与，中国主提的这项决议显示出中国对全球人工智能发展和治理的大国责任感和重要引领作。”[15]

要‌通过‌共享经验和资源，‌促进技术交流和标准的制定；要通过参与国际科技合作项目、‌引进国外先进技术和管理经验等方式，‌加强与国际科技创新体系的对接和融合；通过全球在认知、政策和举措的协调和合作，将AI的发展重点放在应对自然灾害、健康卫生、民生福祉和经济社会发展中，而不是在武器、战争、军事等伤害人类自身的方面。

参考文献：

[1] 对话齐向东:AI带来的安全问题,只能用AI来解决[EB/OL].2024-03-10.https://www.thepaper.cn/newsDetail_forward_26628012.

[2]马斯克最新访谈再吐惊人语:人工智能猛于核武器[EB/OL].(2018-04-08)[2024-08-10].https://baijiahao.baidu.com/s?id=1597146953828783628&wfr=spider&for=pc.

[3] 霍 金 G M I C 演 讲 : A I 或 终 结 人 类 文 明[EB/OL].(2017-05-02).https://www.sohu.com/a/137874554_679214.

[4] OpenAI遭遇研发谜团:有时大模型很难学会某一技能,过后又能突然学会[EB/OL].(2024-03-05).https://new.qq.com/rain/a/20240305A07QFH00DeepTech深科技.

[5] 紧急叫停GPT-4超强AI研发,马斯克等科技大佬在害怕什么,外向的社恐份子[EB/OL].(2023-03-30).https://baijiahao.baidu.com/s?id=1761785672229692335&wfr=spider&for=pc.

[6] [7]世界周刊丨AI“智”与“治”[EB/OL].2024-07-15.https://new.qq.com/rain/a/20240715A00N2Y00.

[8] 清华大学院长薛澜:人工智能开始学会欺骗[EB/OL].(2024-08-15).https://new.qq.com/rain/a/20240815V0383P00.

[9] 薛澜.AI的可怕在于“未知的未知”,发展和治理应“双轮”并行[N]每日经济新闻,2024-06-27.

[10] 张荣.约纳斯责任伦理的定位及其意义[J].道德与文明,2019-10-14.

[11] 吴冠军.人工智能与未来社会:三个反思[J].探索与争鸣, 2017(10).

[12][13] 王国豫.推进新时代科技伦理学新发展[J].中国社会科学报,2020-01-14.

[14] 联大通过中国提出的加强人工智能能力建设国际合作决议，https://www.gov.cn/yaowen/liebiao/202407/content_6960524.htm新华社2024-07-02

[15]新华网，综述 http://www.xinhuanet.com/tech/20240705/2d29fabaee2d4277aa46c8878687dc5e/c.html ，2024-07-5

【邵春堡：长安街读书会成员、中国国际经济技术合作促进会副理事长】

注：授权发布，本文已择优收录至“长安街读书会”理论学习平台（“学习强国”学习平台、人民日报、人民政协报、北京日报、重庆日报、新华网、央视频、全国党媒信息公共平台、视界、北京时间、澎湃政务、凤凰新闻客户端“长安街读书会”专栏同步），转载须统一注明“长安街读书会”理论学习平台出处和作者。

责编：邓启东；初审：陈佳妮、许雪靖；复审：李雨凡、程子茜

长安街直播

为深入学习贯彻落实党的二十大精神，现正面向中央和国家机关、中央企业、各省市县（区）等所在的党校（行政学院）、干部学院、马克思主义学院、新时代文明实践中心（所、站）等单位部门联合开展相关党建阅读学习活动。近日，经相关部门批准，已正式同意全国人大常委会机关、中央纪委国家监委机关、中央组织部、中央和国家机关工委、国家发展改革委、人力资源和社会保障部、教育部、财政部、住房和城乡建设部、中国证监会、国家市场监督管理总局、共青团中央等定点帮扶地的有关单位加入“长安街读书会”党建阅读合作机制，并联合承办“长安街读书会”系列读书学习活动。

来源：长安街读书会干教