摘要：AI与所有以往技术的不同之处在于，它触及了社会的中枢神经系统。真正值得担心的不是技术本身，而是为了竞争优势不顾安全边界地部署技术。

都说「未来已来」，但要让好的未来「已来」，先得做出好的选择。

文 | 佘宗明

AI与所有以往技术的不同之处在于，它触及了社会的中枢神经系统。

真正值得担心的不是技术本身，而是为了竞争优势不顾安全边界地部署技术。

这两天，知名历史学家、《人类简史》作者尤瓦尔·赫拉利将对AI失控的忧思带到了2025外滩大会上，在开幕式暨主论坛的演讲中，他如是说道。

在他看来，AI绝非简单的自动化工具，而是具备「主体性」的异质智能体。

有意思的是，2025外滩大会前两天发布了「AI十问世界」，40多场论坛、18场创新者舞台、3场AI科创系列赛事都会围绕「AI十问世界」展开探讨。

9月9日，2025外滩大会发布了「AI十问世界」。

这十个问题就牵涉到人机何以共生的命题，其中既有豆包问出的「人类让AI变得越来越强大是在养虎为患吗？」，也有Gemini问出的「如果AI做了错误决定并造成损害，AI该背锅吗？」，还有LLaMA问出的「除了用AI降本增效，哪些岗位是要永远留给人类来做的？」……

可以说，这「十问」跟赫拉利的关切紧密呼应。

如果说赫拉利的忧心直指AI冲击下的多重风险，那无论是外滩大会自身的开放、多元、前瞻性，还是外滩大会上智慧大脑间的思想碰撞，都在努力为此提供破解方案。

01

「有人的地方就有左中右」，自AI时代大幕拉开后，「超级对齐（Superalignment）」和「有效加速主义（Effective Accelerationism）」两个阵营就各执左右两端。

前者时常对AI技术的伴生风险夕惕若厉，如「AI教父」辛顿多次警告超级智能可能带来灾难性后果。

后者则总是认为技术的问题就该在技术发展中解决，像a16z掌舵者马克·安德森就认为AI最大的风险是不以最大努力追求它。

在2025外滩大会上，也能看到多元思想、异态理念的碰撞。

赫拉利在演讲中突出强调了AI的风险。他认为，人们面临的人工智能危险，「不是一个坏人按一个坏按钮」，而在于周围悄然发生的无形过程。科幻小说里提到过「机器人叛乱」，但真正的危险更安静且更令人恐惧——数字官僚体系将决定权从我们可质询的人类，移交给我们看不见的算法。

但2024图灵奖得主、「强化学习之父」萨顿则态度有别，针对外界对AI带来偏见、失业乃至人类灭绝的担忧，他在演讲中表示「这种对人工智能的恐惧被夸大了，并且是被某些从中获利的组织和个人煽动起来的」，呼吁「我们应以勇气、自豪和冒险精神迎接AI。」

2024图灵奖得主萨顿在开幕式上做演讲。

阿里云创始人、中科院院士王坚在分享中顺着「AI和太空资源的融合」，畅想起了星辰大海。他说「太空一直是我们最大的资源，在50年以前是这样，今天绝对不是只把人工智能用在手机上、电脑上，其实人工智能不应该缺失太空。」 认定AI和计算是人类探索深空的必需品。

宇树科技创始人王兴兴则在官宣宇树科技IPO计划后的首次发声中，说「真正让AI落地干活，现在还是在大规模爆发性增长的前夜。对我个人而言，这个时代是非常激动人心的。」

虽然观点有异，但正视AI可能带来的风险，推动AI更多地向善，当是共识。而外滩大会上的很多探讨，正是聚焦于此。

02

赫拉利在演讲中谈AI风险时，着重谈到了两点：一是AI触及了社会的中枢神经系统；二是要警惕为了竞争优势不顾安全边界地部署技术。

这延续了他在《智人之上》中的主张。而要看懂他的主张，就得先看懂两个词：「无机生命」和「硅幕」。

2025外滩大会，处处都透着「AI」。

AI的出现也许标志着「无机生命」的起源，是赫拉利的基本看法。

他认为，AI与过去所有技术的不同之处在于，AI是有史以来第一个能够自行做决策、创造新想法的技术，人类过去的所有发明，都只是在为人类赋予更强大的力量，使用的决定权始终掌握在人类手里，但AI不同，它不仅仅是自动化工具，还是「会行动的主体」。

赫拉利总结，在人类历史上，从未出现一个智力较低的物种能够控制一个智力更高的物种的情况，「如果我们创造出比人类更聪明的物种，比如超级智能，世界会发生什么？」

在《人类简史》中，赫拉利说，人类之所以能建立复杂的社会网络，关键就在于拥有「讲故事」的能力。而今，「讲故事」的能力也被AI掌握了。他将AI对语言的掌握程度超过人类平均水平，视作「AI已入侵人类文明的操作系统」。

赫拉利不止一次表达对AI失控的担忧。

这极易让人联想到马斯克的那段预言：「人类只是硅基生命的生物启动程序……人类社会只是一小段代码，它的存在是为了启动超级数字智能物种的计算机程序。」

人类最强大脑（瓦特、麦克斯韦、爱因斯坦等）=生物算力的算力奇点=人体智能超算，ChatGPT=「生物+机器」混合算力的算力奇点≈机器智能超算，曾有人列出这道公式。按照该公式，目前人体智能要强于机器智能，但未来就不好说了。这也是赫拉利们的忧心之处。

AI可能构筑起隔绝人类连接的「硅幕」，则是赫拉利的前瞻预判。

冷战时期，铁幕曾经降下，到了AI时代，赫拉利认为世界未来可能被硅幕分隔开来，「由硅基芯片和计算机代码所组成的‘硅幕’，可能使人类分裂并分属于不同的数字帝国。」硅幕两侧的人们在文化价值观、社会规范与政治结构的差异会越来越大。

他警示，若人类无法重建信任，AI将成为撕裂社会的「新殖民者」，利用我们的分裂掌控权力。

03

赫拉利的忧心，并非无谓之虑。而2025外滩大会上，很多来自学界业界的智慧大脑的分享讨论，也在回应如何与AI共处的未来。

AI失控风险不容小觑？以算法透明和伦理筑基确保AI安全可控，很有必要。

在主论坛上，香港大学计算与数据科学学院院长马毅就指出，必须将AI从依赖试错、不可解释的「黑箱」系统，转变为基于数学原理与闭环反馈的「白箱」模型。

马毅在演讲中提到，AI应从「黑箱」走向「白箱」。

而复旦大学人工智能创新与产业研究院院长漆远提出，AI的「安全可信」是发展底线，需通过可解释AI、检索增强（RAG）、高质量数据治理等技术路径解决模型幻觉、数据偏见等问题，也跟马毅的「可审计算法决策」形成呼应。

事实上，作为亚洲顶级金融科技盛会，历年外滩大会都很重视创新技术的安全性、可靠性：从CSA「AI安全工作组」成立，到「IIFAA分布式可信认证体系」共建，再到涵盖Agent对齐、智能体零信任防御等功能的「蚂蚁蚁天鉴」大模型安全解决方案展出……都凸显了这点。

今年外滩大会聚焦的5大内容主线中，更是包括「负责任创新与普惠未来」。

众多企业也在呼应这点。蚂蚁集团9月11日发布国内首份《真实世界通证经济》报告，提出强化安全的「区块链存证+隐私计算联合建模」方案，9月12日发布全球首个智能眼镜可信连接技术框架——gPass，致力于实现 AI眼镜与智能体之间安全、可信、即时信息交互……就紧扣了「可信技术框架」的题眼。

凯文·凯利说：对于科技带来的问题，永远不能靠减少科技解决，而应该发明出更好的科技。「更好」的内涵就该包括更安全、更可信。

赫拉利曾说「我并不反对AI，我不认为我们可以或应该停止AI的发展。我只是认为我们需要在AI安全方面投入更多，要更加谨慎。」这次又说「历史已多次证明，速度和安全可以并存，但前提是我们构建自我修正的机制闭环。」

而外滩大会上探讨、展示的负责任AI技术创新与产业应用，就是对他期待的「有益的AI」的实景呈现。

04

群际阻隔如何避免？以开放协作、增强互信推动AI国际治理合作，势在必行。

虽然认为「AI恐惧」被夸大，但萨顿在演讲里也强调了协作的重要性。他说，人工智能和人类繁荣将来自于去中心化协作。「协作并非总能实现，却是世间一切美好事物的源泉，我们必须寻求协作、支持协作，并致力将协作制度化。」

王坚指出，在AI时代，开源的含义已经从代码开源（Open Source），演进为资源开放（Open Resource），认为开放资源对AI发展不可或缺。

王坚院士认为，开放资源才能推动AI行业往前走。

开放协作，是应对AI风险的必由之路，也是实现AI共治的应有之义。外滩峰会搭建起开放多元的科技交流互鉴平台，亦是着眼于增进AI领域的开放协作。

外滩大会吸引了包括图灵奖得主在内的世界级学者、国际组织代表、跨国企业决策者，共同探讨数据安全、算法公平、平台责任等全球性议题，就在彰显了上海已成为全球科技治理规则与伦理标准探讨的东方主场之余，呈现了齐筑AI治理「巴别塔」的努力。

9月12日，亚洲三大金融科技盛会——上海外滩大会、新加坡金融科技节、香港金融科技周主办方首次齐聚上海实现「三会聚首」，组织金融科技「全球主题日」，也在体现了上海作为全球引领性金融科技中心的枢纽性地位之外，带动了多维度交流合作。

亚洲三大金融科技盛会首次「三会聚首」。

而这类国际交流合作，正是打破「硅幕」阻隔的桥梁。

在AI治理上，显然需要更多这样的开放协作。正如麻省理工教授马克斯·特格马克所说，「AI的发展速度比人们预测的更快，无论在世界上哪个角落率先造出失控的AI，都将给人类带来灭顶之灾……当AI在认知、学习、迭代能力上远超人类时，一切地缘对立都变得愚蠢可笑至极且无足轻重。」

赫拉利更是曾警醒：我们能真正控制AI、开发出一种可以与人类共存的AI的唯一机会，就是通过全球合作来实现。

他的那句「人类之所以能够统治世界，并不是因为有多聪明，而是因为唯有人类懂得运用信息进行联结，从而可以灵活的大规模的合作」，跟萨顿的「人类最卓越的超能力，就在于比其他任何动物都更擅长协作，人类最伟大的成功在协作本身」，异曲同工。

而外滩大会构建的联结与协作网络，就是在增进交流合作。

05

在发布饶有趣味的「AI十问世界」后，外滩大会组委会表示，AI记录学习了人类的反思，ta们的提问也许正是人类思考的镜像，AI反问人类，本质上仍是人类对于「人之为人」的追问。

AI时代的「人之为人」之问，可以内缩为「AI浪潮下，人类该充当什么角色」，也可以外延为「人机何以相处」。

赫拉利给出的总结是：人类的选择将决定AI是「救世主」还是「终结者」。悲观剧本中，若我们沉迷内斗，AI将如「外星舰队」接管世界，用超理性逻辑重塑社会规则；乐观愿景里，全球协作下的AI可成为治愈疾病、应对气候危机的利器，甚至帮助人类突破认知极限。

直面AI带来的挑战与机遇，探讨技术如何重塑创新增长，是当下重要课题。

2025外滩大会就是在探寻AI向善、加强协作的有用答案。

都说「未来已来」，但要让好的未来「已来」，先得做出好的选择。

「我们所有人在未来几年所做的选择，将决定召唤这种非人类智能究竟是个致命的错误，还是会让生命的演化翻开一个充满希望的新篇章。」《智人之上》里写道。

按钮就在我们手中。

《》

©

来源：数字力场