摘要：自从美国总统大选以来，一些人越来越担心，一种由民粹主义和科技精英共同推动的“技术法西斯主义（techno-fascism）”正在崛起。而刚好在选举前几个月，尤瓦尔·赫拉利出版了《智人之上》，其中就AI对民主和极权主义可能带来的影响进行了深度解释。

原创 不懂经也叔的Rust 不懂经

自从美国总统大选以来，一些人越来越担心，一种由民粹主义和科技精英共同推动的“技术法西斯主义（techno-fascism）”正在崛起。而刚好在选举前几个月，尤瓦尔·赫拉利出版了《智人之上》，其中就AI对民主和极权主义可能带来的影响进行了深度解释。

在这本书里，赫拉利还对奇点发出了警示。所谓奇点，就是技术（尤其是AI）不再受人控制而自行演化，并不可逆地达到某个临界点。赫拉利认为，AI不是人类式的智能，而是一种“外星人”式的存在。

而地球人最近的表现是，一边大搞关税贸易战，一边加速发展AI。对AI可能带来的安全威胁，好像已经没有人在意了。

最近，赫拉利接受了《连线》杂志日本刊的采访。在访谈中，他提出了一个扎心的问题，人类彼此互不信任，但却要信任一个陌生且强大的新型超级智能。

在赫拉利看来，AI可能建立一种人类无法的信任网络。例如，AI也许会发明出比利息、股票或债券更复杂的金融机制。它们可能在数学层面高度复杂，以至于人类根本难以理解，可AI自己却能懂。

这样一来，金融网络便可能演变成AI与AI之间的相互信任和沟通，而人类却弄不清到底发生了什么。当一切都依赖这个网络时，人类就会丧失对金融体系的控制。

以下为访谈内容。

尤瓦尔·诺亚·赫拉利： “我们该如何与这种新型超级智能分享地球？”

以色列历史学家和哲学家尤瓦尔·诺亚·赫拉利，因其著作《人类简史》对人类历史的独到阐释而成为现象级学者，他在书中强调人类社会是由各种“虚构故事”所驱动。

他的另一部作品《未来简史》则描绘了超级智能（superintelligence）出现后，人类可能面临的未来。而他的新书《智人之上: 从石器时代到AI时代的信息简史》（下文简称《智人之上》），则是一部直指人工智能威胁的警示之作。

在这次访谈中，赫拉利谈到了奇点（singularity）可能带来的影响、人工智能自我纠正机制的必要性，以及超级智能在保障民主方面的希望何在。

WIRED：

在上世纪90年代末，互联网刚开始普及时，曾有人断言这会带来世界和平。当时的想法是：信息传得更远更多，人人都能知道事实真相，彼此加深理解，全人类将更明智。

《WIRED》在数字时代一直代表着改变与希望的声音，当时也部分认同了这种观点。而你在新书《智人之上》中指出，这种对“信息”的看法过于天真。能否为我们解释一下？

信息不等于真相。绝大多数信息并不准确反映现实。信息最主要的作用，是将事物彼此连接，把人们连接起来。有时，连接人们的是事实，但更多时候，利用虚构或幻象去连接人反而更容易。

在自然界也是如此。自然界中的绝大多数信息，其存在目的并不是传达“真理”。我们常说“DNA是支撑生命的基本信息”，可DNA是真实的吗？其实不是。DNA把无数细胞聚合在一起构建身体，但它并没有告诉我们关于任何事物的真相。同样地，《圣经》作为人类历史上最重要的文本之一，也曾凝聚了数以百万计的人，但不见得靠的是向他们传达“真理”。

当信息在一个完全自由的市场中流通时，其中大部分会变成虚构、幻象或者谎言。因为真相有三大难点：

1、传达真相的成本高。 但编造虚构则成本低。如果你想写一部基于史实、经济、物理等真实背景的作品，你必须投入大量时间、精力和资金来搜集证据、核查事实。可如果是虚构，你完全可以随心所欲地写。

2、真相往往复杂，因为现实本就复杂。 而虚构可以简化得非常简单。

3、真相常常令人痛苦或不愉快。 虚构则可以被打造成令人愉悦、美好、诱人的模样。

因此，在一个信息完全自由的市场里，真相只会被海量的虚构和幻象所淹没。想要追寻真相，必须格外努力地反复挖掘事实。这正是互联网普及后所发生的事。互联网几乎是一个毫无限制的信息市场。人们原本期望它能普及真相和事实，促进人们彼此理解与共识，但很快就发现这种期望过于天真。

WIRED：

比尔·盖茨最近在《纽约客》杂志的一次采访中说：“我一直以为数字技术会赋权于人，可社交网络是完全不同的东西。我们当时没看清这一点。而AI又是完全不同的事物。” 如果AI真的前所未有，那么我们能从过去学到什么经验吗？

历史能教给我们很多。首先，了解历史可以帮助我们识别AI真正带来了哪些“新东西”。如果对历史一无所知，我们就无法准确理解当下形势的新颖之处。而AI最重要的特点是：它是一个“智能体（agent）”，而不仅仅是一种“工具”。

有些人常把AI革命等同于印刷术革命、文字的发明、或广播电视等大众媒体的出现，这其实是误解。以往所有的信息技术，都只是人类手中的“工具”而已。就算是发明了印刷机，写书和决定印什么书的依然是人。印刷机本身既不会自己写任何内容，也无法选择要印什么书。

但AI本质上不同：它是一个能自主行动的“主体（agent）”。它可以自己写书，也能决定要传播哪些观点，甚至可以独立产生从未存在过的“新观点”。在历史上，这从未有过。人类从未面对过一个比我们更聪明、还能自行行动的智能体。

当然，过去也存在过各种“行动体”，比如动物。但相较而言，人类比动物更具智慧，尤其在“连接”这一方面，人类有压倒性的优势。其实，人类最强大的能力并不在个体层面。单个的人并不比猩猩、大象或狮子更强壮。如果拿10个人和10只黑猩猩打群架，猩猩或许会赢。

可为什么人类能主宰地球？就是因为我们能建立起合作网络，由成千上万、乃至数百万、数十亿相互不认识的人组成，而且能在大规模上高效合作。十只黑猩猩可以紧密协作，但一千只黑猩猩就做不到。人类却能做到跟一百万人、乃至上亿人展开合作，即便彼此素未谋面。

其原因在于人类善于创造、共享故事。所有大规模合作都基于共同的“叙事（story）”。宗教是最明显的例子，金融与经济领域的叙事同样也非常典型。金钱也许是人类历史上最成功的故事。钱本身（纸钞或硬币）并无客观价值，但因为我们相信它所代表的“故事”，因此被连接起来，得以互相协作。这个能力让人类在面对黑猩猩、马、大象等动物时占尽优势。它们做不到像我们这样编造“金钱”之类的故事。

但AI能做到。历史上第一次，我们与一种比我们更善于创作故事、连接故事的存在共享同一个星球。人类现在面临的最大问题就是：我们该如何与这种新的超级智能共享地球？

WIRED：

那我们该如何看待这个超级智能时代？

我认为，面对AI革命，首先要避免走向两个极端。一种极端是“AI要来了，它会毁灭所有人”；另一种极端则是“AI能改善医疗、提升教育，让世界变得更美好”。

我们需要一条中庸的道路。首先，我们必须明白这场变革的规模之大。和如今的AI革命相比，过去所有的历史性革命都相形见绌。这是因为在历史上的任何发明，人类最终都能决定如何利用它们来塑造新社会、新经济或新政治体系。

比如19世纪的工业革命：那时，人们发明了蒸汽机、铁路和蒸汽船。这场革命确实改变了经济生产力、军事能力和地缘政治格局，给世界带来了巨大变化。但无论如何，最终还是人类做出决定，如何去建立工业社会。

举个例子：1850年代，美国海军准将马修·佩里（Matthew C. Perry）乘蒸汽船来到日本，迫使日本接受美国的通商条约。日本随后决定“像美国那样进行工业化”。当时日本国内对要不要工业化也有很大争论，但始终是人类之间的辩论。蒸汽机本身并不会决策。

而这一次，在利用AI去建立新社会时，做决策的就不一定只有人类了。AI本身或许也有能力提出新的主张并做出决定。

假设AI有自己的资金，并能自主决定如何花钱，甚至进行股票投资。这样一来，我们要想明白金融系统里发生了什么，就不仅仅需要弄懂人类在想什么，还得了解AI在想什么。更何况，AI还能提出我们完全无法理解的新理念。

我想更明确地了解你对“奇点（singularity）”的看法。我常常看到别人说你是“反奇点论者”，可你在新书里却提到AI比人类更富创意，并且在情商（emotional intelligence）方面也优于人类。

你还指出互联网与AI其实都只是“计算机”衍生出来的技术根基。我们最近在《WIRED》上做了一个量子计算机系列报道，如果未来计算力真的因量子计算出现巨大飞跃，你认为超级智能会不可避免地重塑世界秩序（也即奇点不可避免吗）？

这取决于你如何定义“奇点”。我所理解的“奇点”，是指我们对世界的理解能力无法跟上外部变化的那个临界点，也就是我们无法想象、理解正在发生什么的时候。我们或许已经非常接近那个节点了。

即使没有量子计算机或真正意义上的“通用人工智能”，以当下AI的水平，可能也足以带来这样的局面。人们常常把AI革命想象成某个无所不能的AI，独自创造种种新发明或新变化。但其实更应把它看作千千万万先进AI相互连接后，对经济、军事实力、文化与政治的整体影响。

这个连接网络可能会形成一个全然不同、我们无法理解的世界。对我来说，“奇点”就是这一刻——我们对世界以及对自身生活的理解力都遭到全面压制的那一刻。

如果你问我：“你支持还是反对奇点？” 我首先会说，我只是想弄清楚现在到底发生了什么。人们总想立刻判断好坏，但第一步应该先看清现状。回顾过去30年，技术带来了很多好处，也造成了很多坏处。很难说是纯粹的好或坏，未来也大概率如此。

但未来和过去相比有一个非常显著的差异：一旦我们再也无法理解这个世界，就会失去对未来的控制。 到那时，我们就跟动物处在同样的位置了。就像马或大象，它们无法理解支配自己命运的是人类的政治、金融体系。我们也可能面临同样的境地。

你曾说过：“人人都在谈‘后真相时代（post-truth era）’，但历史上曾经有过‘真相时代’吗？”能否解释一下这个观点？

我们以前对世界多少还能理解一些，因为世界是由人来管理的——是由一个“人类网络”在运作。虽然也不容易弄清整个网络是怎么运转的，但至少，我们自己也是人，所以面对国王、皇帝、祭司时，多少还能理解他们的思维。他们毕竟也是人。

当国王做一个决定时，我们还算能揣摩其中缘由，因为整个信息网络里全是人。可如今，AI正成为这个信息网络里日益重要的参与者，于是那些塑造我们世界的重要决策，就愈发难以让人看懂。

最典型的例子也许就是金融。人类历史上，经济与金融机制一直在不断演进。金钱、股票、债券等等，都是这些年逐渐发明出来的金融工具，而它们的发明目的都是为了在人与人之间建立信任与连接。

金钱能让你我进行协作：你种稻米，我付钱给你，然后你给我米，我能吃饱。我们或许互不相识，但因为都相信这套金融体系，所以能合作。好的金融体系能让人与人之间产生信任。

金融体系将数百万人联结在一起。在此之前，人类还尚能理解这些金融机制，因为它们都必须符合人类的认知逻辑。发明某种人类无法理解的金融机制是毫无意义的，因为它根本无法在我们之间创造信任。

可AI也许会发明出比利息、股票或债券更复杂的金融机制。它们可能在数学层面高度复杂，以至于人类根本难以理解，可AI自己却能懂。这样一来，金融网络便可能演变成AI与AI之间的相互信任和沟通，而人类却弄不清到底发生了什么。当一切都依赖这个网络时，人类就会丧失对金融体系的控制。

也就是说，AI可能会建立一种我们无法理解的信任网络。这种无法理解的现象可以被称为“超客体（hyperobject）”。比如，全球气候变化就是典型的“超客体”——我们无法完全掌握其运作机制或全貌，但深知它会带来巨大影响，因此必须应对它、适应它。

AI也是本世纪人类不得不面对的“超客体”。你在书中谈到，为应对如此庞大的挑战，人类需要具备的特质之一就是“灵活性”。但究竟怎样才能在与“超客体”交锋时，展现或实现这种灵活性？

理想的情况是，人类能信任AI，让AI帮助我们应对这些超客体——即复杂到超出人类理解范畴的现实问题。但也许目前AI发展中最大的挑战在于：如何让远超人类智力的AI值得我们信任？ 这个问题我们仍未找到答案。

我觉得当下AI革命最大的悖论，就是“信任悖论（paradox of trust）”。我们现在正以极快的速度研发超级智能，可我们对其并没有足够的信任。所有人都明白存在很多风险。从理性角度看，更明智的做法是放慢进度，加大对安全的投入，先建立安全机制，保证超级智能不至于失控或对人类产生负面影响。

但眼下实际情况恰恰相反：我们正处于各大公司、各国政府你追我赶的“AI竞赛”中，谁都想以最快速度推进更强大的AI。与此同时，真正投入到AI安全方面的精力和资金却非常有限。

如果问这些企业家、商人或政府领导：“为什么要这么着急？” 几乎所有人都会说：“我们当然知道有风险，也知道这很危险，明白本该更慢些，多花点时间把安全做好。可我们不信任那些竞争对手。如果他们加速研发超级智能，而我们还在慢慢做安全，他们就能先一步掌握超级智能并统治世界。我们只能加速，否则就落后。”

然而，我再问他们第二个问题：“那你们觉得自己研发的超级智能就值得信任吗？” 他们通常会回答：“是的。” 这近乎荒诞：连彼此之间都不信任，却能相信这样一种陌生且强大的AI。

我们跟其他人类相处已有几千年的历史，对人类心理和政治还算熟悉，也知道人类有争夺权力的欲望，但我们也在不断摸索如何加以限制、如何在彼此间建立信任。事实上，人类过去几千年也确实在建立更大的信任网络。十万年前，人类还只能在几十人的小群体里生活，不信任外人。可如今，我们拥有庞大的国家、遍布全球的贸易网络，以及数以亿计甚至上十亿计人之间多少能建立某种程度的信任。

但AI不同：我们知道它会自行行动、做决定，提出我们不懂的新目标，也可能编造谎言和策略，甚至追求我们难以理解的“外星式”目标。我们完全缺乏和它打交道的经验，也不知道如何对它抱有信任。

人类连自己人都不信，却对AI盲目托付，我认为这是非常危险的错误。要想安全地研发超级智能，最好的方式是先增强人类相互间的信任，大家合作一起确保超级智能的安全。可我们现在正反其道而行，只顾着更快地研发超级智能。

WIRED：

有些《WIRED》的读者持自由意志主义立场，可能更愿意相信超级智能，而不相信人类。毕竟在人类历史上，战争和冲突从未停止。你提到，如今确实已有庞大的国家与大企业在构建所谓的“信任网络”，但这些网络真的成功吗？它们以后还会继续失败吗？

这取决于我们采用什么样的评价标准。如果我们回看十万年前，人类还是几十人一群的狩猎采集者，与今日相比，我们确实建立了极其庞大的信任网络——几百万乃至上亿人口的社会，每天都在协作。

自由意志主义者常常把这些公共机制当作理所当然，却不会深思它们从何而来。举例来说，你家里通电、有自来水。你去厕所冲马桶，污水会被排到庞大的下水系统里。但下水管网是由国家出资建设并维护的。可是很多自由意志主义者却觉得不需要管这事，好像只要一冲，污水就能自动消失似的，根本忽略了有人在幕后负责维持这套基础设施。

实际上，真正意义上的“完全自由市场”并不存在。除了竞争以外，总得有一个“信任结构”。某些东西可以通过市场竞争创造出来，但另一些必须依赖公共或制度性支持才能持续运转，比如司法体系。

想象一下一个“完全自由市场”：如果我跟你签了合同，但我违约，然后我们去法庭找法官裁决。可万一我事先贿赂了法官呢？那你就再也无法信任这个自由市场了。你绝对不会允许法官“谁给的贿赂多就支持谁”。一旦司法进入完全自由市场的买卖，正义就会崩溃，人们失去互信，也失去契约与承诺的保障。

所以任何竞争都需要某种共识或信任体系。就像世界杯足球赛，各国球队彼此竞争，但首先得有一套共同的规则。如果日本队一套规则，德国队另一套规则，根本无法比赛。换言之，即便是“竞争”，也要以共同的信任和共识为前提。否则秩序会彻底崩塌。

你在《智人之上》中提到，大众媒体的出现让“大众民主（”成为可能，即信息技术和民主制度的发展是互相关联的。如果这样的话，那么除了民粹主义和极权主义的消极可能性之外，AI会给民主带来什么积极转变的机会吗？

Facebook、YouTube和TikTok等平台的算法，主要目的是提升用户参与度。反复试验后发现，让人愤怒、仇恨或充满欲望是最简单的方式。因为当人被激怒，就会疯狂追逐并转发那些信息，从而让参与度飙升。

如果我们给算法设定一个截然不同的目标，比如“提升人际间信任”或“提升信息真实度”，那么它就不会再去传播假新闻，反而会帮助建设一个更好的社会，一个更健康的民主。

另一个关键点是：民主应当是“人”与“人”之间的对话。要进行对话，你必须知道并相信与自己对话的是“另一个人”。可在社交媒体和互联网世界里，我们越来越难确认，发信息的人到底是不是人类，还是机器人。这严重破坏了人际信任，也让民主愈发艰难。

为此，我们可以立法或规定：禁止机器人或AI冒充人类。我并不认为要完全禁止AI或机器人参与交流；它们当然可以和我们互动，但前提是它们必须明确告诉我们“我是AI，不是人”。当我们在推特上看到一条信息时，也应该知道这条信息到底是人发的，还是机器人发的。

有人或许会说，“这样会不会侵犯了言论自由？” 可机器人并没有言论自由。我坚决反对审查人的言论，但这并不意味着要保障机器人也拥有同样的自由。

当然有可能。一方面，AI能非常具有创造力，给出我们意想不到的新点子。可另一方面，AI也可能用海量的垃圾或误导性信息来操纵我们。

最关键的是，我们人类对社会是具有“切身利益”的。就像我之前所举的下水道例子：我们是有机生命体，如果下水系统崩溃，我们会得病，会染上痢疾或霍乱，严重了可能会死。但AI不会得病，更不会在意下水道是否瘫痪。

所以，当人类公民讨论要不要给政府拨款维持下水系统时，我们会带着很明确的利益考量。AI确实可以给出一些更奇思妙想的设计方案，但我们始终得记住，AI既非人类，更不是生物。

当我们沉浸在网络讨论中，很容易忘记“我们有人类的身体”。AI跟人的不同之处不仅在思维模式的异质性，还在于它所依赖的“身体”——它并不拥有血肉之躯，而是存在于遍布世界的计算机与服务器网络之中。

我认为有两个问题最重要。第一是我们刚才一直谈的“信任”问题。当前，人类之间的信任正面临严峻挑战。这是最大的危险。如果我们能增强彼此信任，就能更从容地应对AI革命。

第二个则是：我们会不会彻底被AI“操控”或“带偏”？在互联网早期，技术的主流比喻是“网络”，即一个像蜘蛛网一样互联人类的网络——万维网。

可如今，更常见的比喻是“茧房”。人们越来越活在一个个“信息茧房”里，面对海量信息，看不清周遭世界的现实。每个人都被困在不同的信息茧房里。而且史无前例的是，创造这些“信息茧房”的主体很可能是一个非人类智能——AI。

在人类历史上，人们一直生活在“人类文化的茧”里。诗歌、传说、神话、戏剧、建筑、器具、料理、意识形态、金钱……所有塑造我们世界的文化产物，都是源自人脑。但将来，这些文化产品很可能由“非人类智能”来创造。我们的诗歌、视频、意识形态、金钱都可能来自于“非人类智能”。

我们或许会被困在这种“外星人”世界里，与现实脱节。这种恐惧其实由来已久，人类几千年来一直害怕自己陷入虚幻之中。如今，这种恐惧比以往更加真实，也更加危险。

例如，佛教说的“玛雅（māyā）”就是幻象或错觉。有了AI之后，想逃离幻象世界可能会比过去更难，因为AI能源源不断地制造海量的“新幻象”，而这些幻象甚至不是出自人类的思维或想象。我们可能连弄清幻象的根源都做不到。

你提到“自我纠错机制”对维持民主至关重要。我认为这对于打破信息茧房、重回现实也很重要。但你又在书里说，人类自工业革命以来的表现只能算“C-”，刚好及格而已。如此看来，在即将到来的AI革命中，我们对人类自己是不是也没啥好期望？

在新技术出现的初期，本身并不一定是坏的，但我们往往不知道怎样正确使用。我们之所以不知道，是因为没有可供参考的现成范式或模板。

比如19世纪的工业革命。那时没有人知道如何打造一个“良好的工业化社会”，也不知道如何把蒸汽机、铁路、电报等技术真正用来造福人类。结果，大家只能不断尝试，其中一些尝试带来了灾难性的后果，比如现代帝国主义和极权国家的诞生。

但这并不意味着AI本身“坏”或“有害”。真正的问题在于：我们对“AI社会”的构建完全缺乏历史模板，只能继续摸索。更何况，AI还可能自己做决策并进行各种试验。而其中一些试验或许也会造成严重后果。

所以我们才需要一个“自我纠错机制”，一个能及时发现并纠正错误的机制，避免铸成无法挽回的大错。但这并不是说，可以先在实验室里彻底测试完毕再投入现实社会。因为历史无法在实验室里模拟。

举个例子：

当年发明铁路时，实验室里能测试蒸汽机会不会爆炸，但无法模拟当上万公里铁路铺开后，对经济和政治格局会带来什么深远影响。

AI同理。无论在实验室里做多少测试，都无法预料当数以百万计的超级智能真正进入现实世界、开始影响经济、政治、社会时会发生什么。

几乎可以肯定，中途会出现重大失误。这也正是为什么我们要更谨慎、更放缓一些，让社会有时间去适应，让我们有时间去发现并纠正失误。

【完】

来源：人工智能学家