摘要：以色列历史学家和哲学家尤瓦尔·诺亚·哈拉里的著作《人类简史》成为国际畅销书，因为它提出了一种由人类虚构的故事驱动的历史观。他后来的著作《未来简史》则描绘了超级智能的出现为人类带来的未来。他的最新著作《Nexus：从石器时代到人工智能的信息网络简史》则警告人们人
这位学者和作家讨论了对奇点的期望、人工智能自我纠正机制的必要性以及超级智能维护民主的希望。
以色列历史学家和哲学家尤瓦尔·诺亚·哈拉里的著作《人类简史》成为国际畅销书，因为它提出了一种由人类虚构的故事驱动的历史观。他后来的著作《未来简史》则描绘了超级智能的出现为人类带来的未来。他的最新著作《Nexus：从石器时代到人工智能的信息网络简史》则警告人们人工智能的威胁是史无前例的。
自 11 月美国总统大选以来，民粹主义和人工智能推动的技术法西斯主义趋势日益高涨。几个月前出版的《Nexus》及时解释了人工智能对民主和极权主义的潜在影响。在书中，哈拉瑞不仅对奇点（即技术，尤其是人工智能，超越人类控制并自行不可逆转地前进的假设未来点）发出了警告，还对人工智能的陌生性发出了警告。
此次采访由《连线》日本版主编 Michiaki Matsushima 主持，并被录制为《连线》日本版YouTube 系列“The Big Interview” ，该系列计划于 2025 年 4 月发布。采访内容已进行编辑以提高清晰度和篇幅。
照片：吉松慎太郎
《连线》：20 世纪 90 年代末，当互联网开始普及时，曾有传言称互联网将带来世界和平。人们认为，随着越来越多的信息传遍更多人，每个人都会知道真相，相互理解将诞生，人类将变得更加智慧。《连线》是数字时代的变革和希望之声，当时它也是这种思想的一部分。在您的新书《Nexus》中，您写道，这种信息观太过幼稚。您能解释一下吗？
精选视频
Professor Answers AI Questions
尤瓦尔·诺亚·赫拉利：信息与真相并不相同。大多数信息并非真实情况的准确表述。信息的主要作用是连接许多事物、连接人们。有时，真相会将人们联系在一起，但虚构或幻想往往更容易让人产生共鸣。
自然界也是如此。自然界中存在的大部分信息并非旨在告诉我们真相。我们被告知生命的基本信息是 DNA，但 DNA 是真的吗？不是。DNA 将许多细胞连接在一起形成身体，但它并没有告诉我们任何真相。同样，圣经是人类历史上最重要的文本之一，它将数百万人联系在一起，但不一定是通过告诉他们真相。
当信息处于完全自由的市场中时，绝大多数信息都变成了虚构、幻觉或谎言。这是因为真相存在三个主要困难。
首先，讲真话是要付出代价的。另一方面，创作小说却不费钱。如果你想写出关于历史、经济、物理等的真实故事，你需要投入时间、精力和金钱来收集证据和核实事实。然而，对于小说，你可以随心所欲地写。
第二，真相往往很复杂，因为现实本身就很复杂。而虚构却可以随心所欲地简单。
最后，真相往往是痛苦和令人不快的。另一方面，虚构却可以写得尽可能令人愉快和吸引人。
因此，在一个完全自由的信息市场中，真相会被大量的虚构和幻觉淹没和掩埋。如果我们想得到真相，就必须付出特别的努力，反复尝试发现事实。这正是互联网普及后发生的事情。互联网是一个完全自由的信息市场。因此，期望互联网传播事实和真相，传播人们之间的理解和共识，很快就被证明是幼稚的。
比尔·盖茨最近在接受《纽约客》采访时表示：“我一直认为数字技术赋予人们力量，但社交网络是完全不同的东西。我们很晚才意识到这一点。人工智能也是完全不同的东西。”如果人工智能是史无前例的，那么我们可以从过去学到什么呢？
我们可以从历史中学到很多东西。首先，了解历史有助于我们了解人工智能带来了什么新事物。不了解历史，我们就无法正确理解当前形势的新颖性。关于人工智能最重要的一点是，它是一个代理，而不仅仅是一个工具。
有些人经常把人工智能革命与印刷术革命、文字的发明或广播电视等大众媒体的出现等同起来，但这是一种误解。以前所有的信息技术都只是人类手中的工具。即使在印刷机发明的时候，书写文字并决定印刷哪些书籍的仍然是人类。印刷机本身不能写任何东西，也不能选择要印刷哪些书籍。
然而，人工智能则完全不同：它是一个代理；它可以自己写书，决定传播哪些思想。它甚至可以自己创造全新的想法，这是历史上从未做过的事情。我们人类以前从未面对过超级智能代理。
当然，过去也有演员。动物就是一个例子。但是，人类比动物更聪明，特别是在联系方面，人类在这方面占了压倒性的优势。事实上，智人最大的优势不是其个体能力。就个人而言，我并不比黑猩猩、大象或狮子强。如果一个小群体，比如 10 个人类和 10 个黑猩猩打架，黑猩猩很可能会赢。
那么，人类为何能主宰地球呢？因为人类可以建立数千、数百万甚至数十亿人的网络，这些人彼此并不认识，但可以在大规模上有效合作。十只黑猩猩可以密切合作，但 1,000 只黑猩猩却不能。另一方面，人类不仅可以与 1,000 个个体合作，还可以与一百万甚至一亿个个体合作。
人类之所以能够如此大规模地合作，是因为我们能够创造和分享故事。所有大规模的合作都基于一个共同的故事。宗教是最明显的例子，但金融和经济故事也是很好的例子。金钱也许是历史上最成功的故事。金钱只是一个故事。钞票和硬币本身没有客观价值，但我们相信金钱有同样的故事，它将我们联系在一起，让我们能够合作。这种能力让人类比黑猩猩、马和大象更具优势。这些动物无法创造像金钱这样的故事。
但人工智能可以。历史上第一次，我们与比我们更善于创造和交流故事的生物共享地球。当今人类面临的最大问题是：我们如何与这种新型超级智能共享地球？
我们应该如何看待这个超级智能的新时代？
我认为对待人工智能革命的基本态度是避免走极端。一方面是担心人工智能会毁灭我们所有人，另一方面是乐观地认为人工智能将改善医疗保健、改善教育并创造一个更美好的世界。
我们需要的是一条中间路线。首先，我们需要了解这一变化的规模。与我们现在面临的人工智能革命相比，历史上所有以前的革命都黯然失色。这是因为纵观历史，当人类发明某种东西时，总是由他们来决定如何使用它来创造一个新的社会、一个新的经济体系或一个新的政治体系。
照片：吉松慎太郎
以 19 世纪的工业革命为例，当时人们发明了蒸汽机、铁路和轮船。虽然这场革命改变了经济的生产能力、军事能力和地缘政治局势，并给全世界带来了重大变化，但最终还是由人们来决定如何创建工业社会。
具体来说，19 世纪 50 年代，美国海军准将马修·佩里乘轮船来到日本，强迫日本接受美国的贸易条件。结果，日本决定：我们学美国，也搞工业化吧。当时，日本国内对要不要工业化存在很大争论，但争论只是民间的争论，蒸汽机本身并没有做出任何决定。
但这一次，在构建基于人工智能的新社会时，人类并不是唯一的决策者。人工智能本身可能有能力提出新想法并做出决策。
如果人工智能拥有自己的钱，能够自己决定如何花钱，甚至开始将钱投资于股票市场，情况会怎样？在这种情况下，要了解金融系统正在发生的事情，我们不仅需要了解人类在想什么，还需要了解人工智能在想什么。此外，人工智能有可能产生我们完全无法理解的想法。
我想澄清一下你对奇点的看法，因为我经常看到有人说你是“反奇点”的。然而，在你的新书中，你指出人工智能比人类更有创造力，而且在情商方面也比人类更优秀。
我特别被你的言论所震撼，你说所有这些革命的根源都是计算机本身，互联网和人工智能只是它的衍生物。《连线》杂志刚刚发表了一系列关于量子计算机的文章，以此为例：如果我们在未来的计算能力上取得巨大飞跃，你是否认为奇点的出现，即超级智能对世界秩序的重新排序是不可避免的？
这取决于你如何定义奇点。据我所知，奇点就是我们不再理解外面正在发生的事情的那个点。这是我们的想象力和理解力跟不上那个点的那个点。我们可能非常接近那个点。
即使没有量子计算机或成熟的通用人工智能（即可以与人类能力相媲美的人工智能），当今的人工智能水平也足以引发这一革命。人们通常认为人工智能革命就是一个巨型人工智能的出现，创造新的发明和变革，但我们应该从网络的角度来思考。如果数百万或数千万个高级人工智能联网在一起，给经济、军事、文化和政治带来重大变化，会发生什么？网络将创造一个我们永远无法理解的完全不同的世界。对我来说，奇点正是那个点——我们理解世界甚至我们自己生活的能力将被压倒的点。
如果你问我是否支持或反对奇点，首先我会说，我只是想清楚地了解现在正在发生的事情。人们往往想立即判断事情是好是坏，但首先要做的是仔细观察情况。回顾过去 30 年，技术做了一些非常好的事情，也做了一些非常坏的事情。它并不是一件明确的“只是好事”或“只是坏事”的事情。未来可能也是如此。
然而，未来有一个明显的区别，那就是当我们不再理解世界时，我们将不再掌控自己的未来。那时，我们将处于与动物相同的境地。我们将像马或大象一样，不了解世界上正在发生的事情。马和大象无法理解人类的政治和金融体系控制着它们的命运。同样的事情也可能发生在我们人类身上。
您曾说：“大家都在谈论‘后真相’时代，但历史上真的有过‘真相’时代吗？”您能解释一下这句话的意思吗？
我们过去对世界的理解要好一些，因为管理世界的是人类，世界是一个人类网络。当然，理解整个网络如何运作总是很难，但至少作为人类，我可以理解国王、皇帝和大祭司。他们和我一样都是人。当国王做出决定时，我可以在一定程度上理解，因为信息网络的所有成员都是人类。但现在，随着人工智能成为信息网络的主要成员，理解塑造我们世界的重大决策变得越来越困难。
也许最重要的例子就是金融。纵观历史，人类发明了越来越复杂的金融机制。货币就是这样一个例子，股票和债券也是如此。利息是另一项金融发明。但发明这些金融机制的目的是什么？它不同于发明轮子或汽车，也不同于开发一种可以食用的新大米。
因此，发明金融的目的是建立人与人之间的信任和联系。金钱使你我之间能够合作。你种稻子，我付钱给你。然后你把稻子给我，我就可以吃。尽管我们彼此并不认识，但我们都信任金钱。好的金钱能建立人与人之间的信任。
金融构建了一个连接数百万人的信任和合作网络。到目前为止，人类仍然可以理解这个金融网络。这是因为所有金融机制都需要人类可以理解。发明一种人类无法理解的金融机制是没有意义的，因为它无法创造信任。
但人工智能可能会发明比利息、债券或股票复杂得多的全新金融机制。它们在数学上极其复杂，人类无法理解。另一方面，人工智能本身可以理解它们。结果将是一个金融网络，人工智能相互信任、相互交流，而人类无法理解正在发生的事情。届时，我们将失去对金融体系以及依赖它的一切的控制。
因此，人工智能可以建立我们无法理解的信任网络。这种难以理解的事物被称为“超对象”。例如，全球气候变化是人类无法完全掌握其机制或全貌的事物，但我们知道它将产生巨大影响，因此我们必须面对并适应它。人工智能是人类在本世纪必须应对的另一个超对象。在您的书中，您指出人类的灵活性是应对重大挑战所需的因素之一。但对于人类来说，应对超对象究竟意味着什么呢？
理想情况下，我们会相信人工智能能够帮助我们处理这些超对象——那些复杂到超出我们理解范围的现实。但人工智能发展中最大的问题或许是：我们如何让比人类更聪明的人工智能值得信赖？我们还没有这个问题的答案。
我认为人工智能革命中最大的悖论是信任悖论——即我们现在急于开发我们并不完全信任的超级人工智能。我们知道其中存在许多风险。理性地讲，明智的做法是放慢发展速度，加大安全投资，并首先建立安全机制，以确保超级人工智能不会脱离我们的控制或做出对人类有害的行为。
然而，今天的情况却截然相反。我们正处于一场加速发展的人工智能竞赛之中。各家公司和国家都在以极快的速度竞相开发更强大的人工智能。与此同时，几乎没有投入任何资金来确保人工智能的安全。
如果你问那些领导这场人工智能革命的企业家、商人和政府领导人：“为什么这么着急？”他们几乎都回答说：“我们当然知道这很冒险。我们知道这很危险。我们知道放慢脚步并投资于安全才是更明智的做法。但我们不能相信我们的人类竞争对手。如果其他公司和国家加速发展人工智能，而我们却试图放慢速度并使其更安全，他们就会率先开发出超级智能并主宰世界。所以我们别无选择，只能尽快前进，以保持领先于不可靠的竞争对手。”
照片：吉松慎太郎
但后来我又向人工智能负责人提出了第二个问题：“你认为我们可以信任你们正在开发的超级智能吗？”他们的回答是：“可以。”这几乎是疯了。甚至不信任其他人类的人竟然认为他们可以信任这种外星人工智能。
我们与人类打交道已有数千年的经验。我们了解人类的心理和政治。我们了解人类对权力的渴望，但我们也了解如何限制这种权力并在人类之间建立信任。事实上，在过去的几千年里，人类已经建立了相当多的信任。10 万年前，人类生活在几十人的小群体中，无法信任外人。然而，今天，我们拥有庞大的国家、遍布全球的贸易网络，以及数亿甚至数十亿在一定程度上相互信任的人。
我们知道人工智能是一个行动者，它自己做决定，创造新想法，设定新目标，制造人类无法理解的诡计和谎言，并可能追求超出我们理解范围的外星目标。我们有很多理由怀疑人工智能。我们没有与人工智能打交道的经验，也不知道如何信任它。
我认为，如果人们认为在彼此不信任的情况下可以信任人工智能，这是一个巨大的错误。开发超级智能最安全的方式是先加强人与人之间的信任，然后相互合作，以安全的方式开发超级智能。但我们现在所做的恰恰相反。相反，所有的努力都集中在开发超级智能上。
一些具有自由主义思想的《连线》读者可能更相信超级智能而不是人类，因为人类在历史上大部分时间都在相互争斗。你说我们现在拥有庞大的信任网络，例如国家和大公司，但我们在建立这样的网络方面有多成功，它们会继续失败吗？
这取决于我们的期望标准。如果我们回顾并将今天的人类与 10 万年前的人类进行比较，那时我们还是狩猎采集者，生活在几十人的小群体中，我们已经建立了一个惊人的信任网络。我们有一个系统，其中数亿人每天都在相互合作。
自由主义者经常认为这些机制是理所当然的，拒绝考虑它们从何而来。例如，你家里有电和饮用水。当你上厕所冲水时，污水会进入一个巨大的污水系统。该系统由国家创建和维护。但在自由主义者的思维方式中，很容易理所当然地认为你只要上厕所冲水，就不需要任何人来维护它。但当然，有人需要这么做。
完美的自由市场其实是不存在的。除了竞争，还需要某种信任体系。有些东西可以通过自由市场的竞争成功创造，但有些服务和必需品无法仅靠市场竞争来维持。司法就是一个例子。
想象一个完美的自由市场。假设我和你签订了一份商业合同，但我违约了。于是我们上法庭，要求法官做出判决。但如果我贿赂了法官怎么办？突然间，你就无法信任自由市场了。你不会容忍法官站在行贿最多的人一边。如果在一个完全自由的市场中交易正义，正义本身就会崩溃，人们将不再相互信任。履行合同和承诺的信任就会消失，而且也没有制度来执行它们。
因此，任何竞争总是需要某种信任结构。在我的书中，我以足球世界杯为例。不同国家的球队相互竞争，但为了进行竞争，首先必须就一套共同的规则达成一致。如果日本有自己的规则，而德国有另一套规则，那么就不会有竞争。换句话说，即使是竞争也需要共同信任和一致的基础。否则，秩序本身就会崩溃。
照片：吉松慎太郎
在《Nexus》中，您指出大众媒体使大众民主成为可能——换句话说，信息技术与民主制度的发展是相互关联的。如果是这样，除了民粹主义和极权主义的负面可能性之外，民主国家还可能有哪些积极变革的机会？
例如，在社交媒体上，人们故意传播虚假新闻、虚假信息和阴谋论，以破坏人们之间的信任。但算法不一定是虚假新闻和阴谋论的传播者。许多算法之所以能做到这一点，只是因为它们的设计初衷就是如此。
Facebook、YouTube 和 TikTok 算法的目的是最大限度地提高用户参与度。经过多次反复试验，人们发现，最简单的方法是传播激起人们愤怒、仇恨和欲望的信息。这是因为当人们愤怒时，他们更倾向于追寻这些信息并将其传播给他人，从而增加参与度。
但如果我们赋予算法不同的目的呢？例如，如果你赋予它增加人们之间的信任或增加真实性等目的，算法就永远不会传播假新闻。相反，它将帮助建立一个更好的社会，一个更好的民主社会。
另一个重要观点是，民主应该是人与人之间的对话。为了进行对话，你需要知道并相信你正在与人打交道。但随着社交媒体和互联网的发展，越来越难以知道你正在阅读的信息是真正由人类编写和传播的，还是仅仅是机器人编写和传播的。这破坏了人与人之间的信任，使民主变得非常困难。
为了解决这个问题，我们可以制定法规和法律，禁止机器人和人工智能冒充人类。我认为人工智能本身根本不应该被禁止；欢迎人工智能和机器人与我们互动，但前提是它们必须明确表示自己是人工智能，而不是人类。当我们在 Twitter 上看到信息时，我们需要知道它是人类传播的还是机器人传播的。
有人可能会说：“这不是侵犯言论自由吗？”但机器人没有言论自由。虽然我坚决反对对人类言论进行审查，但这并不能保护机器人的言论。
在不久的将来，通过与人工智能讨论话题，我们会变得更聪明或得出更好的结论吗？我们是否会看到人类无法想象的创造力，例如在课堂讨论中，就像您在新书中描述的 AlphaGo 那样？
当然有可能发生。一方面，人工智能可以非常有创造力，想出我们从未想过的想法。但与此同时，人工智能也可以通过向我们提供大量垃圾和误导性信息来操纵我们。
关键在于，我们人类是社会的利益相关者。正如我之前提到的污水处理系统的例子，我们有身体。如果污水处理系统崩溃，我们就会生病，传播痢疾和霍乱等疾病，最坏的情况下，我们会死亡。但这对人工智能来说根本不是威胁，它不在乎污水处理系统是否崩溃，因为它不会生病或死亡。例如，当人类公民争论是否要拨款给政府机构来管理污水处理系统时，这显然是既得利益。因此，虽然人工智能可以为污水处理系统提出一些非常新颖和富有想象力的想法，但我们必须始终记住，人工智能不是人类，甚至不是有机体。
我们很容易忘记我们有身体，尤其是在讨论网络空间时。人工智能与人类的不同之处不仅在于它的想象力和思维方式与我们不同，还在于它的身体本身与我们完全不同。归根结底，人工智能也是一个物理存在；它不存在于某个纯粹的精神空间中，而是存在于计算机和服务器网络中。
当思考未来时，最重要的是要考虑什么？
我认为有两个重要问题。一个是信任问题，到目前为止，这一直是人们讨论的话题。我们现在处于人与人之间信任岌岌可危的境地。这是最大的危险。如果我们能够加强人与人之间的信任，我们将能够更好地应对人工智能革命。
第二是被人工智能完全操纵或误导的威胁。在互联网早期，技术的主要隐喻是网络。万维网被设想为一个将人们彼此连接起来的蜘蛛网状网络。
然而，今天，最主要的隐喻是茧。人们越来越多地生活在信息茧房中。人们被如此多的信息轰炸，以至于他们对周围的现实视而不见。人们被困在不同的信息茧房中。历史上第一次，一个非人类实体，即人工智能，能够创造这样的信息茧房。
纵观历史，人类一直生活在人类文化的茧中。诗歌、传说、神话、戏剧、建筑、工具、美食、意识形态、金钱以及塑造我们世界的所有其他文化产品都来自人类的思想。然而，在未来，许多这些文化产品将来自非人类智能。我们的诗歌、视频、意识形态和金钱将来自非人类智能。我们可能会被困在这样一个陌生的世界中，脱离现实。这是人类数千年来深藏在内心的恐惧。现在，这种恐惧比以往任何时候都更加真实和危险。
例如，佛教中提到了幻觉的概念——幻觉。随着人工智能的出现，逃离这个充满幻觉的世界可能比以前更加困难。人工智能能够给我们带来新的幻觉，这些幻觉甚至不是源于人类的智慧或想象。我们将发现甚至很难理解这些幻觉。
照片：吉松慎太郎
您提到“自我修正机制”是维护民主的重要功能。我认为这也是走出茧居、接触现实的重要功能。另一方面，您在书中写道，自工业革命以来人类的表现应该被评为“C 级”，或者勉强可以接受。如果是这样的话，那么我们肯定不能对人类在即将到来的人工智能革命中抱有太大的期望吧？
当一项新技术出现时，它本身并不一定不好，但人们还不知道如何利用它带来好处。他们不知道的原因在于我们没有它的模型。
19 世纪工业革命爆发时，没有人知道如何建立“良好的工业社会”，如何利用蒸汽机、铁路和电报等技术造福人类。因此，人们进行了各种各样的实验。其中一些实验，如建立现代帝国主义和极权主义国家，带来了灾难性的后果。
这并不是说人工智能本身不好或有害。真正的问题是，我们没有建立人工智能社会的历史模型。因此，我们将不得不重复实验。此外，人工智能本身现在会自己做决定，自己进行实验。而其中一些实验可能会产生可怕的结果。
这就是为什么我们需要一种自我纠正机制——一种能够在致命事件发生之前发现并纠正错误的机制。但在将人工智能技术引入世界之前，这不是可以在实验室中测试的东西。在实验室中模拟历史是不可能的。
例如，让我们考虑一下正在发明的铁路。
人们可以在实验室里看到蒸汽机是否会因故障而爆炸，但却没有人能够模拟当铁路网延伸到数万公里时，它将给经济和政治格局带来怎样的变化。
人工智能也是如此。无论我们在实验室中对人工智能进行多少次实验，我们都无法预测当数百万超级智能进入现实世界并开始改变经济、政治和社会格局时会发生什么。几乎可以肯定的是，会出现重大错误。这就是为什么我们应该更加谨慎和缓慢地前进。我们必须给自己时间去适应，去发现和纠正我们的错误。
来源：人工智能学家