摘要：好吧，你明白了：没有人能就人工智能是什么达成一致。但大家似乎都同意的一点是，当前围绕人工智能的争论已经远远超出了学术和科学的范畴。其中还涉及政治和道德因素--每个人都认为别人都是错的，这并没有什么帮助。

chapter 4：

为什么你应该关心一群书呆子在争论人工智能？

好吧，你明白了：没有人能就人工智能是什么达成一致。但大家似乎都同意的一点是，当前围绕人工智能的争论已经远远超出了学术和科学的范畴。其中还涉及政治和道德因素--每个人都认为别人都是错的，这并没有什么帮助。

解决这个问题很难。当一些道德观点将整个人类的未来都纳入其中，并将其固定在一项无人能完全定义的技术上时，要看清其中发生了什么可能会很困难。

但我们不能就这样举起双手一走了之。因为无论这种技术是什么，它都会到来，除非你生活在岩石之下，否则你会以这样或那样的形式使用它。而技术所采取的形式--以及它所解决和制造的问题--将由像你刚刚读到的那些人的思维和动机所决定。尤其是那些拥有最大权力、最多现金和最大扩音器的人。

这让我想到了 TESCREALists。等等，回来！我知道这么晚才引入另一个新概念是不公平的。但是，要了解当权者如何塑造他们所创造的技术，以及他们如何向世界上的监管者和立法者解释这些技术，你就必须真正了解他们的心态。

蒂姆尼特-格布鲁

格布鲁在离开谷歌后创办了分布式人工智能研究所，他和凯斯西储大学的哲学家兼历史学家埃米尔-托雷斯（Émile Torres）追溯了几种技术乌托邦信仰体系对硅谷的影响。他们认为，要想了解人工智能目前的发展状况--谷歌 DeepMind 和 OpenAI 等公司竞相打造人工智能的原因，以及泰格马克和辛顿等末日论者警告灾难即将来临的原因--就必须透过托雷斯所称的 TESCREAL 框架来看待这一领域。

这个笨拙的首字母缩写（发音为tes-cree-all）取代了一系列更笨拙的标签：超人类主义（transhumanism）、外在主义（extropianism）、奇异主义（singularitarianism）、宇宙主义（cosmism）、理性主义（rationalism）、有效利他主义（effeectivealtruism）和长期主义（longtermism）。 关于这些世界观，我们已经写了很多（以后还会写），这里就不多说了。(对于想深入了解的人来说，兔子洞中还有兔子洞）。选择你的论坛，带上你的潜水装备吧）。

埃米尔-托雷斯

这种相互重叠的意识形态对西方科技界常见的某种星系脑思维方式很有吸引力。 有些人预计人类将长生不老；有些人则预测人类将殖民星际。共同的信条是，一种无所不能的技术--AGI 或超级智能，请自行选择--不仅触手可及，而且不可避免。你可以从 OpenAI 等前沿实验室无处不在的 "不成功便成仁 "的态度中看到这一点： 如果我们不制造 AGI，别人就会制造。

更重要的是，TESCREAL 主义者相信，AGI 不仅能解决世界上的问题，还能解决人类的问题。还能提升人类水平。"人工智能的发展和普及是我们对自己、对孩子和对未来的一种道德义务，"安德烈森在去年一份备受剖析的宣言中写道。谷歌 DeepMind 首席执行官兼联合创始人德米斯-哈萨比斯（Demis Hassabis）、新成立的微软人工智能公司首席执行官兼 DeepMind 另一位联合创始人穆斯塔法-苏莱曼（Mustafa Suleyman）、苏茨克沃尔（Sutskever）、奥特曼（Altman）等人多次告诉我，AGI 是让世界变得更美好的途径。

但正如安德烈森所言，这是一种阴阳思维。技术乌托邦的另一面是技术地狱。如果你相信自己正在开发的技术非常强大，可以解决世界上所有的问题，那么你可能也会相信这一切都会出大错的可能性不为零。在二月份的世界政府峰会上，当被问及是什么让他彻夜难眠时，奥特曼回答说："都是科幻的东西惹的祸"。

去年，辛顿一直在谈论这种紧张关系。这也是人类学等公司声称要解决的问题。这也是 Sutskever 在他的新实验室中重点关注的问题，也是他去年希望 OpenAI 的一个内部特别团队重点关注的问题，后来由于对公司平衡风险和回报的方式存在分歧，该团队的大部分成员都离开了。

当然，自说自话是其中的一部分。(迪哈尔说："声称自己创造了超级智能的东西对销售数字很有帮助。迪哈尔说，"这就像'拜托，谁来阻止我变得如此优秀和强大'"）。 但是，不管是繁荣还是毁灭，这些家伙到底要解决什么（谁的）问题呢？我们真的要相信他们建造的东西和他们告诉我们领导人的话吗？

格布鲁和托雷斯(以及其他一些人)坚定地表示:不，我们不应该这么做。他们对这些意识形态以及它们如何影响未来技术，尤其是人工智能的发展持强烈批评态度。从根本上说，他们将这些世界观与他们共同关注的改善人性与20世纪的种族主义优生学运动联系起来。

他们认为，其中一个危险是，将资源转移到这些意识形态所要求的技术创新上，从建立人工智能到延长寿命，再到殖民其他星球，最终将使西方和白人受益，而代价是数十亿非白人。如果你的目光集中在幻想的未来上，就很容易忽视当今创新的成本，比如劳动力剥削、种族主义和性别歧视的根深蒂固、以及环境破坏。

"我们是否在试图制造一种在某种程度上对我们有用的工具？班德在反思这场人工智能竞赛的伤亡时问道。如果是，那么它是为谁而造，我们如何测试它，它的效果如何？"但如果我们建造它的目的仅仅是为了能够说我们已经做到了，那就不是一个我能支持的目标。这不是一个价值数十亿美元的目标。

班德说，正是因为看到了 TESCREAL 意识形态之间的联系，她才意识到这些辩论中还有更多的东西。"与这些人打交道--"她停了下来。"好吧，这里不仅仅有学术思想。这其中还蕴含着道德规范。"

当然，这样没有细微差别地阐述，听起来并不像我们--作为一个社会，作为个人--得到了最好的待遇。这一切听起来也相当愚蠢。格布鲁在去年的一次演讲中描述了 "TESCREAL "捆绑计划的部分内容，她的听众都笑了。同样，很少有人会认为自己是这些思想流派的拥护者，至少在极端情况下是这样。

但是，如果我们不了解那些构建这种技术的人是如何处理的，我们又怎么能决定要做什么交易呢？我们决定使用什么样的应用程序，我们想把个人信息提供给什么样的聊天机器人，我们支持在我们的社区建立什么样的数据中心，我们想给什么样的政治家投票？

过去是这样的：世界上出现了问题，我们就创造一些东西来解决它。在这里，一切都落后了：我们的目标似乎是制造一台无所不能的机器，而省略了在制造解决方案之前，先找出问题所在的缓慢而艰苦的工作。

正如格布鲁在那次演讲中所说："一台机器可以解决所有问题：这不是魔法是什么？"

语义、语义......语义？

当被问到什么是人工智能时，很多人都会回避这个问题。不是苏莱曼。今年4月，微软人工智能的首席执行官站在TED的舞台上，告诉观众他对自己6岁侄子的回答。苏莱曼解释说，他能给出的最好答案是，人工智能是一种新型的数字物种，一种如此普遍、如此强大的技术，以至于称它为工具已经无法描述它能为我们做什么。

他说："按照我们目前的发展轨迹，我们正在走向一种我们都在努力描述的东西的出现，但我们无法控制我们不了解的东西。"他说："因此，如果我们要最大限度地利用人工智能，同时限制其潜在的弊端，那么隐喻、心理模型和名称都很重要。

语言很重要！我希望从我们所经历的曲折和发脾气中，大家能明白这一点。但我也希望你们会问："谁的语言？谁的语言？谁的缺点？苏莱曼是一家科技巨头的行业领导者，该公司的人工智能产品将带来数十亿美元的利润。将这些产品背后的技术描述为一种新物种，会让人联想到一种完全前所未有的东西，一种拥有我们从未见过的能动性和能力的东西。这让我的 "蜘蛛感 "怦然心动。你呢？

我不能告诉你这里是否有魔法（不管是否具有讽刺意味）。我也无法告诉你数学如何才能实现布贝克和其他许多人在这项技术中看到的东西（目前还没人能做到）。你必须自己做出判断。但我可以拉开我自己观点的帷幕。

早在 2020 年写关于 GPT-3 的文章时，我就说过，人工智能有史以来最伟大的把戏就是让世界相信它的存在。我现在仍然这么认为：我们天生就会在有特定行为方式的事物中看到智能，无论它是否存在。在过去几年里，科技行业也找到了自己的理由，让我们相信人工智能的存在。这让我对这项技术的许多说法持怀疑态度。

有了大型语言模型的笑脸面具，我们就会面对一些我们以前从未想过的事情。帕夫利克说:“它把这个假设变成了现实。我从来没有考虑过一段语言是否需要智能来生成，因为我从来没有处理过不需要智能的语言。

人工智能有很多方面。但我不认为它像人类。我不认为它能解决我们所有（甚至大部分）的问题。它不是 ChatGPT、Gemini 或 Copilot。它不是神经网络。它只是一个想法，一个愿景，一种愿望的实现。而想法会被其他想法、道德、准宗教信仰、世界观、政治和直觉所塑造。"人工智能 "是描述一系列不同技术的有用简称。但人工智能并不是一回事，它从来都不是，不管这个品牌如何频繁地被印在盒子外面。

帕夫利克说："事实上，这些词--智能、推理、理解等等--都是在需要真正精确地定义它们之前被定义的。帕夫利克说："我不太喜欢当问题变成'模型是否理解--是或否？词语一直在重新定义，概念也一直在演变。

我认为这是正确的。我们越早退一步，就我们不知道的事情达成一致，并接受这一切都还没有定论的事实，我们就能越早--我不知道，我猜不是所有人都能手拉手唱 "Kumbaya"。但我们可以停止互相指责。

内容来源：MIT Technology Review（机翻）

来源：黎曼的猜想