摘要：2014年，现年87岁、颇具影响力的认知科学家玛格丽特-博登（Margaret Boden）在接受英国广播公司（BBC）采访，回顾自己的职业生涯时被问到，她是否认为有任何限制会阻止计算机（或她所称的 "铁皮罐头"）做人类能做的事情。

chapter 3:

为什么我们不能和睦相处

2014年，现年87岁、颇具影响力的认知科学家玛格丽特-博登（Margaret Boden）在接受英国广播公司（BBC）采访，回顾自己的职业生涯时被问到，她是否认为有任何限制会阻止计算机（或她所称的 "铁皮罐头"）做人类能做的事情。

她说："我当然不认为原则上有什么限制。"因为否认这一点就等于说[人类思维]是靠魔法发生的，而我不相信它是靠魔法发生的。

玛格丽特-博登

但是，她提醒说，光有强大的计算机还不够：人工智能领域还需要 "强大的思想"--关于思维如何发生的新理论，以及可能重现思维的新算法。"但这些事情非常、非常困难，我认为没有理由假设我们总有一天能够回答所有这些问题。也许我们能，也许我们不能。

博登是在反思当前经济繁荣的早期，但这种 "我们会还是不会 "的踌躇满志，与她和她的同行们几十年来一直在努力解决的难题如出一辙。

今天也在苦苦挣扎。70多年前，人工智能作为一个雄心勃勃的愿望开始出现，而我们至今仍对什么是可以实现的，什么是不可以实现的，以及我们如何知道自己是否已经实现了人工智能存在分歧。这些争论即使不是全部，也大多归结于此：我们并没有很好地理解什么是智能，也不知道如何识别智能。这个领域充满了各种预感，但没有人能说得很肯定。

自从人们开始认真对待人工智能这个概念以来，我们就一直在这一点上徘徊不前。甚至在此之前，当我们阅读的故事开始在我们的集体想象中植入类人机器的概念时，我们就已经在这一点上陷入了困境。这些争论由来已久，这意味着今天的争论往往会加深从一开始就存在的裂痕，使人们更加难以找到共同点。

要了解我们是如何走到今天这一步的，我们就必须了解我们的过去。因此，让我们深入了解一下人工智能的起源故事--这个故事也是为了赚钱而大肆炒作的。

人工智能发展简史

1955年，计算机科学家约翰-麦卡锡（John McCarthy）在为新罕布什尔州达特茅斯学院（Dartmouth College）的一个暑期研究项目撰写资助申请时，提出了 "人工智能 "一词。

当时的计划是让麦卡锡和一小群研究人员--战后美国数学家和计算机科学家的代表--或者说 "约翰-麦卡锡和他的孩子们"（剑桥大学研究人工智能历史和谷歌 DeepMind 伦理与政策的研究员哈里-劳（Harry Law）如是说）--聚在一起两个月（不是打错字），在他们为自己设定的这项新研究挑战上取得一些重大进展。

从左至右，奥利弗-塞尔弗里奇、纳撒尼尔-罗切斯特、雷-所罗门诺夫、马文-明斯基、彼得-米尔纳、约翰-麦卡锡和克劳德-香农坐在 1956 年达特茅斯会议的草坪上。

明斯基家族提供

"麦卡锡和他的合著者写道："这项研究的基础是这样一种猜想，即学习的每一个方面或智能的任何其他特征原则上都可以被精确描述，以至于可以用机器来模拟。"麦卡锡和他的合著者写道："我们将试图找到如何让机器使用语言、形成抽象概念和概念、解决现在只有人类才能解决的问题，以及自我完善的方法。

他们想让机器做的事情--本德称之为 "星光灿烂的梦想"--并没有太大变化。使用语言、形成概念和解决问题是当今人工智能的定义目标。这种狂妄自大也没有太大改变：他们写道："我们认为，如果一群精心挑选的科学家用一个夏天的时间共同研究这些问题，就能在其中一个或多个问题上取得重大进展。当然，这个夏天已经过去了七十年。而这些人们至今仍在互联网上大肆宣扬 "人工智能 "已经解决了很多问题。

但人们往往忽略了一个事实，那就是人工智能几乎根本就不叫 "人工智能"。

约翰-麦卡锡

麦卡锡的不止一位同事讨厌他想出的这个词。"历史学家帕梅拉-麦考德克（Pamela McCorduck）在 2004 年出版的《会思考的机器》（Machines Who Think）一书中引用了达特茅斯大学学生、第一台跳棋计算机的创造者亚瑟-塞缪尔（Arthur Samuel）的话："'人工'这个词让人觉得有些虚假。数学家克劳德-香农（Claude Shannon）是达特茅斯提案的共同作者之一，有时被誉为 "信息时代之父"，他更喜欢 "自动机研究 "这一术语。赫伯特-西蒙（Herbert Simon）和艾伦-纽厄尔（Allen Newell）是另外两位人工智能先驱，他们在多年后仍将自己的工作称为 "复杂信息处理"。

事实上，"人工智能"只是达特茅斯小组所借鉴的大杂烩思想的几个标签之一。历史学家乔尼-潘（Jonnie Penn）指出了当时可能出现的替代名称，包括 "工程心理学"、"应用认识论"、"神经控制论"、"非数值计算"、"神经动力学"、"高级自动编程 "和 "假想自动机"。从这些名称中可以看出，他们对新领域的灵感来自生物学、神经科学、统计学等多个领域。

达特茅斯学院的另一位参与者马文-明斯基（Marvin Minsky）将人工智能形容为 "手提箱中的单词"，因为它可以容纳许多不同的解释。

马文-明斯基 麻省理工博物馆

但麦卡锡希望能有一个能捕捉到他远大理想的名字。把这个新领域称为 "人工智能"，可以吸引人们的注意力，也可以吸引资金。别忘了：人工智能很性感，人工智能很酷。

除了术语之外，达特茅斯大学的提案还将对立的人工智能方法之间的分歧编成了法典，这种分歧从那时起就一直分裂着这个领域--Law 将这种分歧称为 "人工智能的核心矛盾"。

麦卡锡和他的同事们希望用计算机代码描述 "学习的方方面面或智能的任何其他特征"，这样机器就能模仿它们。换句话说，如果他们能弄清思维的运作方式--推理规则--并写下秘诀，他们就能为计算机编程，使其遵循这些规则。这为后来的基于规则或符号的人工智能（有时也被称为 GOFAI，即 "老式人工智能"）奠定了基础。但事实证明，为实际的、非复杂的问题制定硬编码规则来捕捉解决问题的过程太难了。

另一条道路则倾向于神经网络，即尝试以统计模式的形式自行学习这些规则的计算机程序。达特茅斯大学的提案几乎是在旁敲侧击地提到了这一点（提到了 "神经元网络 "和 "神经网络"）。尽管这一想法一开始似乎不太有希望，但一些研究人员仍在继续研究神经网络与符号人工智能的不同版本。但是，经过几十年的努力，再加上大量的计算能力和互联网上的大量数据，神经网络才真正开始发挥作用。时至今日，这种方法已成为整个人工智能热潮的基础。

这里的重要启示是，就像今天的研究人员一样，人工智能的创新者们也曾为基础概念争得面红耳赤，并陷入了各自的宣传旋涡。就连 GOFAI 团队也饱受争吵困扰。亚伦-斯洛曼（Aaron Sloman）是一位哲学家，同时也是人工智能的先驱，如今已年过八旬，他回忆起自己在70年代认识明斯基和麦卡锡这对 "老朋友 "时，他们是如何 "意见相左 "的："明斯基认为麦卡锡关于逻辑的主张行不通，而麦卡锡则认为明斯基的机制做不到用逻辑可以做到的事情。我和他们两人都相处得很好，但我却说：'你们都没说对'。 (斯洛曼仍然认为，没有人能够解释人类的推理是如何像使用逻辑一样使用直觉的，但这是另一个切入点！）。

随着技术发展的起起落落，"人工智能 "这个词也时好时坏。七十年代初，英国政府发布了一份报告，认为人工智能的梦想没有实现，不值得资助，因此这两项研究都被搁置了。

所有的炒作实际上都是徒劳的。研究项目被叫停，计算机科学家们也从他们的资助提案中删除了 "人工智能 "的字眼。

2008 年，当我完成计算机科学博士学业时，系里只有一个人在研究神经网络。本德也有类似的回忆："我上大学的时候，有个笑话说，人工智能就是我们还没想出如何用计算机做的任何事情。比如，一旦你想出了怎么做，它就不再是魔术了，所以它就不是人工智能了。"

但这种魔力--达特茅斯大学提案中提出的宏伟愿景--依然存在，而且正如我们现在所看到的，它为 AGI 梦想奠定了基础。

好的行为和坏的行为

1950 年，在麦卡锡开始谈论人工智能的五年前，艾伦-图灵发表了一篇论文，提出了一个问题："机器会思考吗？机器会思考吗？为了解决这个问题，这位著名的数学家提出了一个假设性测试，他称之为模仿游戏。 这个游戏的设置是，想象一个人和一台电脑在屏幕后面，另一个人分别向他们输入问题。 图灵认为，如果提问者无法分辨哪些答案来自人类，哪些来自计算机，那么计算机也可以说是在思考。

与麦卡锡的团队不同，图灵看到的是，思考是一件很难描述的事情。图灵测试是回避这个问题的一种方法。"他基本上是说他基本上是说：与其关注智力本身的本质，我不如去寻找它在这个世界上的表现。我要寻找它的影子，"罗说。

1952 年，BBC 广播公司召集了一个小组，进一步探讨图灵的观点。图灵的两位曼彻斯特大学同事--数学教授马克斯韦尔-纽曼（Maxwell Newman）和神经外科教授乔里-耶尔森（Geoffrey Jefferson），以及剑桥大学的科学、伦理和宗教哲学家理查德-布雷斯怀特（Richard Braithwaite）也来到了演播室。

布雷斯怀特揭开了序幕："思考通常被认为是人类的特长，或许也是其他高等动物的特长，这个问题似乎太荒谬了，不值得讨论。当然，这取决于'思考'包括哪些内容"。

与会专家围绕图灵的问题进行了讨论，但始终没有找到答案。

当他们试图定义思维涉及到什么，它的机制是什么时，他们的目标就转移了。"图灵说："一旦人们能够看到大脑中的因果关系，就会认为这不是思考，而是一种缺乏想象力的无聊工作。

问题就在这里：当一位小组成员提出某种可能被视为思维证据的行为时--比如说，对一个新想法做出愤怒的反应--另一位成员就会指出，计算机可以做到这一点。

人工智能

正如纽曼所说，给电脑编程，让它打印出 "我不喜欢这个新程序"，是很容易做到的。但他也承认，这只是个小把戏。

没错，耶尔森说：他想让电脑打印出 "我不喜欢这个新程序"，因为它不喜欢这个新程序。换句话说，对于耶佛森来说，仅仅有行为是不够的。重要的是导致行为的过程。

但图灵不同意。正如他所指出的那样，揭示一个特定的过程--用他的话说，就是 "驴子的工作"--也不能确定思维是什么。那么还剩下什么呢？

图灵说："从这个角度来看，人们可能会把思维定义为由那些我们不理解的心理过程组成。"如果这是对的，那么制造一台会思考的机器就是制造一台会做有趣事情的机器，而我们并不真正了解它是如何完成的。"

第一次听到人们探讨这些观点，感觉很奇怪。"哈佛大学认知科学家托默-乌尔曼说："这场辩论很有先见之明。哈佛大学的认知科学家托默-乌尔曼说，"有些观点仍然有生命力，甚至更有生命力。他们似乎绕来绕去的是，图灵测试首先是一种行为主义测试。"

对图灵来说，智力很难定义，但很容易识别。他提出，智力的表象就足够了，至于这种行为应该如何产生，他只字未提。

然而，大多数人在被逼无奈的情况下，都会凭直觉判断什么是智能，什么不是智能。 要想表现得聪明，有笨办法，也有聪明办法。1981 年，纽约大学的哲学家奈德-布洛克（NedBlock）指出，图灵的提议与这些直觉相去甚远。因为图灵没有提到行为的起因，所以图灵测试可以通过诡计战胜（纽曼在英国广播公司的广播中曾指出）。

布洛克问道："机器是否真的会思考或具有智能，这个问题会不会取决于人类审讯者有多容易上当受骗？ (或者正如计算机科学家马克-雷德尔（Mark Reidl）所说的那样："图灵测试不是让人工智能通过，而是让人类失败。）

布洛克说，想象一下，在一个巨大的查找表中，人类程序员输入了所有可能问题的所有可能答案。向这台机器输入一个问题，它就会在数据库中查找匹配的答案并将其发送回来。布洛克认为，任何使用这台机器的人都会判断它的行为是智能的："他写道："但实际上，这台机器只有烤面包机的智能。"它所表现出的所有智能都是它的程序员的智能"。

布洛克的结论是，行为是否是智能行为，取决于它是如何产生的，而不是它是如何出现的。布洛克的烤面包机后来被称为 "布洛克头"（Blockheads），是图灵提出的假设背后最有力的反例之一。

观察引擎盖下

图灵测试并不是一个实用的度量标准，但它的影响却深深根植于我们今天思考人工智能的方式中。在过去几年中，随着 LLM 的爆炸式增长，这一点变得尤为重要。这些模型的排名取决于它们的外在表现，特别是它们在一系列测试中的表现。当 OpenAI 发布 GPT-4 时，它发布了一份看起来令人印象深刻的记分卡，详细介绍了该模型在多个高中和专业考试中的表现。几乎没有人谈论这些模型是如何取得这些成绩的。

这是因为我们不知道。如今的大型语言模型过于复杂，任何人都无法准确说出它们的行为是如何产生的。除了少数几家制造这些模型的公司之外，研究人员并不知道它们的训练数据是什么；没有一家模型制造商分享过细节。因此很难说什么是记忆，什么不是随机模仿。但即使是内部研究人员也不知道面对一个痴迷于桥梁的机器人到底发生了什么。

这让问题变得扑朔迷离： 是的，大型语言模型是建立在数学基础上的，但它们是否在用数学做一些智能的事情呢？

争论又开始了。

布朗大学的帕夫利克说："大多数人都在试图通过理论来解决这个问题。"有些人说'我认为是这样的'，有些人则说'我不这么认为'。 我们陷入困境，每个人都不满意。"

本德认为，这种神秘感也是创造神话的原因之一。(她说："魔术师不会解释他们的魔术。）如果不能正确理解 LLM 话语的来源，我们就会回到对人类熟悉的假设上，因为那是我们唯一真正的参照点。当我们与他人交谈时，我们会试图理解对方想要告诉我们什么。"本德说："这个过程必然需要想象文字背后的生活。这就是语言的作用。

饭田淳

她说："ChatGPT 的会话技巧令人印象深刻，以至于当我们看到这些词语从 ChatGPT 中流出时，我们也会本能地做同样的事情。她说："它非常善于模仿语言的形式。问题是，我们完全不擅长遇到语言的形式，而不是想象它的其他部分。"

对于一些研究人员来说，如果我们无法理解 "如何"，这其实并不重要。布贝克曾经研究大型语言模型，试图弄清它们是如何工作的。但 GPT-4 改变了他的思维方式。 他说："这些问题似乎不再那么重要了。"模型是如此之大，如此之复杂，以至于我们无法指望打开它，了解到底发生了什么。"

但是，帕夫利克和奥拉一样，也在尝试这样做。她的团队发现，模型似乎可以编码物体之间的抽象关系，比如一个国家与其首都之间的关系。帕夫利克和她的同事在研究一个大型语言模型时发现，该模型使用相同的编码将法国映射为巴黎，将波兰映射为华沙。我告诉她，这听起来很聪明。"她说："不，这只是一个查找表。

但令帕夫利克印象深刻的是，与 "糊涂虫"不同的是，这个模型自己学会了这个查找表。换句话说，LLM 自己发现巴黎之于法国，就像华沙之于波兰一样。 这说明了什么？为自己的查找表编码而不是使用硬编码的查找表是智能的表现吗？你的界限在哪里？

帕夫利克说："从根本上说，问题在于行为是我们唯一知道如何可靠测量的东西。其他任何东西都需要理论上的承诺，而人们不喜欢做出理论上的承诺，因为它太繁琐了。"

并非所有人都是如此。很多有影响力的科学家对理论承诺并不排斥。例如，辛顿就坚持认为，神经网络是重新创造类人智能所需要的一切。"2020年，他对《麻省理工科技评论》说："深度学习将无所不能。"

辛顿似乎从一开始就坚守着这一承诺。斯洛曼记得，当辛顿还是他实验室的一名研究生时，他们两人就争论不休。

杰弗里-辛顿

这似乎是辛顿从一开始就坚持的承诺。斯洛曼回忆起辛顿在他的实验室里读研究生时两人的争论，他无法说服辛顿，神经网络无法学习某些关键的抽象概念，而人类和其他一些动物似乎有直觉把握，比如某件事是否不可能。我们可以看看什么时候排除了某些可能性。斯洛曼说，"尽管辛顿有过人的才智，但他似乎从来没有理解过这一点。我不知道为什么，但是有很多神经网络研究人员都有同样的失败。"

还有马库斯，他对神经网络的看法与欣顿完全相反。他的观点来自于科学家们对大脑的发现。

马库斯指出，大脑并不是从零开始完全学习的白板。它们与生俱来就具有指导学习的结构和过程。他认为，这就是婴儿能够学习最好的神经网络仍然无法学习的东西的原因。

加里-马库斯

马库斯说："神经网络人员有了这把锤子，现在一切都是钉子。马库斯说："他们想通过学习来完成所有事情，而许多认知科学家会觉得这不现实，也很愚蠢。你不可能从头开始学习一切。

认知科学家马库斯对自己的信心并没有减少。"如果真的要看谁能很好地预测当前的形势，我想我一定会名列前茅。"他在一辆 Uber 的后座上告诉我，他正准备搭乘飞机去欧洲参加一个演讲会。"我知道这听起来不是很谦虚，但如果你想研究的是人工智能，我的这种观点确实非常重要。

鉴于马库斯对人工智能领域的攻击广为人知，你可能会惊讶于他仍然相信人工智能即将到来。只是，他认为今天对神经网络的固执己见是个错误。"他说："我们可能需要一两次或四次突破。"很遗憾，你和我可能活不了那么久。但我认为这将在本世纪发生也许我们还有机会。"

科技梦想的力量

在以色列拉马特甘（Ramat Gan）的家中，多尔-斯库勒（Dor Skuler）通过 Zoom 通话时，在他的肩膀上，一个像灯一样的小机器人正在眨眼睛。"他说："你可以看到我身后的 ElliQ。斯库勒的公司 "直觉机器人公司"（Intuition Robotics）为老年人开发这种设备，其设计既有亚马逊Alexa的影子，又有R2-D2的影子，必须让人明白ElliQ是一台电脑。斯库勒说，如果他的任何客户对此表现出困惑，直觉机器人公司就会收回设备。

ElliQ 没有脸，完全没有人形。如果问它运动方面的问题，它会开玩笑说自己没有手眼协调能力，因为它没有手也没有眼睛。"斯库勒说："就我个人而言，我不明白为什么这个行业要去完成图灵测试。"为什么开发以欺骗我们为目的的技术符合人类的最大利益？

相反，斯库勒的公司打赌，人们可以与以机器形象出现的机器建立关系。"就像我们有能力与狗建立真正的关系一样，"他说。"狗给人们带来了很多快乐。它们提供陪伴。人们爱他们的狗，但绝不会把狗当成人。

ElliQ的用户很多都是80后和90后，他们将机器人称为一个实体或一个存在，有时甚至是室友。斯库勒说："他们能够为这种介于设备或计算机和有生命的东西之间的关系创造一个空间。"

但是，无论 ElliQ 的设计师如何努力控制人们看待设备的方式，他们都在与数十年来塑造了我们期望的流行文化竞争。为什么我们如此执着于像人类一样的人工智能？ 斯库勒说："因为我们很难想象其他的东西，"（在我们的谈话中，斯库勒一直称 ElliQ 为 "她"）。"因为科技行业的很多人都是科幻小说迷。他们试图让自己的梦想成真。"

今天有多少开发人员在成长过程中认为，制造智能机器即使不是他们能做的最重要的事情，也是最酷的事情。

不久前，OpenAI 推出了新的语音控制版 ChatGPT，声音听起来像斯嘉丽-约翰逊（Scarlett Johansson），之后很多人--包括奥特曼--都将其与斯派克-琼斯（Spike Jonze）2013 年的电影《她》（Her）联系起来。

科幻小说共同创造了人们对人工智能的理解。正如 Cave 和 Dihal 在《想象人工智能》一书中所写的那样："早在人工智能成为技术之前，它就是一种文化现象"。

将人类改造成机器的故事和神话已经存在了几个世纪。迪哈尔说，人们对人造人的梦想可能和对飞行的梦想一样久远。她指出，希腊神话中以为自己和儿子伊卡洛斯建造一对翅膀而闻名的代达罗斯，也建造了一个名为 "塔洛斯"（Talos）的巨型青铜机器人，向路过的海盗投掷石块。

robot这个词来自robota，是捷克剧作家卡雷尔 Čapek在1920年的戏剧《Rossum’s Universal Robots》中创造的“强迫劳动”一词。艾萨克·阿西莫夫(Isaac Asimov)的科幻小说中概述的“机器人法则”禁止机器伤害人类，而《终结者》(The Terminator)等电影颠覆了这一法则。《终结者》是人们对现实世界科技普遍恐惧的标志性参考。2014年的电影《机械姬》（Ex Machina）是对图灵测试的戏剧性反转。去年的大片《造物主》想象了一个未来世界，人工智能因引爆核弹而被取缔，一些末日论者认为这至少是一种外部可能性。

卡夫和迪哈尔讲述了另一部电影--2014年的《超验囚徒》（Transcendence）--中约翰尼-德普（Johnny Depp）饰演的人工智能专家如何将自己的思想上传到电脑中，该片为 "乌托邦 "研究者斯蒂芬-霍金（Stephen Hawking）、物理学家马克斯-泰格马克（Max Tegmark）和人工智能研究者斯图尔特-拉塞尔（Stuart Russell）推动的叙事提供了服务。三人在电影首映周末发表在《休斯顿邮报》上的一篇文章中写道："好莱坞大片《超验骇客》（Transcendence）将于本周末上映，影片中......人类未来的愿景相互冲突，人们很容易将高智能机器的概念视为科幻小说。但这将是一个错误，而且可能是我们有史以来最严重的错误。

Alcon Entertainment via Alamy

就在同一时间，泰格马克成立了 "未来生命研究所"（Future of Life Institute），致力于研究和促进人工智能安全。德普在电影中的搭档摩根-弗里曼（Morgan Freeman）是该研究所的董事会成员，而在电影中客串演出的埃隆-马斯克（Elon Musk）在研究所成立的第一年就捐赠了1000万美元。在卡夫和迪哈尔看来，《超验骇客》是流行文化、学术研究、工业生产以及 "亿万富翁出资塑造未来的斗争 "之间多重纠葛的完美例证。

在去年他的世界巡演伦敦站上，奥特曼被问到他在推特上说 "人工智能是未来的科技。"那天，我站在数百名观众的后面，听他讲述自己的起源故事："我是一个非常紧张的孩子。我读了很多科幻小说。我经常周五晚上在家玩电脑。但我一直对人工智能很感兴趣，我觉得这很酷。"他上了大学，发了财，看着神经网络变得越来越好。"这可能非常好，但也可能非常糟糕。我们该怎么办呢？"他回忆起2015年的想法。"我最终创办了OpenAI。

内容来源：MIT Technology Review（机翻）

未完待续.......

来源：黎曼的猜想