摘要:F或 Michael Frank,效率一直是一个主要关注点。作为 1990 年代的学生,他最初对人工智能感兴趣。但是,当他意识到这项技术会消耗多少能源时,他就把研究转向了另一个方向。“我开始对计算的物理极限感兴趣,”他说。“你能制造的最高效的计算机是什么?”
Nash Weerasekera 为 Quanta 杂志拍摄
由马特·冯·希佩尔特约撰稿人
F或 Michael Frank,效率一直是一个主要关注点。作为 1990 年代的学生,他最初对人工智能感兴趣。但是,当他意识到这项技术会消耗多少能源时,他就把研究转向了另一个方向。“我开始对计算的物理极限感兴趣,”他说。“你能制造的最高效的计算机是什么?”
他很快找到了一个利用热力学怪癖的候选者:一种计算可以向后和向前运行的设备。通过从不删除数据,这种“可逆”计算机将避免能源浪费。
现在,随着传统计算的进步放缓,新芯片正在涌现基本物理限制(打开新标签页)防止它们变得更小 — 可逆计算可以保持计算进度。
“没有太多其他方法可以提高功率,”他说克里斯托夫·托舍尔(打开新标签页),他在波特兰州立大学研究非常规的计算方法。“可逆计算是一种非常有益、非常令人兴奋的方式,可以节省几个数量级的成本。”
第一个研究可逆计算的人是 Rolf Landauer,他是 IBM 的一位著名物理学家,他在 1960 年代帮助建立了信息处理领域。他工作中的一个主要主题涉及熵(无序的量度)与信息之间的关系。
粗略地说,我们对一个系统了解得越多,它的排列就越有序,而我们知道的越少,就越没有序。原子从可预测的行为到不可预测的运动,是使某些物理过程不可逆的原因。例如,当你把牛奶搅拌到咖啡里时,无序性会增加。从理论上讲,你可以再次将它们分开,使牛奶分子和咖啡分子的排列更加有序。但要做到这一点,你需要了解每一滴牛奶的路径,这是难以置信的大量信息。
1961 年,Landauer表明(打开新标签页)这些原则也支配着计算机。当计算机系统删除信息时,计算机芯片中的电子会从已知路径进入未知路径。那些被丢弃的电子实际上已经丢失,它们的能量以热量的形式流失。兰道尔证明了这是一个不可回避的事实:无论计算机是如何构建的,它必须为它删除的每一比特信息释放出一定的最低热量。
迈克尔·弗兰克 (Michael Frank) 长期以来一直致力于制造实用的可逆计算机,通过不删除数据,可以节省大量能源。
约翰尼·卡罗尔/阿尔伯克基头像和肖像
这种损失是计算机运行方式的一个基本方面。例如,当计算机将两个数字相加时,它会返回一个数字的总和:2 + 2 = 4。当你从两个数字变成一个数字时,信息会丢失。你可以把 2 和 2 相加,也可以把 1 和 3 相加。缺少信息使计算不可逆。以这种方式处理信息的计算机——几乎所有计算机都这样做——无论如何,总是会以热量的形式丢失一些信息。
Landauer 想知道机器是否可以通过简单地从不删除数据来绕过这个限制。这样的设备需要记录每一次作,每一步添加的每一对数字。这些记录会迅速填满它的内存,尽管可以节省能源,但实际上却无法使用这样的计算机。Landauer 很快就离开了,他确信可逆计算是一条死胡同。
十年后,他发现自己弄错了。
Charles Bennett 是 Landauer 在 IBM 的年轻同事,认为(打开新标签页)在 1973 年,还有另一种选择。您可以向前运行每个计算,存储您关心的结果,然后向后运行计算,而不是保存每一条信息。Bennett 的想法(他称之为非计算)有点像 Hansel 和 Gretel 在回家的路上捡到他们的面包屑:保证这对夫妇不会迷路,也不会浪费任何面包屑。取消计算意味着您只剩下所需的数据,并且您永远不会忘记它。因为没有删除任何初始信息,所以您永远不会因热量而损失能量。
不幸的是,取消计算所需的时间也是普通计算的两倍,这使得它不切实际。
AI 需要强大的计算能力。光基芯片能提供帮助吗?
神经网络AI 需要巨大的计算能力。基于光的芯片能提供帮助吗?
5月 20, 2024
尽管如此,Bennett 还是继续改进他的想法。1989 年,他表明(打开新标签页)通过使用稍多的内存,您可以在更短的时间内取消计算。研究人员开始修补细节,寻找进一步减少内存和时间的方法。
但计算机不会仅仅因为删除数据而损失能量。它们的晶体管连接方式本质上是低效的,因此,要使计算机从可逆计算中节省大量能源,必须从一开始就考虑到低热损失。
在 1990 年代,麻省理工学院 (Massachusetts Institute of Technology) 的一组工程师正是着手实现这一目标的。该团队构建了原型芯片(打开新标签页)这改善了低效的电路。Frank 于 1995 年以博士生的身份加入该小组,并很快成为可逆计算的主要支持者之一。
然后,在新千年伊始,人们的兴趣放缓了。芯片在现实世界中还不具备节省能源的能力。支持很少。
“项目审查员会说,'这东西听起来真的很有用,行业应该资助它',但你去找行业,他们不知道你在说什么,”弗兰克说。“对他们来说,这听起来很疯狂”,因为它处理了一个看起来如此遥远的问题。常规计算机芯片呈指数级改进。为什么要担心理论替代方案呢?
弗兰克放弃了这份工作,有一段时间他甚至离开了这个领域,开了一家网吧。但不久之后,业界认为遥不可及的担忧越来越近。计算机电路变得越来越小,以至于它们达到了基本的物理极限,这将阻止它们进一步缩小。
“你将无法进一步扩展传统技术,”他说。
Frank 在桑迪亚国家实验室建立了一个研究小组,并开始试图引起人们对能源效率的关注。
然后,在 2022 年,时任剑桥大学研究员的汉娜·厄利 (Hannah Earley) 发表了一篇严谨的账户(打开新标签页)这些计算机的效率有多高。可逆计算机发出的热量比传统计算机少得多,但她发现它仍然必须散发一些热量。例如,当电线中的电压打开时,金属会发热,热量越多,电压变化就越快。可逆计算机运行得越慢,它发出的热量就越少,Earley 精确计算了这一关系。
热量和速度之间的关系对于可逆计算最有前途的应用 AI 至关重要。AI 中的计算通常并行运行,这意味着不同的处理器各自运行计算的一部分。这为可逆计算创造了大放异彩的机会。如果运行可逆芯片的速度较慢,但使用更多的芯片进行补偿,则最终会节省能源:运行每个芯片的速度较慢的优势与运行更多芯片的缺点相差。如果运行得足够慢,则可能不需要太多冷却,这将使芯片堆得更紧密,从而节省空间、材料和在芯片之间传输数据所花费的时间。
投资者已经注意到了这一点。Earley 是Vaire Computing(打开新标签页),她和 Frank 正在努力创建可逆芯片的商业版本。
经过几十年的理论研究,SaidTorben Ægidius Mogensen(打开新标签页)在哥本哈根大学从事可逆计算工作的 S 先生表示,我们可能最终会看到这种方法付诸实践。“最令人兴奋的是看到可逆处理器在实践中制造出来,这样我们就可以使用它们了。”
来源:人工智能学家