摘要:在AI与人类大脑的对比方面,当前最大的AI模型约有1万亿个连接,然而人类大脑却拥有100万亿个连接。不过,AI具有快速复制和共享经验的巨大优势。若要实现人类大脑间的知识传递,只能依靠语言这一低效率方式,每句话可能仅能传递100比特信息,而AI系统却可同时分享数
杰弗里・辛顿作为人工智能领域的重要人物,提出了许多极具影响力的观点。
杰弗里・辛顿
在AI与人类大脑的对比方面,当前最大的AI模型约有1万亿个连接,然而人类大脑却拥有100万亿个连接。不过,AI具有快速复制和共享经验的巨大优势。若要实现人类大脑间的知识传递,只能依靠语言这一低效率方式,每句话可能仅能传递100比特信息,而AI系统却可同时分享数万亿比特的信息。
在意识和主观体验领域,辛顿认为人们对主观体验的理解或许完全错误。
许多哲学家将主观体验视为由许多如粉红色的感质、大象的感质、漂浮的感质等各种感质拼凑而成,辛顿觉得这种理解源于语言学错误。人们习惯像理解照片那样理解“体验到”一词。
例如,说有一张小粉象的照片时,能合理询问照片的位置和材质,但说体验到小粉象时,这种逻辑便不适用了。体验的真正含义是通过描述假设的世界状态来反映感知系统的情况,并非指向某个内在的东西,就像人们对水平和垂直概念的理解也可能存在深层次误解。
辛顿还强调了AI具身化的重要性。他预测当AI系统具备物理形态,如战斗机器人,人们会自然地用“相信”“意图”等词描述其行为。实际上,与ChatGPT对话时人们已在这么做,说ChatGPT认为某人为青少年时,不会觉得它是在假装或只是软件在模仿,而是自然地将心智状态赋予这些系统,但人们对心智状态本身的理解可能有误。
而且很多人因认为人类拥有AI无法拥有的主观体验而对AI感到安全,辛顿指出这种安全感是虚假的,人类并非因有主观体验就特别或安全。
对于政府管控AI发展,辛顿持怀疑态度,他认为AI领域新想法多源于时代精神,不像冷战时期管控物理学那样,能轻易管控AI,除非消除整个时代精神,否则难以阻止相似想法产生。
他尤其担忧AI模型去中心化,将大型基础模型比作裂变材料,认为随意发布模型权重极为危险,如同让任何人都能获取核武器,而随着Meta等公司已开始发布模型权重,风险已开始显现。
在理解的本质上,辛顿把词语比作高维空间中具有特定形状和灵活性的弹性乐高积木,以此说明语言理解的本质并非神秘的内在过程,而是将符号转化为特征向量,并在上下文中了解这些特征如何互动。
在理解和学习方面,辛顿认为语言和理解如同在三维空间中操作的系统,每个词语在高维空间中是可变形状。
如听到“scrum”一词,即便无定义,从“她用平底锅scrummed了他”,这样的语境中,也能直觉其可能是暴力动作,这种直觉源于其他词语在高维空间形成的形状和空隙。
关于学习效率,针对乔姆斯基的批评,辛顿指出AI虽需更多训练数据,但人类学习语言也非仅依靠语言输入,而是通过与真实世界互动,若给AI配备机械臂和摄像头使其能与真实世界互动,所需语言训练数据会大幅减少。
乔姆斯基
在研究方法论上,与其他研究者偏好数学方程不同,辛顿更倾向于通过图画和手势思考问题,先有直觉再进行数学推导。
辛顿教授还特别强调了快速权重(fastweights)在AI发展中的重要性。
他指出,大脑中的突触能够在不同的时间尺度上进行适应,而当前的AI模型却未能充分发挥这一特性。他坚信,快速适应的权重系统将成为未来AI发展的关键方向,尽管在现有的计算机架构下,实现这一目标可能面临着诸多挑战。
回顾自己获得诺贝尔物理学奖的经历,辛顿教授坦言,心中仍存有一丝困惑。他和特伦斯・谢诺夫斯基开发的玻尔兹曼机,虽然巧妙地运用了统计物理学的原理,但实际上,它并非是推动当前AI取得巨大成功的关键算法。真正引领AI产业蓬勃发展的,是反向传播算法。
特伦斯・谢诺夫斯基
最后,辛顿教授对年轻的研究者们寄予了殷切的期望。他语重心长地指出,尽管神经网络和AI如今在科学界备受瞩目,成为了最令人激动的研究领域,但其他领域同样充满了无限的机遇。
例如,室温超导体的研究一旦取得突破,将彻底改变太阳能的利用方式;纳米材料的发展,也蕴含着巨大的潜力。
更为重要的是,几乎所有令人激动的新科学领域,都将离不开AI工具的助力。这不仅为年轻的研究者们指明了广阔的研究方向,也让我们看到了AI在未来科学发展中的重要地位和无限可能。
文本内容源自@基地的视频内容
来源:波波百谈