摘要：牛津大学教授新研究，未来AI的增长率足以在不到10年的时间里，推动相当于100年的技术进步。AI变革或将完全颠覆人类社会！
【新智元导读】 牛津大学教授新研究，未来AI的增长率足以在不到10年的时间里，推动相当于100年的技术进步。AI变革或将完全颠覆人类社会！
未来，AI研究的发展速度将比人类快500倍，10年内就能推动100年的技术进步！牛津教授Will MacAskill等人最近的这篇博文，对未来提出了许多惊人的预测。
在他们看来，即便AI没能实现「递归自我改进」，即便算力的扩展陷入停滞，即便算法效率提升的速度放缓，AI的发展增速仍足以在不到10年的时间内，推动相当于100年的技术进步。
而且根据他的预测，未来AI还将高速发展——
训练算力还有约1万倍的增长空间；推理算力能保持1000倍增长；未来10年AI训练算力×算法效率×推理算力的乘积，将增长1000亿倍(10¹¹ 倍 ) ！
而到了20年后，AI的技术研发实力总体上将和人类相当。
之后，AI还会继续发展，全面超越人类智能总和，而人类将面临前所未有的难题！
比如，新型的大规模杀伤性武器、AI赋能的专制政权等等，所以，现在我们就得为AGI做好准备，应对智能爆炸可能带来的各种令人迷失的方向。
十年内，比人类聪明得多的AI就将出现
在接下来的十年内，我们很有可能会看到比人类聪明得多的AI。如今的推理模型，已经让我们窥见了这一雏形。
那么，结果是非黑即白的吗？要么我们未能对齐 AI，导致人类永久失去权力；要么我们成功对齐AI，然后利用它解决所有其他问题。
并非如此。
能有意义地替代人类研究劳动力的AI的发展，可能会推动非常迅速的技术进步，将数十年的科学、技术和智力发展压缩到几年甚至几个月。
医学的进步，会大幅延长我们的寿命，丰富的物质，会让每个人都活得如同今天的亿万富翁。
但一系列危险，也如影随形：谁将控制超级智能，谁就会将人类接管。
还有一个新问题会出现：AI能力已经与人类相当后，人类还需要花多少精力，去研究AI？
假设AI能力已经与人类相当，由于电力限制，进一步扩大训练规模已不再可能，并且不存在软件反馈循环。
此外，可以假设计算推理的增长和效率提升比当前速度减缓约30%。
在此情景下，AI研究的工作量在达到人类水平后的十年内，仍将平均每年以5倍的速度扩展。
十年内，AI帮人类实现一个世纪的进步！
在最激进的设想，可以假设集体AI能力很快就能达到与人类相当，同时在扩大训练规模和推理计算方面仍有很大的提升空间，并且AI自动化进行AI研发确实会形成一个软件反馈循环。牛津教授的简单模型表明，AI研究大约1000倍的增长，将导致在十年内产生超过一个世纪的技术进步！
保守起见，可以假设围绕物理实验和资本的复杂性，意味着我们实际上需要在 10年内进一步增加10倍的认知研究努力 —— 即10000倍的增长。
但当前的趋势表明，在十年内，一旦AI达到人类水平，我们将获得AI研究能力的数千亿倍增长（如果计算规模停止扩展，甚至算法效率改进有所放缓）到百万兆倍增长（如果我们得到一个积极的软件反馈循环）。
因此，如果我们继续扩大AI规模，而没有集体同意减缓速度，那么十年内实现一个世纪的技术进步似乎是可能的！
甚至，更加惊人的加速也极有可能实现。
AI让科技提速10倍
想想过去100年的技术进步，试想如果这些进展发生在十年里会怎样：从第一次跨太平洋飞行到登月，仅仅四个月；
从曼哈顿计划到广岛长崎爆炸原子弹，仅仅三个月。
现在，设想一下在没有AI的情况下，100年后也就是2125年，你希望能看到的科学、知识和技术方面的所有进步。然后想象一下，只要10年，有生之年这些都实现了！
牛津大学的哲学家和作家William MacAskill认为，AI能极大推进技术的进步：
即使没有软件反馈循环（即「递归式自我改进」），即使算力的扩展陷入停滞，算法效率提升的速度放缓，AI的发展增速仍然足够快，能够在不到10年的时间内推动相当于100年的技术进步。
趋势看起来很明显。
2019年的时候，当时最厉害的语言模型连话都说不利索。可到2023年初，语言模型不仅能流利地回答各种问题，而且掌握的常识比地球上任何人都要多得多。
在2023年初，在解答科学问题时，顶尖模型表现甚至还不如瞎猜。可如今不一样了，它们的表现已经比博士级别的专家还要出色。
上千人集体预测：AGI将在2030年来临。
训练算力 ：自2010年以来，训练运行所使用的 最大算力每年增加约4.5倍 。
训练算法效率： 根据当前趋势，训练模型所需的物理算力每年减少大约3倍。
把两个因素结合起来了，是衡量「有效训练算力」的标准—— 即在没有任何算法创新的情况下，为了达到相同的模型性能，所需增加的原始算力。 预训练的有效训练算力每年增加超过10倍 。 此外，在工具使用、提示方法、合成数据、创造性的生成和选择答案的方式以及各种其他方面，研究人员引入了「训练后增强」。 Anthropic非正式估计，训练后增强目前每年提供3倍的效率提升 。推理效率 ：有效训练算力大约翻倍时，相应的推理成本大致减半，目前有效训练算力 每年增加约10倍 。
推理算力 ：用于推理的算力增长速度 大约2.5倍/年 。
这些变化意味着，不仅是最先进的AI，而是所有的AI，性能会得到明显提升。
假设当前趋势继续发展，直到AI与人类科研投入大致持平。 假如AI研究员的有效数量与人类研究员数量相当，技术研发效能的增长速度会受到什么影响？ 不妨假设训练进步完全等于推理效率提升，而更多的推理计算完全用于运行更多的AI。 现在已经看到，推理效率大致与有效训练算力同步提升，每年约增长10倍，推理算力每年至少增加2.5倍。 因此，如果继续维持当前趋势，直到AI研发效能与人类科研投入相当，AI研发效能估计将继续以每年至少25倍的速度增长。规模化和效率提升的趋势，还能持续多久？
训练算力方面 ：规模最大的训练任务 还有约1万倍的增长空间 （很可能在未来十年内实现）。 之后由于电力等因素，很难再增长。即便突破电力限制，芯片产能、数据稀缺性和硬件延迟也将成为新的天花板。 训练算法效率 ：如果保持算力扩张与效率提升的现有比例， 训练算法效率还能提升1000倍 。 这意味着有效训练算力在未来十年将比现在增长1000万倍——相当于每年约5倍的有效算力提升，低于目前每年≥10倍的增长速度。 推理算力方面 ：合理推测同期推理算力也将 实现1万倍增长，保持每年2.5倍的增速 。 保守估计，若AI进步仅依赖规模扩张而不突破其他维度，测算规模上限可推知AI研发效能：未来十年AI总体研发效能（训练算力×算法效率×推理算力的乘积）将增长1000亿倍(10¹¹)，年均增速略超10倍。
20年后，AI与人类平起平坐
在未来二十年内，AI研发投入量将等于人力研发投入。
这意味着AI系统可以共同执行几乎所有与研究相关的认知工作。 而这些工作，以前只有人类能完成。 由于规模化驱动了如此大的进步，甚至可能在未来十年，AI就接近人类认知，在规模扩展遇电力和其他实际限制之前。 而即使在规模化显著放缓之后，算法进展仍然可能推动AI继续前进。 无论如何，AI与人类在认知上平等，可能只是几年之遥。 为了验证这一点，可以直接看看AI能力的提升情况。 在博士级科学问题的基准测试GPQA上，GPT-4的表现仅略优于随机猜测。18个月后，最好的推理模型已经超越了博士级专家。正反馈循环形成：AI自动化研发切实产生软件自我迭代效应
人类岔路口
一般来说，技术进步使生活变得更好、更轻松。 但它也常常带来重大挑战，比如：核武器、监控技术、气候变化、工厂化养殖的恐怖。 而且错失了很多弥补的机会，就像当初对待核能那样。 也就是说，技术带来了许多「重大挑战」：人类进步道路上的岔路口。 由AI驱动的技术变革将带来许多新的重大挑战。 首先，部分人可能会指挥AI帮助他们获取并巩固特权。 AI还可能赋能或扭曲集体推理。 AI说服力超群，可能找到并传播病毒式的观念，或对提问者提供「为达目的，不择手段」的马基雅维利式建议。 更有可能的是，AI将增强人类的推理能力： 超级智能ASI，可以指导人做出最重要的决策；
AI超级预言家，则能让人对未来有更清晰的预见。
确保真正利用AI帮助人类做出更好的决策，将是在加速技术变革时期做出正确决策的关键。
还将面临如何与AI系统共存的问题，而且AI系统很快会超过全球总人口 。 同时，也会有关于如何治理外太空的问题——如何管理在太阳系内争夺资源的竞争，甚至如何去开拓新的恒星？ 在AGI出现后，这一切变得更加容易。 AI进步可能带来的收益是惊人的：物质上的丰盈，今天的亿万富翁都会嫉妒。 这提供了目前就可以达成的协议，使每个人的生活都比现在更好—— 这样每个人都能分得这块巨大的未来蛋糕。 如果抓住这个机会，AI可以在协调、保护和民主方面为人类提供有意义的帮助。 AI甚至可以自动化政策分析和良好判断，帮助我们更好地思考其他挑战。 但是，如果能够让超级智能与人类对齐，难道不能利用它解决其他问题吗？难道我们可以推迟准备吗？ 在许多情况下，这是正确的。 但并不总是如此，原因有三：来源：东窗史谈
