AI基础架构重大突破,计算成本暴降38倍

B站影视 韩国电影 2025-09-03 08:23 2

摘要:自1943年Warren McCulloch和Walter Pitts画出第一个神经元的数学模型以来,整个深度学习的大厦就建立在这个快80岁的老古董上。它确实很牛,可问题是,我们今天对大脑的理解,早就不是80年前的水平了。现在,一家来自匹兹堡的创业公司Perf

人工智能的世界,越来越疯狂。

自1943年Warren McCulloch和Walter Pitts画出第一个神经元的数学模型以来,整个深度学习的大厦就建立在这个快80岁的老古董上。它确实很牛,可问题是,我们今天对大脑的理解,早就不是80年前的水平了。现在,一家来自匹兹堡的创业公司Perforated AI站了出来。Perforated AI团队正在重新思考AI的核心。

Perforated AI的团队成员

“我们从1943年到现在,用的都是同一种人工神经元,” Perforated AI的联合创始人,一位神经科学家兼计算机科学家的Rorry Brenner博士在接受福布斯采访时,听起来既困惑又激动,“当我搞明白生物神经里的树突是怎么工作的之后,我满脑子想的都是,这事儿怎么还没人干?”

这种对行业“祖宗之法”的灵魂拷问,正在催生一场可能让整个AI行业重新洗牌的技术革命。他们搞出的“穿孔反向传播”(Perforated Backpropagation™)技术,听起来玄乎,其实就是给咱们用了几十年的老旧神经元装上了一个源于真实大脑结构的“超级外挂”。效果?训练速度飙升,测试中计算成本最高降低了38倍,而且模型的准确率一点没掉。

让我们把时钟拨回到1943年。那一年,世界上第一台电子计算机还没诞生,但McCulloch和Pitts两位大神就在一篇论文里,用逻辑和数学,勾勒出了大脑功能的样子。他们把神经元简化成一个极其简单的东西:一个带开关的计算器。它接收一堆信号,给每个信号乘个权重,加起来,要是超过某个门槛,就“啪”地一下打开,输出个“1”,不然就关着,输出个“0”。

这个模型,简单粗暴,但出人意料地强大。它成了后来所有神经网络的“祖师爷”,从最初的感知器,到今天的深度神经网络,骨子里都流着它的血。然而,就像Brenner博士说的,“这个模型快80岁了,我们对生物神经元的理解早就发生了翻天覆地的变化。”

最大的变化,就在于我们对“树突”的认识。在老爷车模型里,树突就是个传话的,把外面的信号 passively(被动地)传给神经元的核心。但现代神经科学告诉我们,这完全是小瞧了它。树突根本不是个简单的电线,它本身就是一个超级复杂的信息处理器。

一个真实的生物神经元,靠着它那些复杂的树突,自己就能干一个多层人工神经网络的活儿,比如逻辑运算、信号放大、过滤噪音等等。最近顶级期刊《Nature Communications》上的一篇论文更是直接盖章认证了这一点,论文标题就很有冲击力:《树突赋予人工神经网络准确、鲁棒和参数高效的学习能力》(Dendrites endow artificial neural networks with accurate, robust and parameter-efficient learning)。

论文里说:“生物神经元可以表现得像多层人工神经网络……” 这句话对搞AI的人来说,简直就是一声惊雷。合着我们吭哧吭哧堆了几百上千层网络才实现的功能,人家一个细胞,靠着那些我们一直忽略的“树毛毛”,就轻松搞定了。

Perforated AI的故事,就源于创始人Rorry Brenner博士这种“跨服聊天”的脑回路。他在卡内基梅隆大学学的是计算机,后来又跑到南加州大学拿了个神经科学的博士学位。这种既懂代码又懂大脑的背景,让他能看到别人看不到的东西。

“2009年,我上计算机视觉课的时候,就对AI搞不定那些大脑能轻松完成的任务感到好奇,” Brenner在公司网站上回忆,“这股好奇心驱使我读了神经科学博士。在那里,我发现了一种生物神经元里有,但深度学习里没有的独特机制。”

这个“独特机制”,就是树突的计算能力。Brenner意识到,如果能把这个机制“移植”到人工神经网络里,就能创造出更聪明、更小、更准的AI。于是,Perforated AI诞生了。

他们的核心技术“穿孔反向传播”,名字听起来硬核,但思路其实很巧妙。它不是推倒重来,去发明一个全新的神经元,而是在我们熟悉的旧神经元旁边,给它加了一组辅助的“人工树突”。

这套系统是怎么工作的呢?你可以把它想象成一个升级版的学习小组。以前,一个学生(神经元)做错了题,得等老师(反向传播)从头到尾批改完作业,告诉他错在哪。现在,每个学生旁边都坐了一个学霸小助手(人工树突)。这个小助手不参与老师的批改流程,它的任务只有一个:实时观察这个学生容易犯什么错,然后提前预测并纠正这些错误。

训练完成后,这些学霸小助手就被“固化”下来,成了每个学生自带的永久性纠错外挂。Brenner在arXiv上发表的论文里是这么描述这个过程的:

“在初始网络训练阶段之后,额外的‘树突节点’被添加到网络中,并使用不同的目标进行单独训练:将其输出与原始神经元的剩余误差相关联。然后,训练好的树突节点被冻结,原始神经元被进一步训练……”

翻译成人话就是,先正常训练一遍,然后加“外挂”专门学着纠错,再带着“外挂”一起训练。这个过程可以重复几次,直到效果满意为止。

最骚的操作是,这玩意儿几乎是即插即用的。搞AI的码农们,不需要改动自己现有的神经网络架构,只要花几分钟改改代码,就能把这个技术集成到自己的PyTorch项目里。

效果有多炸裂?福布斯杂志报道,在一次黑客马拉松里,这个技术把计算开销降低了38倍,模型体积也小了10倍。更离谱的是,准确率不仅没降,有时候还提升了。在谷歌云的一次测试里,一个修改过的BERT-tiny模型,只用CPU跑,速度竟然比原来快了158倍。这意味着,很多以前必须上GPU才能跑的AI任务,现在在普通电脑上就能玩了,从工厂车间到偏远诊所,应用场景一下子就被打开了。

跟传统的模型压缩技术(比如剪枝、量化)相比,Perforated AI的路子完全不一样。它在训练的时候就直接赋予每个神经元更强的能力,让网络“天生丽质”,用更少的单元干更多的活。

当然,目前它也有个明显的短板:只支持PyTorch。那些用TensorFlow或者其他框架的公司,暂时还只能眼巴巴地看着。

Perforated AI的技术如果真的能普及,对整个AI行业来说,不亚于一场范式革命。

首先被颠覆的,就是“算力为王”的铁律。现在,小公司融到的钱,高达80%都得乖乖交给云计算厂商,用来支付昂贵的计算成本。麦肯锡预测,到2030年,全球数据中心得砸进去6.7万亿美元才能跟上算力需求。这简直是把AI的创新门槛,直接垒到了天上。

但如果Perforated AI的技术能把这笔账单砍掉一大半呢?Brenner解释说:“节省下来的钱,会转化为对GPU需求的减少。这能让那些原本只能用云服务的人,开始有能力建立自己的基础设施。”

这无疑会大大拉平巨头和小玩家之间的“计算鸿沟”,让AI领域的竞争,从“谁钱多”回归到“谁想法好”。

其次,它可能会改变MLOps(机器学习运维)市场的游戏规则。现在的MLOps工具,更多的是帮你管理工作流程,像个项目管家。而Perforated AI直接从神经网络的底层动刀,解决的是核心效率问题。这可能会催生新一代的MLOps工具,它们不再只是管家,更是性能优化大师。

甚至,AI硬件的格局都可能因此改变。今天,NVIDIA因为GPU一家独大,市值冲上云霄。但如果训练AI不再那么依赖高端GPU,市场对硬件的需求会不会转向那些更接近生物大脑结构、专门为树突计算优化的新芯片呢?

当然,挑战也摆在眼前。这项技术还需要更多第三方的独立验证,毕竟AI圈吹牛不上税的事儿太多了。而且,整个行业已经围绕传统方法建立了庞大的生态,想让大家换条路走,需要克服巨大的惯性。更何况,Perforated AI的技术是申请了专利要收费的,这可能会影响它在开源社区的传播。

在AI这条路上,我们似乎习惯了用更复杂的工程、更大的数据和更强的算力,去暴力破解智能的密码。但Perforated AI的故事提醒我们,有时候,最具变革性的创新,恰恰来自于对最基本假设的重新审视。

无论是Perforated AI从神经科学中汲取灵感,还是最近同样火爆的、基于数学理论的Kolmogorov-Arnold网络(KANs),它们都指向了一个共同的方向:或许,人工智能的未来,不应该是一味地“做大做强”,而是要更聪明、更高效地“回归本源”。

这个本源,就是我们研究了几十年,却始终未能完全模仿的——生物大脑。

Brenner博士那句朴素而深刻的话,或许能为这场讨论画上一个完美的注脚:“如果进化得出的结论是,数量更少但更复杂的单元是前进的方向,那么这对我们的AI模型来说,也是一个值得探索的方向。”

是啊,大自然花了亿万年时间优化出来的解决方案,我们或许才刚刚学会如何去抄写第一行代码。

参考资料:

来源:不秃头程序员

相关推荐