摘要:官方报告说,在处理一个400万Token的超长文本任务时,瞬悉的生成速度比基于Transformer架构的模型快了将近100倍!这是我们国家在AI模型研究领域首次提出大规模类脑线性基础模型架构。
这是一条我觉得非常重磅的,可能会彻底颠覆我们对现在所有AI大模型的认知的消息。
一条全新的赛道,被咱们中国的科学家硬生生给蹚出来了。
就在最近,中科院自动化所的李国齐和徐波两位老师发布了全球首个类人脑脉冲大模型,“瞬悉1.0”。
它彻底颠覆了目前AI的基础架构Transformer。它模仿的是我们人脑的工作方式。
官方报告说,在处理一个400万Token的超长文本任务时,瞬悉的生成速度比基于Transformer架构的模型快了将近100倍!这是我们国家在AI模型研究领域首次提出大规模类脑线性基础模型架构。
这意味着,未来我们手机上、手表上、甚至一副AR眼镜上,就能跑得动真正强大的AI大模型,而且不发烫、不费电!端侧AI的时代,可能要被它真正带过来了。
更牛的是什么?这套东西从训练到推理,全部在纯国产GPU千卡算力集群上完成,一丁点英伟达的生态都没用。
这项工作代表了在非英伟达平台上首次大规模训练受脑启发的大语言模型,并在760亿个参数下实现了稳定的训练。这不是一个简单的技术突破,这是一次战略路线的验证,一条不依赖英伟达的硬件和软件生态被验证可行。
注:SpikingBrain 类脑大模型架构图
为啥这个模型这么节能呢?原因很简单,我们的大脑并不是24小时火力全开的,只有需要思考、处理信息的时候,相关的神经元才会发出一个脉冲信号,激活一小部分区域来干活,平时大部分时间都是低功耗待机的。
瞬悉这个模型,用的就是SNN,脉冲神经网络。它也是事件驱动,有事干活没事歇着。
注:SNN脉冲神经网络
过去AI强依赖云端,是因为模型太重。现在,轻量化、低功耗的模型来了,真正的智能设备革命才刚刚开始。
更聪明的手机、AR眼镜、人形机器人、自动驾驶汽车,它们的大脑可以直接放就在设备里。目前,研究团队已经开源了7B的小参数模型,开放了大尺寸76B模型的测试地址,还发布了中英文的技术报告,感兴趣的朋友赶紧去看看吧。
在线体验:https://controller-fold-injuries-thick.trycloudflare.com
如果你想成为 AI 时代的超级个体,真正做到 AI 落地,欢迎加入我的 AI 成长圈,已经有 500 位朋友在这边一起成长。知识星球搜索“C 哥的 AI 成长圈”即可加入。
来源:C哥聊科技一点号
