摘要：TokenFormer 不仅像原始 Transformer 一样 Token 化了 input data，并且 Token 化了网络参数，将 attention 机制拓展到 Token 和 parameters 的交互中，最大化了 Transformer 的灵
©作者：汪海洋
单位：北京大学博士生
研究方向：通用模型的架构设计
新一代通用灵活的网络结构 TokenFormer: Rethinking Transformer Scaling with Tokenized Model Parameters 来啦！
TokenFormer 不仅像原始 Transformer 一样 Token 化了 input data，并且 Token 化了网络参数，将 attention 机制拓展到 Token 和 parameters 的交互中，最大化了 Transformer 的灵活性，真正得到了一个 Fully attention-based 的网络结构。
这种方式打破了原有人们区别看待 data 和 model 的观念，即所有的计算都归纳为不同类型的 Token（e.g., data, param token）通过灵活的 attention 来交互。得益于这一灵活的性质，TokenFormer 允许 incremental scaling model size，基于训好的模型上增量的拓展新的更大的模型，大大节省了计算的开销：
这项名为 TokenFormer 的新工作，由谷歌，马普计算所和北大的研究者提出，在 Twitter，HackerNews, Reddit 上得到广泛的讨论和关注 (Twitter 上有 150K + 的浏览量)。
目前代码、模型和项目主页均已放出：
论文标题：
TokenFormer: Rethinking Transformer Scaling with Tokenized Model Parameters
论文链接：
代码链接：
Backward Lens: Projecting Language Model Gradients into the Vocabulary Space
开源模型：
背景介绍
得益于其处理各种数据的灵活性，Transformer 网络结构在各个 AI 领域都取得了巨大的成功。
Transformer 模型通常将处理单个 Token 所需的计算分为两个部分：与其他 Token 的交互（Token-Token Interaction）和涉及模型参数的计算（Token-Parameter Interaction）。
Attention 促进了 Token-Token 之间的交互，使现代通用基础模型能够将多模态数据编码成统一的 Token 序列，并有效捕捉它们之间的复杂依赖关系。
相反，Token-Parameter 计算主要依赖于固定的 linear projection，大大限制 model size 的 scaling。Scaling model 是通常改变模型结构，往往需要从头训练整个模型，带来了过多的资源消耗，使其越来越不切实际。
在本文中，研究团队使用 token 这一概念建模所有的计算，即将 model parameters 也视为一种 token，网络的计算统一为各种不同的 token ( e.g., data tokens and parameter tokens) 之间通过 attention 来进行交互，大大增强了 Token-Parameter 交互的灵活性，从而能够增量式的扩展模型参数，有效地重用先前训练的模型，从而显著降低了训练负担。
为实现这一目标，研究团队引入了 TokenFormer。统一 Token-Token 和 Token-Parameters Interaction 的计算。其 Token-Parameter attention 具有灵活性，并能够处理可变数量的参数，从而本质上最大化了 Transformer 的灵活性，增强了模型的可扩展性。
TokenFormer 提供一种新的看待模型的视角，即网络的计算就是一些 Tokens 相互任意交互。基于这些 Tokens （e.g., data token, parameter token, memory token）和 attention 机制可以灵活地构造任意的网络结构。
该团队希望 TokenFormer 作为一种通用的网络结构，不仅在 incremental model scaling 上有贡献，还在 Sparse Inference, Parameter-Efficient Tuning, Vision and Language Models, Device-Cloud Collaboration 和 Model Interpretability 等领域有更多的贡献。
方法
Tokenformer 的核心创新是 Token-Parameter Attention（Pattention） Layer，它结合了一组 Trainable Tokens 作为 model parameters，并通过 cross-attention 来管理 Input Token 与这些 Parameter Tokens 之间的交互。
通过这种方式，Pattention 层引入了一个额外的维度 —Parameter Token 的数量，这一维度独立于输入和输出维度。此解耦方式使得输入数据可以与 variable number of parameters 进行交互，提供了增量模型扩展所需的灵活性。
Pattention Layer：具体来说，就是让 input data 作为 query, 研究团队引入了两组具有 n 个可学习的 Tokens： 代表 key， 表示 value。输出如下：
其中 是改进的 softmax，为了防止梯度 exponential 带来的梯度问题：
这里 f 是任意非线性函数，默认使用 gelu。。
研究团队使用 Pattention Layer 替换掉标准 Transformer 中的所有的 linear projection，最大化 Transformer 的灵活性。
应用：天生的增量式 Model Scaling
有了 TokenFormer 这一灵活的性质，可以延伸出很多应用。这里以增量式 model scaling 为例。
假设已经训练好了一个 TokenFormer，其 key parameters 和 value parameters 计为 和 。
如上图所示，加入新的重新初始化的 key-value parameter pairs，计为 和 ，进而组合成新的 key-value set：
然后使用 pattention layer，让 input data 与 Parameter tokens 进行交互。
这里直观的理解就是每个 Key-Value 代表一种学好的 pattern，其组成一个巨大的知识库。文中的 incremental scaling 就是在原有的知识库上进一步拓展训练。
增量式 model scaling：如下右图所示，模型在已经训好的 124M 的模型的基础上，采用增量式训练，只用十分之一的数据就可以达到从头训练策略相近的性能，让模型可以不断迭代，真正地活起来了。
Language Modeling：如下表所示，研究团队比较了 Transformer-based 的模型和 TokenFormer 在语言建模上的能力。
在相同规模、相同模型尺寸下， TokenFormer 在大大增加灵活性的前提下达到了比 Transformer 更好的 zero-shot 性能。这里研究团队 follow 了 pythia 标准的训练代码以及数据集：Pile (300B)。上述结果展现了 TokenFormer 在语言模型建模上的能力。
Visual Modeling: 为了进一步验证 TokenFormer 的表达能力，研究团队还和标准的 vision transformer 进行了对比。
在 ImageNet-1K 的监督训练的 setting 上，使用相同的训练策略， TokenFormer 的性能超过了 vision-transformer，验证了其在 visual modeling 上的能力。
极致的专家混合（Mixture-of-Experts）范式
研究团队认为 Tokenformer 是专家混合（MoE）框架的极致实例化，其中每一组键 - 值参数对都充当一个独立的专家。这种创新的类 MoE 架构有可能显著减少与 Token-Parameter 交互相关的计算成本。
新的参数高效微调范式
Tokenformer 的扩展方法通过集成额外的 key-value parameter pairs，展现了一种参数高效的微调策略。当面对新任务或数据集时，该模型可以通过加入新的 Token Parameters 来扩展其预训练参数，从而快速适应特定任务需求。
整合视觉和语言模型
利用 Tokenformer 的参数高效微调能力，可以实现视觉和语言模态的无缝集成。具体方法是将预训练的 Visual Tokenformer 和 Language Tokenformer 的 key-value parameter Tokens 统一为一个参数集，然后引入新的 Trainable Tokens 来执行视觉 - 语言对齐和指令微调。
端云协同
Tokenformer 可以在设备 - 云协作中充当云端知识库，为设备端的大语言模型（LLM）提供支持，其中每组 key-value parameter tokens 代表一个可学习模式，通过设备进行实时处理，并利用云端执行密集任务。
增强模型的可解释性
由于 Tokenformer 完全基于注意力机制，它自然受益于在 Token-Parameter 交互中与注意力相关的可解释性特性。这一特点增强了模型的可解释性，为 AI 社区开发更透明、易理解的模型贡献力量。
阅读最新前沿科技研究报告，欢迎访问欧米伽研究所的“未来知识库”
未来知识库是“欧米伽未来研究所”建立的在线知识库平台，收藏的资料范围包括人工智能、脑科学、互联网、超级智能，数智大脑、能源、军事、经济、人类风险等等领域的前沿进展与未来趋势。目前拥有超过8000篇重要资料。每周更新不少于100篇世界范围最新研究资料。欢迎扫描二维码或点击本文左下角“阅读原文”进入。
截止到11月25日 ”未来知识库”精选的100部前沿科技趋势报告
Air Street Capital《2024 年人工智能现状报告》
未来今日研究所：2024 技术趋势报告 - 广义计算篇
科睿唯安中国科学院 2024 研究前沿热度指数报告
文本到图像合成：十年回顾
《以人为中心的大型语言模型（LLM）研究综述》
经合组织 2024 年数字经济展望报告加强连通性创新与信任第二版
波士顿咨询 2024 全球经济体 AI 成熟度矩阵报告
理解世界还是预测未来？世界模型的综合综述
Google Cloud CSA2024 AI 与安全状况调研报告
英国制造商组织 MakeUK2024 英国工业战略愿景报告从概念到实施
花旗银行 CitiGPS2024 自然环境可持续发展新前沿研究报告
国际原子能机构 2024 聚变关键要素报告 - 聚变能发展的共同愿景
国际可再生能源署 IRENA2024 年全球气候行动报告
Cell: 物理学和化学 、人工智能知识领域的融合
智次方 2025 中国 5G 产业全景图谱报告
未来今日研究所：2024 技术趋势报告 - 移动性，机器人与无人机篇
Deepmind：AI 加速科学创新发现的黄金时代报告
PitchBookNVCA2024 年第三季度全球风险投资监测报告
德科 2024 年未来全球劳动力报告
高工咨询 2024 年协作机器人产业发展蓝皮书
国际能源署 IEA2024 年全球能源效率报告
基因慧基因行业蓝皮书 2024 - 2025
普华永道 PwC2024 全球经济犯罪调查英国报告 - 智对风险直面挑战
中国互联网协会 2024 面向未来网络的数字孪生城市场景应用白皮书
中移智库 2024 先进感知新技术及新应用白皮书
智次方研究院 2025 中国 AIoT 产业全景图谱报告
未来今日研究所：2024 技术趋势报告 - 人工智能篇
国际电联：迈向衡量数字经济的通用框架的路线图
联合国粮食与农业组织：2024 年世界粮食安全和营养状况
大语言模型综述
李飞飞等，AI 智能体：探索多模式交互的前景综述
哈尔滨工业大学 - ChatGPT 调研报告
2024《美国核部署战略报告》最新文件
清华大学：AIGC 发展研究 3.0 发布版 b 版
OpenAI：2024 年 OpenAI o1 大模型技术报告
Verizon2024 年世界支付安全报告
皇家学会哲学学报 从复杂系统角度评估人工智能风险
复旦大学 大模型 AI 代理的兴起和潜力：综述
经合组织 OECD2024 年气候行动监测报告
Wevolver2024 年边缘人工智能现状报告 - 探索各行业边缘 AI 应用动态
2024 全球人形机器人产品数据库报告 - 人形机器人洞察研究 BTIResearch
《全球金融稳定报告》 把舵定航 不确定性、人工智能与金融稳定
瑞士洛桑联邦理工学院 《人工智能中的 - 创造力：进展与挑战》
《你所需要知道的理 - 论：人工智能、人类认知与决策》牛津大学最新 53 页报告
世界经济论坛 新兴技术时代的网络弹性导航：应对复杂挑战的协作解决方案 2024
ADL 理特咨询 2024 汽车出行未来展望报告
2024 中国硬科技创新发展白皮书 - 开辟未来产业新赛道
科学时代的大语言模型中的人工智能
Gartner2025 年重要战略技术趋势报告
CBInsights2024 年第三季度全球人工智能投融资状况报告
TrendHunter2025 年全球趋势报告 - 全行业顶级创新和变革趋势前瞻
天津大学 2024 大模型轻量化技术研究报告
欧洲海洋局 2024 导航未来报告将海洋置于更广泛的地球系统中第六版
美国安全与新兴技术中心 2024 AI 生成代码的网络安全风险研究报告
国际原子能机构 2024 年世界聚变展望报告
复旦大学 2024 大语言模型的能力边界与发展思考报告
安盛 AXA2024 年气候与生物多样性报告气候过渡计划路线图
YouGov2024 美国公众对人工智能 AI 的态度调研报告
麦肯锡中国报告：《中国与世界》完整版
麦肯锡全球研究所 2024 下一代竞技场报告 - 重塑全球经济的 18 个新兴行业领域
Project Sid，一个旨在模拟多智能体交互以研究 AI 文明的项目
德国研究与创新专家委员会 德国研究创新与科技成果报告
2024 年欧洲关键产业的科技重塑研究报告
智能体专题报告之二 - 智能体时代来临具身智能有望成为最佳载体
ActivateConsulting 2025 年顶级技术和媒体发展趋势报告
兰德 全球灾难风险评估
斯坦福李飞飞 《AI agent 综述》Agent AI 开启多模态交互新纪元
中国联通研究院 2024 中国生成式人工智能应用与实践展望白皮书中文版
普华永道 2024 第五次工业革命研究报告迈向弹性可持续和以人为本的未来
大成 Dentsons2024 年全球智慧城市与互联社区智库年度报告
TechUK2024 量子技术挑战与机遇并存构筑量子韧性的策略与实践研究报告
Emakina 将塑造 2024 年的技术趋势报告
图灵奖得主 Yann LeCun《机器如何才能达到人类智能水平？》——Yann LeCun, 附 Slides 及视频
华为：2024 鸿蒙生态应用开发白皮书 V3.0（最新版）
CASA：2023 第三代半导体产业发展报告
大型视觉语言模型中幻觉现象的综述
IEA PVPS：2024 光伏应用趋势报告（英文版）
ABI Research：82 个将会或不会在 2024 年发生的技术趋势白皮书
《美国反无人机系统未来趋势报告（2024 - 2029 年）》
《军事自主系统：未来之路》美空军
空间智能如何？牛津大学博士论文《深度具身智能体的空间推理与规划》
2024 低空经济场景白皮书 v1.0
战略与国际研究中心（CSIS）人类地月空间探索的总体状况研究报告（2024）
Artificial Intelligence Review：人工智能与物理学相遇的综述
麦肯锡：全球难题，应对能源转型的现实问题
欧米伽理论，智能科学视野下的万物理论新探索（研究论文）
Gartner 2025 年主要战略技术趋势研究报告
2024 人工智能国外大模型使用手册 + 中文大模型使用手册
详解光刻巨人 ASML 成功之奥妙 - 241015
CB Insights：未来变革者：2025 年九大科技趋势研究报告
国际电信联盟 2023 - 2024 年联合国人工智能 AI 活动报告
《人工智能能力的人类系统集成测试和评估》最新 51 页，美国防部首席数字和人工智能办公室（CDAO）
2024 瑞典皇家科学院诺贝尔化学奖官方成果介绍报告
MHP 2024 全球工业 4.0 晴雨表白皮书
世界经济论坛白皮书《AI 价值洞察：引导人工智能实现人类共同目标》
瑞典皇家科学院诺贝尔物理学奖科学背景报告资料
AI 智能体的崛起：整合人工智能、区块链技术与量子计算 (研究报告，书）
OpenAI o1 评估：AGI 的机遇和挑战（280 页）
世界知识产权组织：2024 年全球创新指数
美国白宫：国家近地天体防御策略与行动计划
上下滑动查看更多
来源：人工智能学家
