Token化一切!北大、谷歌等提出TokenFormer,Transformer从未这么灵活过
TokenFormer 不仅像原始 Transformer 一样 Token 化了 input data,并且 Token 化了网络参数,将 attention 机制拓展到 Token 和 parameters 的交互中,最大化了 Transformer 的灵
transformer token tokenformer 2024-12-03 17:42 2
TokenFormer 不仅像原始 Transformer 一样 Token 化了 input data,并且 Token 化了网络参数,将 attention 机制拓展到 Token 和 parameters 的交互中,最大化了 Transformer 的灵
transformer token tokenformer 2024-12-03 17:42 2