蚂蚁集团联合中国人民大学发布首个原生MoE扩散语言模型

B站影视 港台电影 2025-09-12 10:52 1

摘要:9月11日,在2025外滩大会上,蚂蚁集团与中国人民大学联合发布业界首个原生MoE架构的扩散语言模型(dLLM)“LLaDA-MoE”。实验数据显示,LLaDA-MoE模型性能效果在代码、数学、Agent等任务上领先于LLaDA1.0/1.5和Dream-7B

9月11日,在2025外滩大会上,蚂蚁集团与中国人民大学联合发布业界首个原生MoE架构的扩散语言模型(dLLM)“LLaDA-MoE”。实验数据显示,LLaDA-MoE模型性能效果在代码、数学、Agent等任务上领先于LLaDA1.0/1.5和Dream-7B等扩散语言模型,接近或超越了自回归模型Qwen2.5-3B-Instruct,仅激活1.4B参数即可实现等效3B稠密模型的性能。(大象新闻)

来源:同花顺财经

相关推荐