今天，一个国产大模型火遍了世界。打开 X，满眼都是讨论 DeepSeek-V3 的推文，而其中最热门的之一是这个参数量高达 671B 的大型语言模型的预训练过程竟然只用了 266.4 万 H800 GPU Hours，再加上上下文扩展与后训练的训练，总共也只有

模型 moe mtp 2024-12-28 09:46  1

打开 X，满眼都是讨论 DeepSeek-V3 的推文，而其中最热门的话题之一是这个参数量高达 671B 的大型语言模型的预训练过程竟然只用了 266.4 万 H800 GPU Hours，再加上上下文扩展与后训练的训练，总共也只有 278.8 H800 GP

训练 模型 moe 2024-12-27 11:40  1

600万美金训出击败GPT-4o大模型，竟被中国团队实现了！今天，DeepSeek-V3在全网掀起巨大风暴，仅凭671B参数在数学代码性能上，堪比国外大模型Claude 3.5 Sonnet。

训练 模型 moe 2024-12-27 10:22  2

消失一天后的Aurora，正式上线了。一大早，马斯克官宣了Grok集成了自研图像新模型Aurora，MoE架构自回归模型，直接将生成编辑能力一统。在人物肖像生成上，已经逼真到肉眼无法辨别。

moe aurora grok 2024-12-10 11:34  1

MERLOT是对用于加密流量分类优化的蒸馏大型语言模型基于可扩展专家混合（MoE）的改进。借助师生范式中的模型蒸馏技术，源自 GPT-2-base 的紧凑模型既能保持高分类准确率，又能最大程度降低计算成本。这些模型在 MoE 架构中充当专门专家，通过门控网络动

模型 语言 moe 2024-12-05 06:44  2

这篇论文介绍了一种名为“MoE Jetpack”的方法，可以将密集模型（dense）转化为稀疏激活的混合专家模型（Mixture of Experts，简称MoE）。传统的MoE模型需要大量的数据和计算资源进行训练，而该方法可以从预训练的密集模型中快速地迁移学

检查点 moe moejetpack 2024-11-22 06:00  1

业绩会上，首席执行官程一笑表示，对于AI大模型的进展方面，公司正在研发Moe模型，在模型预训练阶段，多个指标超过11750E模型，大幅降低模型训练的退役成本，通过在可控生成方面升级了镜头控制首尾针控制运动笔刷对口型能力，持续的保持行业领先地位。

商业化 moe 对口型 2024-11-21 10:43  2