DeepSeek-V3再发论文，梁文锋署名，低成本训练大模型的秘密揭开了
这篇 14 页的论文瞄向了「Scaling 挑战以及对 AI 架构所用硬件的思考」。从中你不仅能读到 DeepSeek 在开发和训练 V3 过程中发现的问题和积累的心得，还能收获他们为未来的硬件设计给出的思考和建议。这一次，DeepSeek CEO 梁文锋同样
moe
DeepSeek-V3再发论文，梁文锋署名，低成本训练大模型的秘密揭开
这篇 14 页的论文瞄向了「Scaling 挑战以及对 AI 架构所用硬件的思考」。从中你不仅能读到 DeepSeek 在开发和训练 V3 过程中发现的问题和积累的心得，还能收获他们为未来的硬件设计给出的思考和建议。这一次，DeepSeek CEO 梁文锋同样
Qwen3模型：思考模式与非思考模式的完美融合
2025年4月29日，Qwen3系列模型开源，Qwen3-235B-A22B模型得分超过DeepSeek R1 671B 模型。但当时模型具体技术细节尚未透露，秘诀不得而知。
算力的竞争：从暴力计算到效率觉醒
当ChatGPT掀起全球AI竞赛时，硅谷巨头们曾断言“算力即权力”，认为千亿参数模型必须依赖海量GPU的堆砌，大模型的训练动辄就万卡集群，英伟达的H100芯片被炒至4.5万美元的天价。然而，DeepSeek以行业十分之一的训练成本打造的MoE模型，却在多个基准
一文讲清怎么利用Python实现一个类似DeepSeek的专家混合模型MoE
前段时间大热的DeepSeek-R1大模型，以其卓越的推理能力、采用强化学习训练、低成本高效能以及开源共享的特点，为用户提供了一个智能且经济高效的AI解决方案。其核心技术就是使用了混合专家模型MoE，专家混合模型MoE是一种通过多个子模型（专家）协作完成任务的
十年前的手机都能跑，阿里掏出了最适合落地的小模型？
值得注意的是，Qwen3系列模型共包含8款不同尺寸，除了两个参数为30B和235B的MoE（混合专家系统）大模型外，阿里本次推出了6款Dense（稠密）模型，6个是稠密模型，参数从0.6B到32B不等。
天数智芯完成 Qwen3 适配，现已上线模力方舟
4 月 29 日，阿里巴巴发布并开源了最新一代大语言模型Qwen3系列。本次开源了Qwen3-235B-A22B和Qwen3-30B-A3B两款 MoE 模型以及Qwen3-32B、14B、8B、4B、1.7B、0.6B多款密集模型。
MoE Jetpack：从密集检查点到适应性混合专家的视觉任务转换
这篇论文介绍了一种名为“MoE Jetpack”的方法，可以将密集模型（dense）转化为稀疏激活的混合专家模型（Mixture of Experts，简称MoE）。传统的MoE模型需要大量的数据和计算资源进行训练，而该方法可以从预训练的密集模型中快速地迁移学
检查点 moe moejetpack 2024-11-22 06:00 2
：将会持续推进AI技术商业化落地
业绩会上，首席执行官程一笑表示，对于AI大模型的进展方面，公司正在研发Moe模型，在模型预训练阶段，多个指标超过11750E模型，大幅降低模型训练的退役成本，通过在可控生成方面升级了镜头控制首尾针控制运动笔刷对口型能力，持续的保持行业领先地位。