deepseekmoe

DeepSeek技术基石：DeepSeekMoE专家混合系统的大规模语言模型

DeepSeekMoE是一种创新的大规模语言模型架构，通过整合专家混合系统(Mixture of Experts, MoE)、改进的注意力机制和优化的归一化策略，在模型效率与计算能力之间实现了新的平衡。