摘要：这篇论文介绍了一种名为“MoE Jetpack”的方法，可以将密集模型（dense）转化为稀疏激活的混合专家模型（Mixture of Experts，简称MoE）。传统的MoE模型需要大量的数据和计算资源进行训练，而该方法可以从预训练的密集模型中快速地迁移学
这篇论文介绍了一种名为“MoE Jetpack”的方法，可以将密集模型（dense）转化为稀疏激活的混合专家模型（Mixture of Experts，简称MoE）。传统的MoE模型需要大量的数据和计算资源进行训练，而该方法可以从预训练的密集模型中快速地迁移学习，提高精度并减少计算负担。该方法采用了两个关键技术：(1) 检查点回收，将密集模型作为初始权重用于MoE模型，加速收敛、提高准确率，并减轻预训练的计算压力；(2) 球形自适应MoE层（SpheroMoE），优化MoE架构以更好地整合密集模型，提高迁移性能。实验结果表明，在视觉任务上使用MoE Jetpack显著提高了收敛速度和精度。
本文提出了一个名为“MoE Jetpack”的框架，用于初始化和微调多头自注意力（MoE）模型。该框架包括两个阶段：初始化MoE模型并利用预训练的密集模型检查点（predecessor）进行重用，以及使用超球面自适应MoE（SpheroMoE）层对这些模型进行微调以提高性能和收敛速度。
在初始化阶段，论文提出了四种策略来选择来自预训练密集模型检查点的权重：
基于重要性的权重采样：根据激活值确定权重的重要性，并通过平均激活值选择最重要的通道。共激活图分区法：将具有高共激活频率的神经元分组到同一专家中。统一权重选择：随机选择来自预训练模型的权重。随机权重采样：从预训练模型中随机选择通道索引。研究者发现基于重要性的权重采样是最有效的策略。
在微调阶段，论文设计了一个名为SpheroMoE的层，以增强性能和稳定性。该层采用了三个关键改进：
SpheroMoE路由：使用跨注意力机制将输入分配给不同的专家。输入令牌经过标准化后，与预训练密集模型保持一致。专家正则化：防止过度专业化和提高泛化能力。通过引入可学习的softmax温度、添加噪声和随机失活等技术实现。自适应双路径MoE：优化计算效率和模型性能。该结构将输入分为核心和通用槽，并将其分配给相应的路径。核心路径处理重要的令牌，而通用路径处理不太重要的令牌。利用预训练的密集模型检查点进行初始化，提高了MoE模型的性能和收敛速度。SpheroMoE路由机制有效地分布了输入到各个专家，确保了与预训练密集模型的一致性。专家正则化策略有助于维持专家的多样性，避免过拟合。自适应双路径MoE结构优化了计算效率和模型性能。本文的主要目标是解决初始化和微调多头自注意力（MoE）模型时遇到的一些挑战，如如何充分利用预训练的密集模型知识，如何保证与预训练模型的一致性，以及如何防止过度专业化和提高泛化能力。通过提出MoE Jetpack框架及其相关技术，研究者成功地解决了这些问题，从而提高了MoE模型的性能和效率。
本文主要介绍了基于SpheroMoE的MoE Jetpack模型在图像分类任务上的表现，并进行了多个对比实验以验证其有效性。
首先，在实验设置方面，本文使用了Vision Transformer和ConvNeXt两种模型架构，并将其初始化为V-JetMoE-T和C-JetMoE-F来比较与密集模型的表现。此外，本文还对MoE Jetpack的不同配置进行了测试，包括SpheroMoE层的位置、专家数量以及转换密集检查点的大小等。
接下来，本文展示了四个主要实验的结果：
MoE Jetpack与密集模型的比较：本文将MoE Jetpack与从头开始训练的密集模型和使用预训练权重的密集模型进行了比较。结果表明，继承了ImageNet-21k预训练知识的MoE Jetpack在各个数据集上都取得了更好的性能，特别是在较小的数据集上表现出色。检查点回收策略的比较：本文比较了四种不同的检查点回收策略以及使用重复MLP构建专家的方法。结果表明，重要性采样策略可以最大化利用关键权重来提高模型性能和收敛速度。核心专家比例的影响：本文研究了Adaptive Dual-path MoE结构中核心专家比例对模型准确性的影响。结果显示，当核心专家比例设置为1/3时可以获得最佳精度。不同MoE Jetpack配置的影响：本文评估了不同MoE Jetpack配置对模型性能的影响。结果表明，增加SpheroMoE层数量、增加专家数量和使用更大基础模型的转换都可以提高模型性能。最后，本文还分析了MoE Jetpack对加速MoE模型收敛速度的作用，并提供了关于专家注意力模式和每个专家对最终结果贡献的直观理解。这些结果进一步证明了MoE Jetpack的有效性和优越性。
论文总结
该论文提出了一种新的框架——MoE Jetpack，用于将预训练的密集检查点转换为混合专家模型（MoE）。该方法利用了开放源代码的密集检查点的知识，并使用了超球面自适应MoE层来增强微调性能。这些创新贡献提高了收敛速度和模型准确性。在各种视觉任务中，MoE Jetpack显著提高了性能并保持计算效率。
该方法采用了两个关键技术：第一是检查点回收，它使用密集检查点初始化MoE模型。与仅复制MLP以构建专家的稀疏升级不同，检查点回收利用多种密集检查点和多个权重选择方法。这种方法提供了更大的灵活性，并产生更好的MoE初始化权重。第二个技术是超球面自适应MoE层，它提出了一个优化的MoE架构，无缝集成密集检查点并提高微调性能。现有的MoE架构，如Switch Transformers和Soft MoE，没有设计用于利用现有密集检查点，这可能导致优化和过度专业化方面的挑战。SpheroMoE层通过归一化令牌混合、专家正则化和自适应双路径来缓解这些挑战。
该方法的主要限制在于其依赖于预训练密集检查点的质量；训练不良或不充分泛化的密集模型可能会限制性能提升。此外，尽管实验专注于视觉任务，但需要进一步研究验证MoE Jetpack在其他领域的通用性，例如自然语言处理和强化学习。我们相信未来的努力将解决这些局限性，增强框架的可扩展性和鲁棒性，并将MoE的应用范围扩大到更广泛的任务领域。
来源：宁教授网络空间元宇宙
