摘要：大模型的性能一直受限于其训练数据的质量和覆盖范围，尽管使用现有强大模型生成合成数据能够一定程度上缓解这一问题，但其效果和成本却存在局限性。随着模型不断被重复训练，性能提升逐渐趋于平缓，甚至出现瓶颈现象。这种现象限制了LLMs在更广泛领域内的自主改进能力。

FlerkenS 大噬元兽

2025年01月15日 08:00美国

大模型的性能一直受限于其训练数据的质量和覆盖范围，尽管使用现有强大模型生成合成数据能够一定程度上缓解这一问题，但其效果和成本却存在局限性。随着模型不断被重复训练，性能提升逐渐趋于平缓，甚至出现瓶颈现象。这种现象限制了LLMs在更广泛领域内的自主改进能力。

自我改进研究的发展方向之一是让LLMs生成额外的合成数据并通过这些数据进行训练。这一方法虽然能够增加训练数据的多样性和数量，但其提升幅度往往受到生成模型本身质量的限制，且高质量模型生成数据的过程通常成本高昂。另外，这种方法在法律上也面临一些限制，商业级模型的使用通常受限于其许可协议。

为了突破单模型自我改进的瓶颈，麻省理工学院、哈佛大学、斯坦福大学和谷歌Deepmind的联合研究团队提出了一种新的多智能体微调方法，通过在多代理语言模型社会中进行微调，利用不同模型间的互动生成数据，从而在更多轮次的微调中实现自主改进。

研究的核心在于多智能体微调的概念及其在提升LLMs性能和多样性方面的应用。多智能体微调方法的关键思想是，通过对同一基础模型的多代理语言模型独立进行数据生成和微调，促进模型间的专业化和多样化，避免传统单模型微调中容易出现的性能瓶颈问题。

研究目标主要包括：一是提出一种新的自我改进方法，即多智能体微调；二是展示该方法在各种推理任务上的有效性，并与传统方法进行对比；三是探讨该方法在开源和专有语言模型上的适用性，验证其广泛的应用潜力。

这项研究的团队成员来自多所知名学术机构和顶尖科技公司。Vighnesh Subramaniam和Antonio Torralba分别来自麻省理工学院计算机科学与人工智能实验室（MIT CSAIL），Yilun Du来自哈佛大学，Joshua B. Tenenbaum不仅隶属于麻省理工学院计算机科学与人工智能实验室，还关联脑与认知科学系及计算与脑研究中心。Shuang Li来自斯坦福大学，而Igor Mordatch则是谷歌深度思维（Google Deepmind）的研究人员。

这些研究人员在各自的领域中都有丰富的研究经验和学术背景，结合他们在人工智能、认知科学和计算机科学等领域的专业知识，为本研究提供了坚实的理论基础和技术支持。这种跨机构、跨学科的合作，不仅增强了研究的深度和广度，也为实现研究目标提供了强有力的保障。在这样一个高水平的研究团队支持下，研究团队提出的多智能体微调方法，无疑为未来的语言模型增强研究开辟了新的方向，并为进一步的发展奠定了坚实的基础。

多智能体微调方法概述

多智能体微调方法通过多智能体辩论和微调过程，提升语言模型的性能和多样性，克服了单模型微调的局限性，我们下面详细介绍了这一创新方法。

多智能体辩论方法

多智能体辩论的基本原理在于通过多个语言模型代理进行互动，生成并优化响应。每个代理基于给定的问题生成初始响应，然后通过辩论环节进一步优化这些响应。多个模型代理生成初始响应后，这些响应会被汇总并简要总结，接着代理们基于自己的初始响应和其他代理的总结响应生成新的回答，最终结果通过多数投票确定。这样的互动过程不仅增强了模型响应的多样性，还提高了最终结果的准确性。

图1：多代理微调在多轮微调中提高了推理性能。我们的多智能体微调过程使模型能够在多次微调迭代中得到改进。结果报告在MATH数据集上。

在数据集生成过程中，辩论环节的输出结果被用于构建微调数据集。具体步骤包括，首先由多个代理生成对输入问题的初始响应，然后在辩论环节中对这些响应进行优化，最终通过多数投票生成“真实”数据对。这些数据对被用于后续的微调训练，从而进一步提升模型性能。

单模型微调

单模型微调是通过使用生成的数据对单个语言模型进行微调。该方法首先通过多智能体辩论生成数据集，然后基于这些数据对单个模型进行训练。虽然这种方法能够提升模型性能，但其提升幅度往往有限。在微调过程中，单个模型容易过度拟合生成的数据，导致性能提升趋于平缓，难以在多轮微调中持续改进。

因此，单模型微调存在显著的局限性，即模型在多轮微调中难以保持高水平的性能提升，且容易在生成响应的多样性方面出现瓶颈。这限制了模型在广泛任务中的适应能力和泛化能力。

多智能体微调

图2：多代理微调概述。我们首先使用多代理辩论和多数投票来创建微调数据集（左）。然后，这些数据集用于微调生成和评论代理（右）。在微调生成模型时，我们使用多数投票结果（“正确”输出）从每个代理中选择第一轮响应。然后，我们根据响应是否与多数投票结果匹配（“正确和不正确”输出的混合），使用最后一轮的响应来微调批评者模型。通过多智能体辩论将微调后的模型组合在一起，以生成更准确的答案。在这个图中，我们说明了单个微调迭代。应用多轮微调迭代可以显著提高性能。

多智能体微调的核心思想在于，通过对多个模型代理进行独立的微调，促进它们在数据生成和响应方面的专业化和多样化。相比单模型微调，多智能体微调通过引入生成模型和评估模型，建立了一个更为复杂和高效的反馈机制。

生成模型负责对输入问题生成初始响应，通过促进推理链的多样化来提升响应的多样性。而评估模型则负责评估生成模型的输出，选择或合成最优的响应，确保系统的持续改进和适应。这种生成和评估的分工合作，使得各模型能够在各自的领域内深度挖掘潜力，从而实现更为显著的性能提升。

在微调过程中，通过对不同模型独立生成的数据进行反复微调，实现了模型间的专业化和多样化策略。具体而言，每个生成模型基于自己的生成数据进行训练，评估模型则基于对生成响应的评价进行训练。这种独立而协作的微调方式，不仅提高了响应的准确性和多样性，还增强了系统在不同任务中的泛化能力。

实验与结果

实验设置

为了评估多智能体微调方法的有效性，研究团队设计了一系列语言推理任务。这些任务包括：

算术任务：生成1000个算术问题，形式为 a + b · c + d − e · f。每个变量的值在最大30以内随机选取。

基础数学（GSM）任务：包含需要多步数学推理的数学文字题。这些问题包括问题陈述、数值答案和答案解释。

竞赛级数学（MATH）任务：包含五个难度等级的竞赛级数学问题，本实验选取了前三级别的问题。

为了进行公平比较，实验在各任务中随机选取了500个示例用于微调语言模型，并另选取500个示例用于评估。

在基准方法的选择上，研究团队采用了以下几种方法：

通过这些基准方法的对比，研究团队能够全面评估多智能体微调方法的性能。

定量结果

实验结果表明，多智能体微调方法在所有数据集上的表现均优于基准方法。以下是几种模型和基准方法的性能对比：

GPT-3.5模型：在算术、GSM和MATH任务上的准确率分别为99.62%、85.60%和60.60%。

Phi-3模型：在算术、GSM和MATH任务上的准确率分别为99.40%、88.60%和58.80%。

Mistral模型：在算术、GSM和MATH任务上的准确率分别为22.60%、58.40%和22.50%。

LLaMA-3模型：在算术、GSM和MATH任务上的准确率分别为52.00%、88.60%和57.40%。

从上述结果可以看出，多智能体微调方法在多个任务上表现出显著的性能提升，尤其是在更具挑战性的GSM和MATH任务上。

此外，多轮微调实验也展示了显著的性能提升效果。通过多轮迭代微调，模型性能不断提高。例如，Phi-3模型的准确率从58.8%提升至66.0%，Mistral模型的准确率从22.5%提升至28.2%。相比之下，单代理微调方法在多轮微调中性能提升较为有限，甚至可能因过度拟合生成数据而导致性能下降。

多样性分析

为了进一步验证多智能体微调方法的有效性，研究团队对响应多样性进行了分析。采用的多样性指标包括负对数似然（NLL）和嵌入不相似性。具体而言，负对数似然用于衡量代理之间响应的差异性，而嵌入不相似性则用于评估响应嵌入的多样性。

图3：多样性得以保留，并且可以在微调的迭代中得到改善。我们使用两种多样性度量在MATH数据集上测量我们的方法和单代理微调方法的响应多样性。我们的方法的多样性在一个度量的微调迭代中保持一致，并在另一个度量中得到改善，而单代理方法的多样性感到显著下降。

实验结果显示，多智能体微调方法在多轮微调中能够保持较高的响应多样性，而单代理方法的多样性显著下降。研究发现，响应多样性与模型性能之间存在正相关关系。增加响应多样性能够有效提升多轮微调中的性能。

图4：准确性和多样性之间的关系。我们可视化了在多轮微调中嵌入相异性和MATH精度之间的关系。我们的多智能体微调在提高准确性的同时，保留了多轮微调的多样性。

此外，研究团队还验证了多智能体微调方法的零样本泛化能力。实验表明，即使在没有见过新数据集的情况下，多智能体微调方法仍能够在新数据集上表现出色。例如，使用在MATH数据集上微调的生成和评估代理，在GSM数据集上进行评估，结果显示其性能优于所有在GSM数据集上训练的基准方法。这进一步证明了多智能体微调方法的广泛适用性和强大的泛化能力。

图5：所提出方法的零样本推广。我们的方法展示了零样本的泛化能力。当在MATH数据集上训练时，它可以有效地推广到GSM数据集。它优于在GSM数据集上训练的所有基线。

方法分析与讨论

消融实验

在研究过程中，团队进行了详细的消融实验，以评估多智能体微调方法的各组件的重要性及其对整体性能的影响。研究团队移除了多智能体辩论中的摘要步骤，直接将其他代理的响应拼接并展示给每个代理。实验结果显示，省略摘要步骤会降低模型的性能，因为摘要步骤有助于消除冗余信息，并保留最关键信息，从而优化响应质量。

研究团队分析了没有评估代理的情况，即仅对生成代理进行微调。结果表明，评估代理在优化最终输出方面起到了关键作用，其移除会导致性能下降，尤其是在应对更具挑战性的任务时，缺乏评估机制会影响整体效果。

此外，还对单代理微调方法进行了对比分析。单代理微调容易导致模型崩溃，即经过多轮微调后，模型生成的响应趋于同质化，缺乏多样性，从而影响性能。多代理微调则能通过不同代理之间的协作和竞争，保持响应多样性，有效提升性能。

研究还探讨了在没有辩论过程的情况下进行单代理微调的效果。结果显示，没有辩论步骤会显著降低模型的表现。多代理辩论能够显著提升推理任务的性能，其移除将导致性能大幅下降。

优势与局限

多智能体微调方法在多个方面展现了显著的优势。首先，通过引入多个具有不同角色的代理，方法有效地改进了反馈机制和整体输出质量。生成代理和评估代理之间的分工合作，使得模型能够在更多轮次的微调中实现持续的性能提升。此外，多智能体微调方法能够在多种任务中保持响应的多样性，避免了单代理方法中常见的性能瓶颈问题。

尽管多智能体微调方法具有显著优势，但其局限性也不可忽视。与单模型微调相比，多智能体微调在训练和推理时成本更高。训练过程中，需要多个模型副本同时进行，增加了计算资源的需求。在推理时，也需要同时运行多个代理，导致推理时间和计算成本显著增加。为了解决这些问题，未来的研究可以考虑在模型的不同实例之间共享权重，从而减少训练时间。此外，可以尝试将辩论过程直接蒸馏到一个模型中，或在微调过程中使用量化技术，以改进推理时间。

多智能体微调方法通过多样化推理链实现自我完善，显著提升了语言模型的性能和多样性，展现了广泛的应用潜力和研究前景。尽管在成本和资源需求上存在一定的局限性，但其独特的优势使其在未来语言模型研究中具有重要地位。

结论与未来工作

本研究提出的多智能体微调方法，通过引入多个具有不同角色的代理，实现了显著的性能提升和响应多样性。在多轮微调过程中，生成模型和评估模型相互协作，通过专业化和多样化策略，逐步提升整体系统的输出质量。研究结果表明，多智能体微调方法在算术、基础数学和竞赛级数学问题等多种语言推理任务中，均表现出优越的性能，显著超越了传统的单模型微调方法。这一方法不仅能够保持高水平的模型性能，还能够在推理任务中保持响应的多样性，避免了单一模型在多轮微调中出现的性能瓶颈问题。

多智能体微调方法展示了其广泛的适用性。实验结果表明，该方法不仅适用于开源语言模型，如Phi-3、Mistral和LLaMA-3，也同样适用于专有语言模型如GPT-3.5。这种方法在多种模型上的成功应用，证明了其在不同任务和数据集上的有效性和通用性。同时，多智能体微调方法的零样本泛化能力也得到了验证，即使在未见过的新数据集上，该方法仍能够保持优越的性能，进一步展示了其广泛的应用潜力。

未来的研究方向主要集中在以下几个方面：

与人类反馈结合的微调方法（如RLHF或DPO）的潜力尚待挖掘，通过引入人类反馈，可以进一步提升多智能体微调的效果，使其在生成响应的准确性和多样性方面达到新的高度。这种结合有望在实际应用中发挥更大的作用，为语言模型的自我改进提供更强有力的支持。

探索其他多智能体互动系统的可能性也非常重要，除了多智能体辩论方法外，还可以尝试其他形式的多智能体互动，例如树形思维（Tree-of-Thought）和图形思维（Graph-of-Thought）等。这些新兴的互动系统可以进一步丰富多智能体微调的方法论，为提升语言模型性能提供更多的创新路径。

多智能体微调方法通过多样化推理链实现了语言模型的自我完善，显著提升了模型的性能和多样性。尽管在训练和推理成本方面存在一定的局限性，但其独特的优势和广泛的应用前景使其在未来的语言模型研究中具有重要地位。随着更多研究的深入开展，多智能体微调方法有望在提升人工智能系统智能性和多样性方面取得更大的突破。（END）

参考资料：
1.https://arxiv.org/abs/2501.05707

来源：人工智能学家