摘要：当我们想要测试一个新的AI模型有多聪明时，就像给学生出考试题一样，需要让它回答成千上万个问题。但这个过程变得越来越昂贵和耗时。就好比原本只需要几张试卷的考试，现在变成了需要几万张试卷的马拉松式测验，不仅消耗大量电力和计算资源，还可能需要几天甚至几周才能完成。

当我们想要测试一个新的AI模型有多聪明时，就像给学生出考试题一样，需要让它回答成千上万个问题。但这个过程变得越来越昂贵和耗时。就好比原本只需要几张试卷的考试，现在变成了需要几万张试卷的马拉松式测验，不仅消耗大量电力和计算资源，还可能需要几天甚至几周才能完成。

这项由德国图宾根大学AI中心的Alexander Rubinstein、Benjamin Raible、Martin Gubri和Seong Joon Oh共同完成的突破性研究，于2025年10月发表，论文编号为arXiv:2510.07959v1。研究团队提出了一种名为DISCO（多样化样本压缩）的创新方法，能够将AI模型评估的成本降低99%以上，将原本需要13小时的评估工作压缩到仅需6分钟。

传统的AI模型评估就像让学生做完所有教科书上的题目才能判断他的水平。现在的大型语言模型评估需要在MMLU、HellaSwag等知名测试集上回答数万个问题，这些测试包含了从世界知识到常识推理的各个方面。每次评估一个模型，研究人员需要支付巨额的GPU计算费用。比如著名的LMMs-Eval测试需要30到1400小时的8块A100 GPU运算，而HELM测试更是需要超过4000个GPU小时。

这种高昂的评估成本带来了三个严重问题。首先是经济门槛过高，只有资金雄厚的大公司和顶尖研究机构才能负担得起频繁的模型评估，这限制了更多研究者参与AI发展的机会。其次是创新周期被拖慢，研究人员无法快速迭代和改进模型，因为每次测试都需要等待很长时间。最后是环境影响加重，大量的计算消耗产生了可观的碳排放。

研究团队发现了一个关键洞察：并非所有测试题目都同样重要。就像考试中有些题目能更好地区分优等生和普通学生一样，在AI评估中，有些问题能够更有效地揭示不同模型之间的能力差异。传统方法就像盲目地从题库中随机抽取题目，而DISCO方法则像经验丰富的老师，能够精准挑选出最能考察学生真实水平的关键题目。

DISCO的核心创新在于两个方面。第一是样本选择策略的革新。以往的方法依赖复杂的聚类算法，试图找到"代表性"的题目组合，这个过程就像试图用统计学方法从海量题目中找出最具代表性的子集。但DISCO采用了一种更直接的策略：专门寻找那些能让不同AI模型产生分歧的题目。

为了理解这种方法的巧妙之处，可以用一个类比来说明。假设你要通过几道题快速判断几个学生的数学水平。传统方法会试图选择涵盖各个知识点的题目，确保内容的全面性。而DISCO的方法则更像一个经验丰富的老师，专门挑选那些优秀学生能做对、普通学生容易做错的区分度高的题目。这样的题目虽然数量少，但能够更准确地反映学生之间的真实水平差距。

研究团队通过信息理论证明了这种方法的有效性。他们发现，当多个AI模型对同一个问题给出不同答案时，这个问题蕴含的信息量最大。这就像在辨别真假钞票时，那些让专家们意见分歧的细节往往是最关键的鉴别特征。基于这个原理，DISCO使用了一种叫做"预测多样性评分"（PDS）的指标来衡量每个测试样本的信息价值。

第二个创新是性能预测方法的简化。传统方法在选定测试样本后，需要通过复杂的统计模型来推断模型的整体性能，这个过程就像通过复杂的数学公式从局部观察推导全局结论。DISCO则采用了一种更直接的方法：将模型在选定样本上的所有输出拼接成一个"模型签名"，然后直接学习这个签名与最终性能之间的映射关系。

这种方法的优势在于简单高效。就像医生通过观察病人的几个关键症状就能快速诊断病情，而不需要做全套复杂检查一样，DISCO通过观察模型在关键问题上的表现模式，就能准确预测其整体能力水平。这个"模型签名"包含了足够的信息来区分不同模型的性能特征。

研究团队在多个主流测试集上验证了DISCO的效果。在MMLU测试中，DISCO只需要100个精心选择的样本就能将评估成本降低99.3%，同时预测误差仅为1.07个百分点。这意味着原本需要评估14000个样本的工作量，现在只需要评估100个样本就能达到相似的准确度。在HellaSwag测试中，成本降低了99.0%，误差控制在1.01个百分点以内。

更重要的是，DISCO在模型排序方面表现优异。在AI研究中，我们往往更关心哪个模型更好，而不是精确的分数。DISCO在模型排序的准确性上达到了0.987的斯皮尔曼相关系数，这意味着它能够非常准确地保持不同模型之间的相对排名关系。

为了验证方法的通用性，研究团队不仅在语言模型上进行了测试，还将DISCO应用到了计算机视觉领域。在ImageNet数据集上，DISCO同样表现出色，将5万个样本的评估任务压缩到100个样本，成本降低99.8%，同时保持了0.969的排序相关性。这证明了DISCO不仅适用于语言任务，在图像识别等其他AI领域同样有效。

研究团队还进行了详细的因素分析，探讨了影响DISCO性能的各种因素。他们发现，即使只使用100个源模型进行训练，DISCO的性能就已经超过了使用全部382个模型的传统方法。这说明DISCO的高效性不仅体现在测试阶段，在训练阶段同样具有优势。

在维度降低方面，研究发现主成分分析（PCA）是处理高维模型签名的最佳选择。当模型签名维度过高时，直接使用可能导致过拟合，而PCA能够有效提取关键信息，将性能从0.918提升到0.987。这就像从复杂的症状组合中提取出最关键的诊断指标，既保留了重要信息，又避免了噪音干扰。

研究还验证了DISCO对不同数据分割策略的鲁棒性。他们采用了时间序列分割的方法，用较早发布的模型作为训练集，用较新的模型作为测试集。这种分割方式更符合实际应用场景，因为我们总是用已知模型的特征来预测未知模型的性能。结果显示，DISCO在这种更严格的测试条件下依然保持了0.987的高相关性，证明了方法的实用价值。

在预测模型的选择上，研究团队比较了多种机器学习方法，包括k近邻、随机森林、线性回归等。结果发现随机森林表现最佳，这可能是因为随机森林能够很好地处理模型签名中的复杂非线性关系，同时具有良好的泛化能力。

DISCO方法的理论基础建立在信息论的坚实基础之上。研究团队证明了当目标是区分和排序不同模型时，模型间的分歧提供了信息论意义上的最优选择规则。这个理论结果为DISCO的有效性提供了数学保证，也解释了为什么专注于模型分歧比传统的代表性采样更加有效。

具体而言，研究团队引入了广义詹森-香农散度（JSD）作为衡量模型分歧的理论工具。他们证明了JSD与预测多样性评分（PDS）之间存在紧密的数学关系，为实际算法设计提供了理论指导。这种理论与实践的结合确保了DISCO不仅在经验上有效，在理论上也是最优的。

从实际应用角度来看，DISCO为AI研究和产业应用带来了革命性的改变。对于研究机构而言，DISCO使得频繁的模型评估成为可能，研究人员可以更快地迭代和优化模型设计。对于AI公司而言，DISCO能够显著降低产品开发和质量控制的成本。对于整个AI生态系统而言，DISCO的普及将大大降低参与门槛，促进更多创新的涌现。

研究团队也诚实地指出了DISCO的局限性。主要限制在于方法对模型群体分布变化的鲁棒性。当新的模型架构、训练方法或目标函数出现时，可能会引入训练时未见过的模式，从而降低预测准确性。但研究团队建议可以通过自适应样本选择或定期使用新模型重新训练来解决这个问题。

展望未来，DISCO为高效AI评估开辟了新的研究方向。这种基于模型分歧的采样策略可能启发更多相关技术的发展，比如动态采样、多轮采样等。同时，模型签名的概念也为AI模型的特征化和比较提供了新的思路。

说到底，DISCO解决了AI领域一个非常实际的痛点。随着AI模型变得越来越大、越来越复杂，传统的评估方法已经变得不可持续。DISCO就像给这个问题提供了一把精准的手术刀，能够在保持准确性的同时大幅减少资源消耗。这不仅仅是一个技术优化，更是一个让AI研究变得更加民主化和可持续的重要进步。

当AI评估变得如此高效时，我们可以期待看到更多创新的涌现。小型研究团队和初创公司将能够更频繁地测试和改进他们的模型，而不必担心巨额的计算费用。这种技术的普及最终将推动整个AI领域更快速、更健康的发展。

Q&A

Q1：DISCO方法是什么？

A：DISCO是图宾根大学开发的AI模型评估方法，全称"多样化样本压缩"。它能将AI模型评估成本降低99%以上，将原本需要13小时的评估工作压缩到6分钟，同时保持高准确性。

Q2：DISCO为什么能大幅降低评估成本？

A：DISCO不再随机选择测试样本，而是专门挑选那些能让不同AI模型产生分歧的关键问题。这些问题虽然数量少，但信息含量高，就像经验丰富的老师挑选区分度高的考试题目一样。

Q3：DISCO适用于哪些AI领域？

A：DISCO不仅适用于语言模型评估，还能应用于计算机视觉等其他AI领域。研究显示它在ImageNet图像识别测试中也能将成本降低99.8%，证明了方法的通用性。

来源：码客人生一点号