摘要：这项由上海AI实验室张子诚、赵向宇等研究人员领导的研究发表于2025年1月的arXiv预印本平台，论文编号为arXiv:2501.13953v2。有兴趣深入了解的读者可以通过https://arxiv.org/abs/2501.13953访问完整论文。

这项由上海AI实验室张子诚、赵向宇等研究人员领导的研究发表于2025年1月的arXiv预印本平台，论文编号为arXiv:2501.13953v2。有兴趣深入了解的读者可以通过https://arxiv.org/abs/2501.13953访问完整论文。

当我们想要评价一个学生的学习能力时，通常会设计各种考试来测试他们在数学、语文、英语等不同科目上的表现。类似地，在人工智能领域，研究人员为了评估多模态大语言模型的能力，也设计了数百种不同的测试基准。然而，正如给同一个学生反复考相同题目没有太大意义一样，当前AI模型评测领域也面临着一个严重问题：太多的测试基准在重复评估相同的能力，造成了大量的资源浪费和评估冗余。

上海AI实验室的这项研究就像是给AI评测领域做了一次全面的"体检"，发现了一个令人担忧的现象：在每年产生的数百个评测基准中，存在着大量的重复和冗余。研究团队通过分析超过100个多模态大语言模型在20多个不同基准上的表现，系统性地揭示了当前评测体系中的三大冗余问题。

这项研究的意义就像是为混乱的考试制度提供了一套科学的管理方案。在AI技术快速发展的今天，各种评测基准如雨后春笋般涌现，但缺乏统一的标准和规划，导致研究资源的大量浪费。通过这项研究，我们可以更好地理解哪些测试是真正必要的，哪些可能是多余的，从而为未来更高效的AI评测体系建设提供科学指导。

一、多维度冗余问题的系统性分析

研究团队发现，当前AI评测中的冗余问题就像是一座冰山，表面看起来只是个别测试的重复，实际上是一个涉及多个层面的系统性问题。他们将这个复杂问题分解为三个主要维度来分析，这种分解方式就像医生诊断疾病时要从症状、病因、传播途径等多个角度来全面分析一样。

第一个维度是基准内部维度的冗余问题。这就好比一份综合性考试卷子里，数学部分的几道题目实际上都在考查同样的知识点，比如都在测试学生的乘法运算能力，只是换了不同的数字和情境。在AI评测中，这种现象表现为同一个测试基准内部的不同任务实际上在评估模型的相同能力。

第二个维度是测试题目数量的冗余。这种情况类似于一次考试中出了50道相似的选择题来测试同一个知识点，而实际上10道题就足以准确评估学生的掌握程度。在AI评测中，许多基准包含了远超必要数量的测试实例，导致评测时间和计算资源的浪费，而测试结果的可靠性并没有因为题目数量的增加而显著提升。

第三个维度是跨基准的领域内冗余。这就像是针对同一个学科（比如数学）设计了十几套不同的考试，但这些考试实际上都在测试相似的能力，只是题目形式略有不同。在特定的AI应用领域内，不同的评测基准往往存在重叠的评估目标，导致重复劳动。

为了量化这些冗余问题，研究团队提出了一个基于性能相关性的分析框架。这个框架的核心思想非常直观：如果两个测试任务真正评估的是不同的能力，那么不同模型在这两个任务上的表现排名应该有明显差异；反之，如果两个任务评估的是相同或相似的能力，那么模型们在这两个任务上的表现排名应该高度一致。

这种分析方法就像是通过观察学生在不同考试中的成绩排名来判断这些考试是否真的在测试不同能力。如果学霸在语文考试中排第一，在数学考试中却排在中等水平，那说明这两门考试确实在测试不同的能力。但如果某个学生在所有标榜为"数学测试"的考试中排名都差不多，那就说明这些考试可能都在测试相同的数学能力。

二、维度冗余的深度剖析

通过对MMBench这个广泛使用的多模态评测基准的详细分析，研究团队发现了一个有趣的现象：模型能力的不同层次会显著影响维度冗余的程度。这种现象就像是用同一套考试来测试小学生和大学生，会得到完全不同的结果模式。

当研究团队分别分析表现最好的50个模型（称为Top-50）和表现最差的50个模型（称为Bottom-50）时，发现了截然不同的冗余模式。对于表现较差的模型群体，几乎所有评测维度之间都显示出很高的相关性，相关系数普遍超过0.6。这意味着这些能力相对较弱的模型在各个维度上的表现都比较相似，就像是基础薄弱的学生在各个科目上都表现平平，很难看出他们在不同能力方面的差异。

这种现象的根本原因在于，当模型的基础能力还不够强时，它们在面对各种不同类型的任务时，往往都会遇到相似的困难。就好比一个刚学会走路的小孩，无论是在平地、草地还是沙滩上行走，表现都差不多，因为他们的基本协调能力还没有发展成熟，无法针对不同环境做出精细的适应性调整。

相比之下，表现优秀的模型群体展现出了更加多样化的能力分布模式。在Top-50模型的分析中，不同维度之间的相关性显著降低，许多维度对之间的相关系数低于0.3。这表明高能力模型在不同任务类型上表现出更大的差异化，就像是优秀的学生可能在某些科目上表现突出，在另一些科目上相对平平，体现出更加个性化的能力特征。

通过具体的维度分析，研究团队发现了一些有趣的模式。比如，"图像情感理解"和"社会关系推理"这两个看似不同的维度在评估中显示出很强的冗余性，说明这两种能力在某种程度上依赖相同的基础理解能力。而"名人识别"这个基于知识记忆的任务则与其他主要基于视觉理解的任务显示出较低的相关性，体现了知识型任务与感知型任务的本质差异。

另一个值得注意的发现是"图像主题识别"和"图像场景理解"这两个维度表现出相对独立的特征。这种独立性可能源于这两个任务的复杂性：准确识别图像的整体主题或场景需要模型具备高层次的抽象理解能力，而不仅仅是对局部特征的识别，因此与评估具体属性或关系的其他维度存在本质差异。

三、实例数量冗余的量化发现

在测试实例数量方面的分析中，研究团队得出了一个令人震惊的结论：大多数现有的AI评测基准都包含了远超必要数量的测试实例，至少50%的测试题目是多余的。这个发现就像是发现一场马拉松比赛实际上跑到一半就足以准确评估选手的真实水平，而后半程只是在重复验证已经明确的结果。

研究团队通过一种巧妙的抽样验证方法来量化这种冗余。他们将每个评测基准的所有测试实例看作是完整的"标准答案"，然后随机抽取不同比例的实例子集，观察基于这些子集得出的模型排名与基于完整数据集的排名有多大差异。结果显示，当抽样比例达到50%时，绝大多数基准的模型排名相关系数都能超过0.95，这意味着用一半的题目就能得到几乎相同的评估结果。

更进一步的分析显示，这种实例冗余的程度与被评估模型的能力水平密切相关。对于能力较弱的模型群体，甚至30-40%的实例就足以给出可靠的排名结果，而对于能力较强的模型，则需要相对更多的实例来进行精细化的区分。这种差异就像是用简单的算术题就能快速区分数学零基础的学生和有一定基础的学生，但要区分数学竞赛选手之间的水平差异，就需要更多更难的题目。

在具体的基准分析中，研究团队发现不同类型的测试基准表现出不同程度的实例冗余。一些基准如RealWorldQA需要相对更多的实例才能达到稳定的评估结果，这可能与其题目设计的多样性和复杂性有关。而另一些基准则表现出更高的冗余度，暗示其内部包含了大量相似或重复的测试实例。

特别值得关注的是，研究团队发现用于模型排名的准确性要求和用于绝对性能预测的准确性要求存在显著差异。如果目标只是确定哪个模型更好（排名），那么相对较少的实例就足够了；但如果需要准确预测模型的具体性能分数，则需要更多的实例。这种差异在R?分数的分析中表现得尤为明显：即使排名相关性已经超过0.95，R?分数要达到同样水平仍需要更多实例。

这个发现对实际应用具有重要意义。在资源有限的情况下，如果研究目标是比较不同模型的相对能力，那么可以适当减少测试实例的数量；但如果需要精确的性能预测用于实际部署决策，则需要保持更完整的测试集。

四、跨基准领域冗余的案例研究

为了深入理解特定领域内不同基准之间的冗余关系，研究团队选择了数学推理这一热门领域进行详细的案例研究。数学推理被认为是评估AI模型高级认知能力的重要指标，因此涌现出了众多专门的评测基准，包括MathVista、MathVision、MathVerse和DynaMath等。

初步分析显示，尽管这四个基准都声称专注于数学能力评估，但它们之间的相关性并不如预期那样强烈。这种现象最初让研究团队感到困惑，因为按常理来说，如果这些基准都在测试相同的数学推理能力，那么模型在不同基准上的表现应该高度一致才对。

深入分析后，研究团队发现了问题的根源。以MathVista为例，该基准虽然名为数学视觉推理测试，但实际上有30-40%的题目属于通用的视觉问答任务，与数学推理的关联性很弱。这些题目包括科学图表理解、通用视觉问答、图表表格分析等内容，虽然可能涉及一些数字或图形，但本质上不是在测试数学推理能力。

这种情况就像是一份标榜为"数学考试"的试卷中混入了大量语文阅读理解题和地理图表分析题。虽然这些题目可能也涉及一些数字计算，但它们主要考查的是阅读理解能力和图表分析能力，而非核心的数学推理能力。这种"杂质"的存在使得MathVista与其他专注于纯数学推理的基准之间产生了较低的相关性。

为了验证这一假设，研究团队进行了一个对照实验。他们从MathVista中剔除了那些与数学推理关联性较弱的通用视觉问答任务，只保留真正的数学推理题目，然后重新计算它与其他数学基准之间的相关性。结果显示，经过"净化"的MathVista与其他数学基准的相关性显著提升，证实了"杂质"任务确实是造成低相关性的主要原因。

进一步的分析显示，MathVerse和MathVision这两个基准表现出了较高的相关性，因为它们都专注于传统的数学推理任务，在任务设计和评估重点上有很多共同点。这种高相关性既可以被解释为冗余（重复测试相同能力），也可以被理解为验证（多个独立基准得出一致结论增强了结果的可信度）。

通过这个案例研究，研究团队提出了一个重要的基准设计原则：领域内基准的冗余度应该与其设计目标相匹配。如果一个基准的目标是全面评估某个领域的核心能力，那么它应该与该领域的其他基准显示出较高的相关性，体现出良好的领域代表性。相反，如果一个基准的目标是填补现有评估体系的空白，专注于某些特定的子能力，那么它应该与现有基准表现出相对较低的冗余度，体现出独特的评估价值。

五、冗余评估框架的技术实现

研究团队提出的冗余评估框架采用了三种不同的统计指标来全面量化相关性：斯皮尔曼等级相关系数、皮尔逊线性相关系数和R?决定系数。这种多指标并用的方法就像是用不同类型的量尺来测量同一个物体，确保测量结果的全面性和可靠性。

斯皮尔曼等级相关系数主要关注排名的一致性，它回答的问题是："如果模型A在任务X上比模型B表现更好，那么A在任务Y上是否也比B表现更好？"这个指标对异常值不敏感，能够捕捉到排名关系的整体趋势。在AI模型评估中，排名往往比绝对分数更重要，因为我们通常更关心哪个模型更优秀，而不是具体的分数差异。

皮尔逊线性相关系数则关注数值之间的线性关系强度，它能够反映两个变量之间是否存在稳定的数量关系。这个指标对异常值比较敏感，但能够提供关于变量间关系强度的精确信息。在基准冗余分析中，高皮尔逊系数意味着不同基准给出的不仅是相似的排名，还有相似的分数分布。

R?决定系数衡量的是一个变量能在多大程度上预测另一个变量的取值。在冗余分析的语境下，高R?值意味着如果知道了模型在基准A上的表现，就能够相对准确地预测它在基准B上的表现，这直接指向了两个基准之间的冗余程度。

为了确保分析结果的稳健性，研究团队还引入了Top-K分析的概念。考虑到实际应用中人们往往更关注表现最好的少数几个模型，他们专门分析了表现最优的K个模型之间的相关性模式。这种分析方法就像是专门研究班级前几名学生的成绩模式，往往能够发现不同于全班整体模式的特殊规律。

在实际计算过程中，研究团队使用了来自VLMEvalKit的大规模评估数据，这个数据集包含了100多个模型在20多个基准上的详细表现记录。这种大规模数据的使用保证了分析结果的统计显著性和泛化能力，避免了小样本分析可能带来的偶然性误差。

六、实证研究的重要发现

通过对大量真实数据的深入分析，研究团队得出了几个重要且令人深思的发现。首先，在基准设计质量方面，他们发现许多被广泛使用的评测基准都存在不同程度的内部冗余问题。这种情况就像是发现许多知名考试的题目设计存在重复性问题，不同的题目实际上在测试相同的知识点。

特别值得关注的是，研究团队发现冗余程度与模型能力水平之间存在反向关系：模型能力越弱，不同维度之间的冗余度越高；模型能力越强，维度间的独立性越明显。这个发现挑战了一些传统观念，暗示我们在设计评测基准时应该考虑目标模型的能力水平。

在实例数量方面的发现更是令人震撼。研究显示，绝大多数基准都可以在保持评估准确性的前提下将测试实例数量减少至少一半。这意味着当前的评测体系存在大量的计算资源浪费，这些资源本可以用于开发更多样化的测试任务或者进行更深入的模型分析。

跨基准冗余分析揭示了一个更加复杂的图景。在某些领域内，不同基准之间确实存在显著的功能重叠，但这种重叠的程度和性质因领域而异。数学推理领域的案例研究表明，表面上的低冗余可能掩盖了基准设计中的问题，而真正的冗余评估需要对基准的具体内容进行细致分析。

研究团队还发现了一个有趣的现象：不同类型的评估目标对实例数量的需求差异很大。如果目标是进行模型排名，那么相对较少的实例就足够了；但如果需要准确预测模型的绝对性能，就需要更多的测试实例。这个发现为实际应用提供了重要的指导原则：根据评估目标来合理配置测试资源。

七、对AI评测生态的深远影响

这项研究的意义远远超出了技术层面的发现，它对整个AI评测生态系统提出了根本性的反思。当前AI领域的快速发展催生了大量的评测基准，但这种"百花齐放"的局面也带来了资源分散和重复建设的问题。

从研究资源配置的角度来看，冗余的评测基准意味着大量的人力、物力和计算资源被浪费在重复性工作上。这些资源本可以用于开发更有针对性的测试任务，或者用于解决当前评测体系尚未涵盖的能力盲区。研究团队的发现为重新优化资源配置提供了科学依据。

在学术研究方面，冗余问题可能导致研究方向的偏向。如果某些能力被多个基准重复测试，而另一些重要能力却缺乏有效的评估手段，那么研究人员可能会过度关注那些"测试充分"的能力，而忽视了其他同样重要但"测试不足"的能力领域。

对于工业应用而言，冗余的评测体系增加了模型选择和部署的复杂性。当面对众多声称测试相同能力的基准时，工程师们往往难以确定应该相信哪个结果，或者需要在多个相似的基准上都进行测试以确保全面性，这无疑增加了开发和部署的成本。

研究团队的分析还揭示了评测基准标准化的重要性。目前的基准开发往往缺乏统一的规范和协调机制，导致不同团队开发的基准之间存在不必要的重叠。建立更好的协调机制和标准化流程，可以在保持创新活力的同时减少无效的重复工作。

从更宏观的角度来看，这项研究提出了关于AI评测哲学的深层次问题：我们应该追求评测的全面性还是效率性？如何在确保评估准确性的同时避免过度测试？这些问题没有标准答案，但研究团队的工作为相关讨论提供了重要的数据支撑。

八、基准设计的指导原则

基于大量的实证分析，研究团队提出了一套科学的基准设计指导原则。这些原则就像是建筑师设计房屋时需要遵循的结构安全规范，为创建高效、有用的评测基准提供了明确的方向。

第一个核心原则是维度独立性的平衡。理想的基准应该确保其各个评测维度相对独立，避免重复测试相同的能力。但研究团队也认识到，完全的独立性在实际中可能难以实现，因为许多复杂的AI能力本身就需要多种基础能力的协同配合。因此，合理的做法是在保持主要维度独立的同时，允许适度的能力交叉，这种交叉应该是有意识的设计选择而非无意中的重复。

第二个原则关注实例数量的优化。基准设计者应该通过系统性的抽样分析来确定最优的实例数量，既要保证评估结果的可靠性，又要避免不必要的资源浪费。这个过程就像是调试烹饪配方中各种调料的用量，既要保证味道的丰富性，又要避免某种调料过多而掩盖其他味道。

第三个原则涉及领域代表性的考量。对于旨在全面评估某个特定领域能力的基准，适当的跨基准冗余实际上是有益的，因为它能够验证评估结果的一致性和可靠性。相反，如果基准的目标是填补现有评估体系的空白，那么它应该刻意避免与现有基准的重叠，专注于开发独特的测试任务。

在实际的基准开发过程中，研究团队建议采用迭代式的设计方法。首先开发一个包含较多维度和实例的初版基准，然后通过冗余分析来识别可能的重复部分，最后基于分析结果对基准进行精简和优化。这种方法可以在保证覆盖面的同时最大化效率。

研究团队还强调了测试对象特征的重要性。由于不同能力水平的模型表现出不同的冗余模式，基准设计者应该明确其目标测试对象的特征。如果主要用于评估高能力模型，那么需要设计更多样化、更独立的测试维度；如果主要用于评估基础能力模型，那么可以适当简化维度结构。

九、未来研究的广阔前景

这项开创性研究虽然提供了重要的洞察，但同时也为未来的研究开辟了众多有待探索的方向。研究团队坦率地承认了当前工作的一些局限性，这种学术诚实为后续研究指明了改进的路径。

首先，当前的冗余评估框架主要基于性能相关性分析，这种方法虽然直观有效，但可能无法捕捉到一些更微妙的差异。未来的研究可以探索更加精细的分析方法，比如基于模型内部表征的相似性分析，或者基于失败案例模式的差异性分析。这些方法可能揭示出表面上相似但实质上不同的评测任务。

其次，目前的研究主要关注静态的冗余分析，即基于当前可用模型和基准的分析。但随着AI技术的快速发展，模型能力不断提升，原本具有区分度的测试任务可能逐渐失去挑战性。因此，动态的冗余分析方法值得深入研究，这种方法需要考虑技术发展的趋势和评测需求的演变。

模型选择偏差是另一个重要的研究方向。当前的分析基于特定的模型集合，而不同的模型选择可能导致不同的冗余结论。未来的研究需要开发更加稳健的分析方法，能够在不同的模型组合下得出一致的结论，或者至少能够量化模型选择对分析结果的影响。

跨模态和跨领域的冗余分析也是一个充满潜力的方向。当前的研究主要关注多模态语言模型，但类似的冗余问题可能在其他类型的AI系统中也存在。扩展当前的分析框架来处理不同模态、不同任务类型的评测基准，可能为整个AI评测生态提供更全面的指导。

在方法学层面，开发自动化的冗余检测和基准优化工具是一个实用性很强的研究方向。这种工具可以帮助基准开发者在设计阶段就识别出可能的冗余问题，或者为现有基准提供优化建议。这种工具的开发需要结合机器学习、统计分析和人机交互等多个领域的知识。

说到底，这项来自上海AI实验室的研究就像是为混乱的AI评测世界带来了一面镜子，让我们清楚地看到了当前体系中存在的问题和改进空间。它不仅揭示了大量资源被浪费在重复测试上的现实，更为建设更科学、更高效的评测体系提供了具体的行动指南。

这个发现对所有关心AI发展的人都很重要。对研究人员来说，它意味着可以把精力集中在真正有价值的测试开发上，而不是重复造轮子。对企业来说，它提供了更经济有效的模型评估策略。对整个AI社区来说，它指向了一个更加规范和高效的未来发展方向。

虽然这项研究主要针对多模态大语言模型，但其提出的分析方法和设计原则具有更广泛的适用性。随着AI技术继续快速发展，类似的冗余问题可能在其他AI子领域中也会出现。提前建立科学的评估和管理机制，将有助于整个AI生态系统的健康发展。当然，完美的评测体系可能永远不会存在，但通过持续的研究和改进，我们至少可以朝着更科学、更有效的方向不断前进。

Q&A

Q1：什么是多模态大语言模型评测基准的冗余问题？

A：冗余问题指的是不同的测试基准实际上在重复评估AI模型的相同能力，造成资源浪费。就像给同一个学生反复考相同的题目一样，许多AI评测基准都在测试模型的相似能力，只是换了不同的题目形式，导致评估效率低下。

Q2：为什么高能力模型和低能力模型的冗余程度不同？

A：低能力模型由于基础能力薄弱，在各种任务上表现都比较相似，就像基础薄弱的学生在各科目上都表现平平。而高能力模型已具备较强的基础能力，在不同类型任务上能表现出更大的差异化，因此不同测试维度之间的冗余度较低。

Q3：这项研究对AI评测行业有什么实际价值？

A：研究发现至少50%的测试题目是多余的，这意味着可以大幅减少计算资源浪费，同时为设计更高效的评测基准提供科学指导。对企业来说可以降低模型评估成本，对研究机构来说可以将资源投入到更有价值的测试开发上。

来源：码客人生一点号