一文读懂AI大模型之「盾」！全行业283个LLM基准测试都在这了

摘要：他们指出，当前基准测试存在因数据污染导致的“分数虚高”、因文化和语言偏见导致的“不公平评估”，以及缺乏对过程可信度和动态环境的评估等问题，并为未来基准测试创新提供了可参考的设计范式。

图｜代表性 LLM 基准测试（按时间线）。

大模型技术如矛，基准测试（benchmark）如盾。只有矛愈锋利，盾愈坚固，AI 行业才会不断被推向更高处。

如果你身处大模型行业或已经被大模型技术所影响，除了知道有哪些“矛”，还必须了解有哪些“盾”，从而更好地了解人工智能（AI）行业的真正发展现状。

日前，中国科学院深圳先进技术研究院团队及其合作者首次对「LLM 基准测试」的现状与发展进行了系统性回顾，并将283 个具有代表性的基准测试分为了三类：

他们指出，当前基准测试存在因数据污染导致的“分数虚高”、因文化和语言偏见导致的“不公平评估”，以及缺乏对过程可信度和动态环境的评估等问题，并为未来基准测试创新提供了可参考的设计范式。

论文链接：

大模型考试亟待突破

自 2017 年 Transformer 架构问世以来，从基础的语言理解与文本生成任务，到复杂的逻辑推理与智能体（Agent）交互，LLM 持续拓展着 AI 的能力边界，进而重塑人机交互模式和信息处理范式。

如今，LLM 已广泛渗透到智能客服、内容创作、教育、医疗、法律等领域，成为推动数字经济发展和社会智能化转型的核心力量。然而，随着 LLM 技术的快速演进，建立一套科学、系统且全面的评估体系变得尤为迫切。

基准测试作为衡量模型性能的量化工具，不仅是评价模型能力的核心手段，更是推动技术迭代与模型优化的重要因素。通过基准测试，研究者能够客观比较不同模型的性能，准确识别技术瓶颈，并为算法优化与结构设计提供数据支持。同时，标准化评估结果也有助于增强用户信任，确保模型在安全性、公平性等方面符合社会和道德规范。

与早期 LLM 相比，现今 LLM 的参数规模已呈指数级增长，其能力也从单一任务拓展至多任务、多领域。因此，评估内容也从固定任务转变为多任务、多领域，对评估方法的科学性和适应性都提出了更高要求。

当前，大语言模型（LLM）的评估体系仍存在诸多亟待突破的难题，如下：

大模型考题的「发展史」

语言能力基准的演化，体现了 LLM 进步与评估方法之间持续不断的“军备竞赛”。这一过程的核心动力在于对“广义语言能力”的探索，即从表层的模式匹配，转向对语法、语义及语用等深层语言理解的考察。

2018 年推出的 GLUE 是一个关键进展，它通过将 9 个不同的英语自然语言理解（NLU）任务，如情感分析、文本蕴含，纳入统一框架来应对这一问题。随后，SuperGLUE 引入了更具挑战性的任务，强调复杂推理能力。

然而，研究发现，模型倾向于利用数据标注中的人工痕迹。HellaSwag 等基准应运而生。这类任务对人类而言轻而易举，但对模型却具有较高难度，从而更直接地测试常识和脚本知识。在中文方面，CLUE 是首个具有代表性的中文 NLU 基准，而 Xtreme 则扩展至包含 12 个语系、40 种语言，系统评估了形态变化、词序等不同语言属性下的泛化能力。HELM 则引入了“动态基准”概念，通过不断扩展场景来动态整合新兴语言维度。

图｜代表性语言核心基准。

存储并准确提取大量现实世界信息的能力，是现代 LLM 的基石之一。这些模型如同知识库一般，从海量训练语料中吸收信息。因此，衡量其知识范围与可靠性，成为模型评估的重要维度。这类测试通常模拟“闭卷考试”，要求模型完全依赖其内部参数化知识。

知识评估的演化路径，呈现出 LLM 从信息检索工具向内化知识转变的趋势。MMLU 的引入成为开创性的突破，它确立了一个新的、有影响力的范式。MMLU-Pro 通过增加选项数量和推理密集型问题的比例，提高了任务的对抗性难度。GPQA 等基准由领域专家设计，旨在实现“防谷歌化”，直接应对模型依赖网络搜索而非内化知识作答的挑战。

当前最主要的评估形式为多项选择问答（MCQA），其优势在于具备良好的可扩展性，且可以通过准确率这一核心指标实现客观自动评估。AGIEval 和 GAOKAO-Bench 等基准正是采用这一方式，从高风险的人类考试中精选题目。

HELM 和 BIG-Bench 等框架则将知识能力评估纳入更广泛的指标体系中，涵盖鲁棒性、公平性与校准性等维度。为打破英语中心、文本导向的评估范式，业内还提出了如 M3Exam 等多语言基准，以及 GAOKAO-MM、CMMMU 等以中文为主的多模态知识测试。

图｜代表性知识导向基准。

尽管知识导向的基准测试在方法和形式上愈发严谨、多元，但仍面临一系列关键挑战。其中最普遍的挑战，是数据污染的隐患。其次，封闭式评估方法本身也存在局限性。

推理能力——涵盖形式逻辑、常识推理和应用问题求解——是构建高级智能的关键基础。在 LLM 中评估这一能力，对于理解其认知边界与实际应用潜力至关重要。

逻辑推理领域，是 LLM 评估中最为成熟且最密集的方向。整体演进轨迹清晰：从测试离散推理步骤的基础性基准（如 SimpleLogic）开始，逐渐发展到对高度复杂、多步甚至程序化推理的评估（如 LogicPro）。

常识推理与专业推理的引入，标志着评估维度的进一步拓展。智能需要的不仅仅是形式逻辑。Corr2Cause 与 CLadder 等基准首次尝试系统评估因果推理，推动模型从相关性走向理解。与此同时，主动推理（AR-Bench）和语言规则归纳（IOLBENCH）类基准的出现代表了一种范式转变，将评估从被动的模式识别转向主动的、具备能动性的问题解决。

在应用推理和上下文推理上，HotpotQA 要求模型定位并连接分散的证据以进行多跳推理，而ARC则需要运用科学知识。BIG-Bench Hard 在 23 个多样任务上专注挑战性组合推理，而 LiveBench 的创新之处在于使用实时的、私有用户查询。

LLM 推理能力的评估方式已从早期的形式逻辑测验不断演进，发展出更加贴近现实应用的复杂评估体系。

图｜用于评估 LLM 推理的各种基准的全面概述。

将评估视角从通用能力转向专业领域，是测试 LLM 能力边界的另一个关键步骤。

作为人类知识体系中逻辑最严密、结构最有组织的领域之一，自然科学对 LLM 的知识基础和推理能力提出了巨大挑战。该领域涵盖数学、物理、化学、生物等核心学科，在此类任务中取得成功不仅要求模型具备扎实的通用能力，还需具备强大的抽象推理、符号操作能力，以及追踪复杂因果链的能力。

图｜自然科学领域代表性基准。

除了在自然科学中对 LLM 进行理性层面的能力评估，其拟人化的对话特性还使其与人类交流更加自然、高效，从而增强了交互式应用的潜力。

社会科学作为最以人为中心的领域之一，在这一背景下显得尤为重要。一个关键问题是，LLM 能否在法律、知识产权、教育、心理学和金融等领域有效应对现实世界的挑战。所有人文与社会科学领域都高度适用于现实场景。其中的最大挑战之一，是如何科学评估 LLM 在这些领域的知识水平，这涉及定义合适的任务、构建相关的数据集，以及选择适当的评估方法。

图｜人文和社会科学代表性基准。

工程与技术领域是 LLM 的另一座试炼场，它测试模型在任务中的能力，这些任务不仅要求语言流畅，还要求逻辑严谨、功能正确，以及具有深厚的专业知识。不同于通用任务，工程应用往往存在唯一正确答案，或仅有一小部分在严格的物理定律、数学原理或语法规则下成立的合理解。在这一领域中，成功的模型需要能够像真正的工具一样运作，而不仅仅是提供语言交互。因此，工程与技术方向也产生了一系列最为复杂且成熟的评估框架。