摘要：要说现在大模型圈最头疼的事儿，恐怕就是怎么评测模型能力了，毕竟这些AI跟黑盒子似的，你说它厉害吧，有时候问个常识都能答错；说它不行吧，写代码又能一套套的。

要说现在大模型圈最头疼的事儿，恐怕就是怎么评测模型能力了，毕竟这些AI跟黑盒子似的，你说它厉害吧，有时候问个常识都能答错；说它不行吧，写代码又能一套套的。

好在业内琢磨出个“5W1H”的万能公式，咱拆开聊聊，为啥测（WHY）？这事儿就像给学生考试，既是为了挑出尖子生（技术选型），也是为了揪出偏科生（诊断短板）。

比如之前有团队发现自家医疗模型总把“抗生素用法”搞错，就是靠评测及时揪出来的，测啥（WHAT）？这里头讲究分层。

基础模型像GPT-4就得考语文数学全科，行业模型比如金融大模型，就得专门考银行合规题，而像豆包这种智能助手，就得看跟用户唠嗑顺不顺溜，能不能办实事儿。

啥时候测（WHEN）？可别等模型考完“期末考”才看成绩，得贯穿整个学习过程。

预训练时每学一阵就小考，部署后还得用用户的真实问题天天“随堂测验”，之前有电商平台就靠这招，发现模型总把“买一送一”规则算错，及时改了过来。

从哪儿测（WHERE）？得画个“能力雷达图”，语言理解、逻辑推理这些是基础，现在还得加上长文本处理、多模态能力，就像评三好学生，不能只看成绩，体育艺术也得算上。

咋测（HOW）？有三种法子：闭卷考（客观题算准确率）、开卷考（人工或AI打分）、PK赛（俩模型匿名battle）。

去年ChatbotArena就靠PK赛让用户投票，把模型排名整得明明白白，特接地气。

按理说有了公式，评测该顺风顺水了吧？但现实中总有三只“拦路虎”挡道，

第一只叫“分数虚高”，好多模型在公开榜单上考得贼好，可到了真实场景就拉胯，比如某模型在数学题榜单拿了高分，结果用户问“房贷利率怎么算”就懵了。

后来业内才明白，得把静态考试（如C-Eval）和动态考试（如实时跟用户唠时事）结合起来，不然就像学生只会背课本，不会做应用题。

第二只叫“考题太简单”，以前GSM8K的数学题能难倒一片模型，现在个个都能考高分，区分度就没了。

就像高考题年年变难，评测题也得升级，现在新出的GSM10K就加了跨领域推理题，专挑模型的刺儿。

第三只叫“裁判不靠谱”，人工打分吧，成本高还容易带偏见；让AI当裁判（LLMJudge）吧，有时候也犯迷糊。

之前有团队用AI评论文，发现它总给辞藻华丽的文章高分，不管内容对不对，后来优化了提示词，让AI按“逻辑清晰”“信息准确”等具体标准打分，准确率才提上去。

为了对付这些拦路虎，现在评测界也玩出了新花样，在医疗领域，评测得跟FDA标准看齐，不仅考病例诊断准不准，还得查伦理合规性，比如会不会泄露患者隐私。

之前有款医疗AI就是在隐私测试中露了馅，赶紧改了算法，法律界的评测更绝，直接拿最高法的指导案例来考，看模型能不能做到“类案同判”。

有团队还开发了实时对抗系统，让俩法律AI模拟打官司，互相挑错，评测结果贼真实，最有意思的是多模态评测，现在不光考文字，还得考看图说话、视频理解。

比如给模型看一段交通事故视频，让它分析责任方，这可比单纯考文字题难多了，也更贴近真实场景。

还有开源生态这块，国内团队牵头搞了中文大模型评测体系，专门针对中文语境下的语义理解，比如考成语典故、方言俗语，让老外模型也尝尝“中文四六级”的滋味。

来源：念寒尘缘