幻觉问题的源头——“应试教育”正在让AI给我们带来错误

摘要：AI老是一本正经地胡说八道？这篇文章讲透一个冷门但扎心的原因：我们教AI的方式，其实就是“应试教育”，它学会了套路，却没学会思考。

AI老是一本正经地胡说八道？这篇文章讲透一个冷门但扎心的原因：我们教AI的方式，其实就是“应试教育”，它学会了套路，却没学会思考。

AI的幻觉

所谓AI“幻觉”（Hallucination），是指AI会给出看似有理有据却全然错误的回答的现象，也就是我们俗称的“一本正经地胡说八道”。关于AI“幻觉”的具体表现，我在之前文章的基础上，进一步总结为两类情况。

无中生有：即AI会在既有事实的基础上，进行过度的推断，进而编造一些虚假的信息。张冠李戴：即AI会将两样并无关系的事物建立联系，比如将甲所做的事情安到了乙身上。

OpenAI 最新论文《Why Language Models Hallucinate》告诉了我们幻觉的由来，也提出了一种解决办法。

AI幻觉是在“预测”不是在理解，这是统计学的必然

AI会产生“幻觉”的源头，就在于AI的运作原理。

如今所有的生成式AI，即运作的本质都是“密度估计”，即通过前期训练建立语料之间的关联，不断地预测在给定的语境中下一个字词是什么的概率规律。而所有AI的设定，都是“尽可能满足用户要求”。

密度估计（Density Estimation）是机器学习与统计学的核心任务之一，其目标是从有限的观测数据中，推断出产生这些数据的未知概率分布的形状。简单来说，它回答了 “数据在各个取值区间上出现的可能性有多高” 这一问题，最终输出一个能描述数据分布规律的 “概率密度函数（Probability Density Function, PDF）”。

这就导致了，当用户对AI提出要求，AI又的确没有相关资料，可它的设定又要求AI必须“说点什么”，尝试去给出一个回答，此时就有可能出现“无中生有”或“张冠李戴”的“幻觉”现象。

幻觉的根源：训练机制——评测体系在“奖励胡说”

“语言模型就像在考试中猜答案的学生。”

如果你在考试中写“我不知道”，得分是0；

而猜一个答案，哪怕错了，也有概率猜对得分。

这就导致模型宁愿“蒙一个”也不愿说“我不知道”。

就像一个考试希望得高分得学生，碰到我不会的选择，我可以蒙啊，蒙到就是赚到。

论文统计了10个主流评测基准，发现：

只有 WildBench 对“不确定”有部分给分，其他一律零分。

训练机制决定幻觉倾向，大多数模型的训练唯一目标是最大化下一个词出现的概率，而不是核查事实。这种机制天然就倾向于生成“似是而非”的内容。

强化学习的学习范式，主要的监督信号就是最终结果是否正确。而大模型本身的推理过程，尤其是数学题那种多步推理，是一个非常长的多步决策过程。但强化学习比如 GRPO（一种强化学习算法）只在最后一步给出奖励，就可能导致模型学到的最终结果是正确的，但中间的推理过程是错误的。模型可能会发展出一些错误但高效的策略，这就是所谓的 ‘ 幻觉 ’ 现象的来源。”

解决幻觉办法

如何最大限度减少 AI 幻觉？

其实这个是业界和学界也都一直在探究的目标

目前的策略可能更多是偏向于以下的几种方法：

检索增强生成（RAG）：给模型增加一个“查资料”模块，让它回答前先查外部数据库或网页；插件与联网设计：如WolframAlpha（做计算）和BingSearch插件（查新闻）已集成至GPT产品中，提升事实查验能力；多阶段生成机制：将“任务理解、信息检索、生成内容”分阶段执行，避免一次性完成的单步误导；专业模型精调：在医学、金融、法律等专业领域，训练专门子模型来提供更安全、准确的答案。

而在论文中提到了，明确“置信度阈值”

当前大多数语言模型评估（如MMLU、GPQA、SWE-bench等）采用二元评分（binary grading）：正确答案得1分，错误或IDK都得0分。这种评分方式鼓励模型在不确定时也进行猜测，因为猜对了能得分，而IDK则一定不得分。

为了解决这个问题，在评估指令中明确说明一个置信度阈值，并据此调整评分规则，使得模型在置信度低于阈值时，选择IDK才是最优策略。

意思就是让模型：

“仅当你置信度大于阈值时才回答，因为错误答案会被扣分，正确答案得1分，回答‘我不知道’得0分。”