让人工智能用简单语言解释其预测

摘要：研究人员针对机器学习模型的解释性问题，开发了一个名为EXPLINGO的系统，旨在将复杂的SHAP解释转化为易于理解的自然语言。该系统由两个主要组件组成：NARRATOR和GRADER。NARRATOR利用大型语言模型（LLM）生成符合用户偏好的解释，而GRAD

研究人员针对机器学习模型的解释性问题，开发了一个名为EXPLINGO的系统，旨在将复杂的SHAP解释转化为易于理解的自然语言。该系统由两个主要组件组成：NARRATOR和GRADER。NARRATOR利用大型语言模型（LLM）生成符合用户偏好的解释，而GRADER则根据简洁性、准确性、完整性和流畅性四个指标评估这些解释的质量。研究表明，通过提供精心设计的示例，NARRATOR能够有效模仿多样的写作风格，生成高质量的叙述。尽管在生成自然语言叙述时面临挑战，研究团队发现适度的风格控制可以减少错误。未来，研究者希望进一步改进系统，使用户能够与模型互动，提出后续问题，从而增强对模型预测的理解和决策过程。

机器学习模型虽然强大，但有时也会出现错误，并且可能难以解释。为了解决这个问题，科学家们开发了多种解释方法，旨在帮助用户判断何时以及在多大程度上信任模型的预测。这些解释往往复杂，可能涵盖数百个模型特征的细节。它们通常以复杂的可视化形式呈现，这对于没有机器学习专业知识的人来说，理解起来可能十分困难。

为了提高用户对人工智能（AI）解释的理解，麻省理工学院（MIT）的研究人员利用大型语言模型（LLMs）将基于图表的解释转化为简单易懂的语言。他们的创新方法涉及一个两部分系统，旨在将机器学习解释转化为人类可读的文本，并随后评估该叙述的质量。通过这种方式，用户能够更好地理解所呈现信息的可靠性。

通过向系统提供多个示例解释，研究人员可以将叙述描述量身定制，以符合用户偏好或不同应用的特定需求。展望未来，他们希望扩展这一技术，使用户能够就模型如何在现实场景中得出其预测提出后续问题。正如电气工程与计算机科学（EECS）研究生、研究论文的主要作者亚历山德拉·齐泰克所说：“我们这项研究的目标是迈出第一步，让用户能够与机器学习模型进行全面对话，探讨它们为何做出某些预测，从而帮助用户更好地决定是否听取模型的建议。”

研究人员专注于一种著名的机器学习解释类型，称为 SHAP（SHapley Additive exPlanations）。在 SHAP 解释中，模型用于进行预测的每个特征都会被赋予一个值。例如，如果模型的任务是预测房价，那么房屋的位置可能是考虑的特征之一。这个位置会被赋予一个正值或负值，以指示它对模型整体预测的影响程度。

通常，SHAP 解释会以条形图的形式可视化，突出显示哪些特征最重要或最不重要。然而，当处理包含超过 100 个特征的模型时，这种条形图可能变得笨重且难以解释。正如信息与决策系统实验室的首席研究科学家卡里安·维拉马查内尼所指出的：“作为研究人员，我们必须在视觉呈现上做出很多选择。如果我们选择仅展示前 10 个，大家可能会想知道图中缺失的其他特征。使用自然语言使我们不必做出这些选择。”

研究人员并没有依赖大型语言模型从零开始生成自然语言解释，而是利用 LLM 将现有的 SHAP 解释转换为可读的叙述。齐泰克表示，这种方法减少了解释中不准确的风险。他们的系统名为 EXPLINGO，由两个相辅相成的组件组成。第一部分称为 NARRATOR，利用 LLM 生成符合用户偏好的 SHAP 解释的叙述描述。通过最初向 NARRATOR 提供三到五个书面示例，LLM 学会在文本生成中复制该风格。

一旦 NARRATOR 生成了通俗易懂的解释，第二个组件 GRADER 会根据四个关键指标评估叙述：简洁性、准确性、完整性和流畅性。GRADER 自动向 LLM 提供 NARRATOR 生成的文本及相应的 SHAP 解释。齐泰克指出：“我们发现，即使 LLM 在执行任务时出错，它在检查或验证该任务时往往不会出错。”用户还可以灵活调整分配给每个指标的权重，以便根据使用场景进行定制化评估。

齐泰克和她的同事面临的一个重大挑战是微调 LLM，使其生成听起来自然的叙述。他们发现，添加过多的风格控制指南往往会增加解释中出现错误的可能性。为了评估他们系统的有效性，研究人员使用了九个机器学习数据集，允许不同用户为每个数据集创建叙述。这个过程使他们能够评估 NARRATOR 模仿多样写作风格的能力，并利用 GRADER 对每个叙述在四个指标上进行评分。

最终，研究人员得出结论，他们的系统能够生成高质量的叙述解释，同时有效地模仿各种写作风格。他们的研究结果表明，提供几个精心设计的示例解释显著提升了叙述风格。然而，他们也意识到示例必须仔细撰写，因为包含比较性术语如“更大”可能导致 GRADER 错误地将准确的解释标记为有缺陷。展望未来，研究人员希望探索改进比较语言处理的方法，并通过将推理整合到解释中来扩展 EXPLINGO。他们设想一个未来，用户能够与模型进行互动，提出后续问题以澄清其直觉与模型预测之间的任何差异，从而增强决策过程。