摘要：本文介绍了一项名为FERMAT的研究，旨在评估视觉语言模型（VLM）在检测、定位和纠正手写数学错误方面的表现。该研究设计了一个包含超过2,200个手写数学解决方案的数据集，并对九种不同的VLM进行了测试。结果表明，当前的VLM在处理手写文本时存在显著的局限性，
本文介绍了一项名为FERMAT的研究，旨在评估视觉语言模型（VLM）在检测、定位和纠正手写数学错误方面的表现。该研究设计了一个包含超过2,200个手写数学解决方案的数据集，并对九种不同的VLM进行了测试。结果表明，当前的VLM在处理手写文本时存在显著的局限性，其中GEMINI-1.5-PRO模型取得了最高的错误纠正率（77%）。此外，一些模型在处理手写输入时表现不佳，其准确度会随着手写输入被替换为印刷文本或图像而提高。这些发现揭示了当前VLM的限制，并提出了改进的新方向。该研究还公开发布了FERMAT数据集及其相关资源，以促进进一步的研究。
FERMAT是一个数学问题基准测试集，包含2,244个手写解答，覆盖了从小学到高中的各种数学主题，包括算术、代数、测量、几何、概率、统计学、三角函数和微积分等。每个问题都包含了四个轴上的错误：计算错误、概念误解、符号错误和展示问题。此外，还包括一些不影响答案正确性的表面变化（例如，“16厘米”与“16.0厘米”的区别）。每个实例由一个元组（Q，Ihw，Agold）组成，其中Q代表问题，Ihw表示包含手写问题和错误解答的图像，而Agold是Q的原始正确解答。Q和Agold均以LATEX格式提供，以确保不同基准之间的统一标准表示。
该研究提出了五种广泛应用于数学领域的错误类型，分别是计算错误（CO）、概念错误（CP）、符号错误（NO）、展示错误（PR）和表面变化（SU）。这些错误被手动设计成一个全面的错误分类体系，并在Fermat中引入到正确的解答中。研究人员通过多阶段的手动审核来保证基准的质量和纯洁性，包括问题收集、定义不同的错误类别、创建扰动以及手动转录和验证扰动后的手写答案。
为确保高质量的LaTeX问题解决方案，使用GPT-4O提取LaTeX格式的内容。选择GPT-4O而不是标准OCR引擎是因为它具有处理复杂数学符号的能力，并且能够给出格式良好的输出。所有提取的LaTeX内容经过严格的审查，确保其正确性。最后，根据误差分类体系，对每个数学领域选择相关扰动并手动应用到每个问题上，然后将所有问题的答案都进行手工验证，进一步分类出真正错误或表面变化。
该研究旨在评估大型语言模型（VLM）的自动评价能力和对常见错误类型的识别能力。通过设计Fermat基准测试集，研究人员可以有效地模拟真实考试环境下的学生答题情况，从而帮助开发更准确的自适应学习系统和智能辅导工具。同时，通过对错误分类体系的设计和人工验证过程的实施，确保了基准数据的质量和准确性，有助于提高自然语言处理技术在教育领域的应用效果。
本文主要介绍了针对手写数学问题的视觉语言模型（Visual Language Model，VLM）的性能评估实验，并通过对比不同VLM在三个任务上的表现来探究其优缺点和适用场景。
实验内容包括：
Error Detection（错误检测）任务：评估VLM是否能够正确识别出手写图像中的错误；Error Localization（错误定位）任务：评估VLM是否能够准确地定位到错误发生的具体行数；Error Correction（错误纠正）任务：评估VLM是否能够对手写图像中的错误进行正确的纠正。为了解决视觉处理能力不足的问题，作者还进行了两个额外的实验：
手写图像与印刷图像比较实验：将手写图像替换为印刷图像，以观察模型在不同视觉复杂度下的表现；文本输入实验：直接提供LATEX文本作为输入，以排除视觉因素对模型性能的影响。实验结果表明，大多数VLM在错误检测任务上表现良好，但随着任务难度增加，模型性能逐渐下降。引入OCR步骤可以提高某些模型的表现，但对于具有强大多模态理解能力的模型，这种好处并不明显。此外，作者还发现，提供更多关于错误类型的信息可以显著提高模型的性能。
总之，本文通过一系列实验全面评估了VLM在手写数学问题解决方面的性能，并为选择合适的VLM提供了有价值的参考。
该论文提出了一种名为FERMAT的基准测试，用于评估视觉语言模型（VLM）在检测、定位和纠正手写数学错误方面的能力。通过涵盖四个关键误差维度：计算、概念、符号和呈现，并涵盖了来自609个数学问题（七至十二年级）的超过2,200个扰动手写解决方案，FERMAT提供了一个强大的评估框架。作者还分析了九个流行的VLM，揭示了它们在处理手写内容时存在的关键局限性。此外，该论文将FERMAT和所有相关资源作为开源发布，希望促进进一步研究，以提高VLM在现实世界应用中的能力。
该论文的方法创新点在于提出了FERMAT基准测试，该测试涵盖了手写数学内容的四个关键误差维度：计算、概念、符号和呈现。此外，作者还使用了人类辅助的方式来引入有针对性的扰动，从而生成了超过2,200个手写错误数学解决方案及其相应的正确“黄金”答案。这些结果表明，现代VLM在处理手写数学内容时存在明显的局限性，强调了在实际应用中需要谨慎对待。
该论文为VLM在教育工具方面的应用提供了重要的参考价值，但仍有改进的空间。例如，可以考虑扩展FERMAT基准测试的误差维度，以便更全面地评估VLM的能力。此外，还可以探索更复杂的多代理方法来检测错误，而不仅仅是单个或双个LLM调用。最后，随着技术的发展，我们期望看到更多的研究关注于如何有效地利用VLM来帮助学生更好地理解和解决数学问题。
来源：宁教授网络空间元宇宙