摘要：这项由加州大学圣地亚哥分校的Gagan Mundada、Yash Vishe、Amit Namburi、Xin Xu、Zachary Novack、Julian McAuley和Junda Wu领导的研究发表于2025年9月的arXiv预印本平台，有兴趣深入了

这项由加州大学圣地亚哥分校的Gagan Mundada、Yash Vishe、Amit Namburi、Xin Xu、Zachary Novack、Julian McAuley和Junda Wu领导的研究发表于2025年9月的arXiv预印本平台，有兴趣深入了解的读者可以通过论文编号arXiv:2509.04744v1访问完整论文。

你有没有过这样的经历：看着一张乐谱，明明上面的音符、节拍记号都清清楚楚，但就是不知道它到底想表达什么音乐情感？现在的人工智能也遇到了同样的困扰。最近，加州大学圣地亚哥分校的研究团队就发现了一个有趣的现象：那些在回答问题、理解图片方面表现出色的AI大模型，在面对音乐乐谱时却常常"抓瞎"。

这就好比一个博学的学者，能够流利地讨论文学、历史、科学，但一拿到乐谱就变成了"文盲"。研究团队为了搞清楚这到底是怎么回事，创建了一个名为"WildScore"的测试平台，专门用来检验AI模型理解乐谱的能力。

这个测试平台的创新之处在于，它不是那种死板的学院派考试，而是从真实的音乐爱好者社区收集问题。研究团队翻遍了Reddit音乐理论版块十年来的讨论帖子，挑选出那些配有乐谱图片的真实问题。这些问题不是教科书上的标准答案题，而是音乐爱好者在实际演奏和学习中遇到的困惑，充满了生活气息和实用性。

想象一下，你在学习弹奏金属乐队的《Fade to Black》时，面对复杂的三连音节拍感到困惑，于是在网上求助。或者你在分析莫扎特第17号钢琴协奏曲时，对某个特殊音符的作用感到疑惑。这些都是WildScore测试集中包含的真实场景。

研究团队将这些音乐问题按照难度和类型进行了系统分类，就像整理一个巨大的音乐问题图书馆。他们把问题分成五大类：和声与调性（相当于音乐的"语法规则"）、节奏与节拍（音乐的"时间感"）、织体（不同声部如何配合）、表情与演奏（如何让音乐有感情）、以及曲式（音乐的整体结构）。每个大类下面又细分出许多小类，总共形成了12个具体的音乐知识领域。

为了让测试结果更加客观可比，研究团队将所有问题都改编成了选择题格式。这样做的好处是避免了开放式问答中的主观判断问题，让不同AI模型的表现能够直接对比。每个问题都配有一张乐谱图片和几个选项，AI需要根据图片内容选择正确答案。

当研究团队用这个测试平台检验目前最先进的AI模型时，结果颇为出人意料。即使是表现最好的GPT-4.1-mini模型，准确率也只有68.31%，而且这还是在同时提供乐谱图片和文字问题的情况下。如果只给文字问题不给图片，准确率还会下降到65.76%。这意味着AI虽然能从乐谱图片中获得一些帮助，但这种帮助相当有限。

更令人惊讶的是，不同类型的音乐问题对AI来说难度差别巨大。在表情演奏和和声调性方面，AI表现相对较好，准确率能达到70%以上。但在节奏节拍和音乐织体方面，AI就显得力不从心，准确率只有60%多一点。这就好比一个学生，在理解音乐的情感表达方面还算不错，但在数拍子和分析多声部配合方面就完全搞不清楚了。

为了深入了解AI的"视力"问题到底出在哪里，研究团队设计了两个额外的诊断测试。第一个测试专门检查AI能否准确识别乐谱上的基本符号，比如是什么调、有几个音符等最简单的视觉识别任务。结果显示，即使是最好的GPT-4.1-mini也只能达到52%的正确率，而其他较小的模型表现更差，有些甚至只有26%的准确率。这就像给一个人验视力，发现他连最大的字母都看不清楚。

第二个诊断测试更加直接：让AI直接将乐谱转换成计算机能理解的音乐代码。结果显示，大多数AI模型都无法完成这个任务，经常生成一些无意义的重复内容或者干脆给出错误的结果。只有GPT-4.1-mini能够处理一些简单的单声部乐谱，但面对复杂的多声部作品时也会出现遗漏和重复的问题。

这些发现揭示了一个重要问题：目前的AI模型在视觉理解方面仍然存在明显的局限性，特别是当面对像乐谱这样高度符号化和结构化的图像时。乐谱不同于日常照片，它是一个复杂的视觉符号系统，包含了音高、时值、表情记号等多层次信息，需要模型不仅能识别符号，还要理解符号之间的关系和音乐语法规则。

研究团队发现，不同AI模型在处理乐谱图像时的表现差异很大，这主要与它们的训练方式有关。那些在多模态训练中接触过更多结构化图像的模型，在乐谱理解方面表现相对更好。而主要在自然图像上训练的模型，往往在面对乐谱时显得无所适从。

有趣的是，研究还发现了一个看似矛盾的现象：对于某些问题，AI在不看乐谱图片的情况下反而表现更好。这说明这些问题可能更多依赖音乐理论知识而不是视觉识别能力。但对于真正需要分析乐谱细节的问题，图像信息确实能够提供重要帮助，只是现有的AI模型还无法充分利用这些视觉信息。

为了验证测试的可靠性，研究团队还邀请了一位音乐专业的人类专家参与测试。这位专家在100道题目上达到了72%的准确率，明显超过了所有AI模型的表现。不过，这个结果也表明，即使对于受过专业训练的人类来说，这些来自真实音乐社区的问题也具有相当的挑战性。

这项研究的意义不仅在于揭示了AI的不足，更重要的是为未来的改进指明了方向。研究团队建议，要提高AI的乐谱理解能力，需要在以下几个方面下功夫：首先是在模型训练阶段增加更多结构化图像的训练数据，特别是各种类型的乐谱；其次是改进视觉-语言对齐机制，让模型更好地理解符号与意义之间的对应关系；最后是开发专门针对音乐符号的编码器，能够更好地处理乐谱的层次化结构。

从更广阔的视角来看，这项研究反映了当前AI发展中的一个重要问题：虽然AI在很多任务上已经接近或超过人类水平，但在一些需要深度专业知识和复杂符号理解的领域，仍然存在明显的能力边界。乐谱理解只是其中一个例子，类似的挑战可能还存在于数学公式、工程图纸、化学结构式等其他专业符号系统中。

研究团队特别强调，WildScore测试集的价值在于它的"野生"特性——这些问题来自真实的音乐学习和创作场景，而不是人工设计的标准化题目。这种测试方式更能反映AI在实际应用中的表现，对于评估AI系统的实用性具有重要意义。

值得注意的是，这项研究也为音乐教育和音乐技术的结合提供了新的思路。随着AI技术在音乐领域的应用越来越广泛，了解AI的能力边界和局限性，对于开发更好的音乐学习工具和创作辅助系统至关重要。

研究的数据收集过程本身也很有趣。团队从2012年到2022年十年间的Reddit音乐理论版块收集了大量讨论帖，最终筛选出807个高质量的问题实例。这个过程不仅需要技术手段，还需要对音乐内容的深入理解和人工审核，确保问题的准确性和代表性。

在数据处理方面，研究团队采用了一个创新的方法来确定正确答案：主要依据Reddit社区的投票机制，选择获得最高评分的回答作为标准答案。当出现平票时，才使用语言模型进行辅助判断。这种方法体现了对真实用户智慧的尊重，也保证了答案的实用性和可信度。

研究结果还揭示了一个值得深思的现象：即使是最先进的AI模型，在面对需要多步推理和上下文理解的音乐问题时，仍然表现不佳。这些问题往往需要综合考虑和声进行、节奏模式、演奏技巧等多个因素，正是人类音乐理解的精髓所在。

从技术实现角度来看，这项研究为多模态AI的发展提供了一个很好的基准测试。不同于以往主要关注自然图像和日常对话的测试集，WildScore专注于一个高度专业化的领域，这对于推动AI技术在垂直领域的应用具有重要价值。

研究团队在论文中也坦诚地讨论了研究的局限性。比如，Reddit社区的讨论可能存在一定的偏见，倾向于讨论主流音乐风格而忽略一些小众音乐类型。此外，网络讨论的质量参差不齐，虽然经过筛选，但仍可能包含一些不够严谨的内容。

尽管存在这些局限性，WildScore作为第一个专门针对乐谱理解的多模态AI基准测试，其价值是不可否认的。它不仅为当前AI能力提供了客观评估，也为未来的研究指明了明确方向。随着这个测试集的公开发布，相信会有更多研究团队投入到音乐AI的改进工作中。

说到底，这项研究让我们看到了AI发展的一个有趣侧面：在某些看似简单的任务上，AI可能比我们预期的要困难得多。读懂一张乐谱，对于受过一定音乐训练的人来说可能并不太难，但对AI来说却是一个复杂的多模态理解挑战。这提醒我们，AI的发展道路并非一帆风顺，在通往真正的人工智能的路上，还有许多看似不起眼但实际很重要的技术难题需要解决。这项研究为音乐AI领域提供了重要的基础工具，也让我们对AI在专业领域的应用有了更清醒的认识。

Q&A

Q1：WildScore是什么？它有什么特别之处？

A：WildScore是加州大学圣地亚哥分校开发的AI乐谱理解测试平台。它的特别之处在于测试题目都来自Reddit音乐社区的真实讨论，而不是教科书式的标准题目，能更准确反映AI在实际音乐场景中的表现能力。

Q2：现在的AI模型在读乐谱方面表现如何？

A：表现并不理想。即使是最好的GPT-4.1-mini模型准确率也只有68.31%，而且在不同音乐领域差异很大。AI在理解音乐情感表达方面相对较好，但在节拍识别和多声部分析方面就比较困难。

Q3：为什么AI读乐谱这么困难？

A：主要原因是乐谱是一个复杂的符号系统，不仅要识别各种音乐符号，还要理解符号间的关系和音乐语法规则。目前AI模型主要在自然图像上训练，缺乏对这种高度结构化图像的理解能力。

来源：科技行者一点号1