摘要：近年来，随着人工智能技术的快速发展，语言模型（如GPT）在自然语言处理任务中的表现令人瞩目。然而，这些模型是否真正与人类语言学习过程有关，一直是语言学和计算语言学领域的争论焦点之一。诺姆·乔姆斯基（Noam Chomsky）等语言学家提出，当前的语言模型并未能

近年来，随着人工智能技术的快速发展，语言模型（如GPT）在自然语言处理任务中的表现令人瞩目。然而，这些模型是否真正与人类语言学习过程有关，一直是语言学和计算语言学领域的争论焦点之一。诺姆·乔姆斯基（Noam Chomsky）等语言学家提出，当前的语言模型并未能反映人类语言的核心特性，甚至与语言学研究无关。近期的研究进一步验证了这一观点，揭示语言模型在学习“无法实现的语言”时表现出的局限性。

语言模型的发展与质疑

语言模型的核心是基于神经网络的数学结构，通过对大规模文本数据的训练来生成语义连贯的句子。模型通过调整神经元之间的连接权重，逐步提高对单词序列的预测能力。然而，正如计算语言学家杰夫·米切尔（Jeff Mitchell）所指出，这种“线性预测”方式与人类对语言的复杂理解存在本质区别。

乔姆斯基的批评尤其引人注目。他认为，语言模型可以轻松学习与任何已知人类语言规则完全不同的“无法实现的语言”，这表明它们在语言学习过程中缺乏选择性和针对性。2020年，米切尔和心理学家杰弗里·鲍尔斯（Jeffrey Bowers）通过实验验证了这一观点。他们训练语言模型学习三种不同的“无法实现的语言”，并发现这些模型在面对复杂且非自然的语法时，依然能保持较高的预测准确率。

然而，这些实验仅限于较早期的神经网络结构，未能覆盖当前广泛应用的变换器（Transformer）网络（如GPT-2）。

最新研究验证语言模型的局限性

在2023年，卡里尼及其团队在导师克里斯托弗·波茨（Christopher Potts）的指导下，开展了一项针对变换器网络的深入研究。他们设计了十二种“无法实现的语言”，这些语言通过随机打乱或重组英语句子中的单词顺序来构建。例如，“部分反转语言”将每个句子的后半部分单词顺序颠倒，而“完全反转语言”则彻底倒转整句中的单词顺序。此外，他们还开发了一种名为“跳词语言”的特殊语言，通过在动词之后的第四个单词处添加特定字符来表示动词的单复数形式。

研究团队用这些语言对变换器模型进行训练，结果发现，即便面对复杂的语法规则，模型依然能够通过调整参数来逐步提高预测能力。然而，与使用未修改英语数据训练的模型相比，这些模型的学习速度明显较慢，最终表现也逊色不少。尤其是在“随机打乱语言”中，模型的预测能力受到更大的挑战。

有趣的是，“跳词语言”模型的表现几乎与普通英语模型相当。卡里尼团队通过进一步测试发现，这种接近普通英语的语言在绝大多数情况下对模型的单词预测任务影响较小。然而，当使用更细化的测试来区分这些语言时，模型的学习能力差异显现：与普通英语相比，学习“跳词语言”仍需更长时间且更高计算成本。

语言模型与人类语言学习的根本区别

从这些实验可以看出，语言模型更倾向于学习某些语言模式，而对其他模式的适应能力较差。这一结果间接支持了乔姆斯基的观点，即语言学习涉及某种先天的“语言机制”，而这正是当前神经网络所缺乏的。人类语言学习具有选择性和针对性，某些简单的语法规则在所有已知语言中从未出现，表明人类大脑在学习语言时会“筛选”不符合自然语言规律的模式。

相比之下，语言模型采用的是一种“数据驱动”的方式，通过大量数据来计算最可能的单词序列，而非从语言结构本身出发。这种方式虽然在某些任务中表现出色，但并不真正模拟人类语言学习的过程。正如哈佛大学计算语言学家伊莎贝尔·帕帕迪米特里乌（Isabel Papadimitriou）所说，“语言模型是我们能够以任何干预方式进行实验的第一个工具，但这并不意味着它们的工作原理与人类相同。”

“信息局部性”原则与模型学习的瓶颈

卡里尼团队在研究中提出了一个名为“信息局部性”（information locality）的简单原则，用以解释为何某些“无法实现的语言”对模型来说更难以掌握。“信息局部性”指的是语言中信息的分布范围。人类语言通常具有高度的局部性，即关键信息之间的距离较短，便于快速提取和理解。例如，动词与其相关的主语或宾语之间通常间隔很短。

然而，在“跳词语言”中，这种局部性被打破。动词的单复数信息由远在四个单词之后的特殊字符决定，这大大增加了模型对信息关联的学习难度。研究发现，模型在学习“跳词语言”时需要进行更多的计算和更长的训练时间，这与人类语言学习的高效性形成鲜明对比。

这种现象进一步表明，语言模型在学习语言时缺乏人类特有的认知偏好。人类大脑在学习语言时，天然地倾向于那些信息局部性更高的语言模式，这也是乔姆斯基理论中“普遍语法”假设的核心之一。卡里尼团队的研究结果支持了这一观点，并引发了关于语言学习机制的新讨论。

卡里尼团队的研究不仅挑战了语言模型的“全能”假设，也为未来的研究提供了重要的启示。首先，这些结果表明，即使是最先进的神经网络，也无法完全模拟人类的语言学习过程。语言模型在预测单词序列方面表现出色，但它们的学习能力依然受限于特定的语言结构和信息分布方式。

其次，研究揭示了不同神经网络架构对语言学习的影响。米切尔和鲍尔斯早期实验中使用的传统神经网络表现与变换器网络差异显著，这表明模型的架构设计在语言学习中起着关键作用。未来的研究可以进一步探索如何调整神经网络的架构，以更好地理解这些模型在语言学习中的局限性。

例如，研究人员可以设计更多类似“跳词语言”的人工语言，测试模型在不同信息局部性条件下的表现。此外，还可以尝试修改模型的训练策略，例如通过引入新的损失函数或注意力机制，以增强其对非局部信息的学习能力。这些研究方向将有助于加深我们对神经网络学习机制的理解，并可能为改进语言模型提供新的思路。

人工智能与语言学的交叉前景

尽管乔姆斯基等人认为语言模型与语言学无关，但卡里尼团队的研究也揭示了这两者之间潜在的交叉点。语言模型提供了一种全新的实验平台，可以在不受伦理限制的条件下测试各种语言学习假设。例如，通过调整模型的训练数据和参数设置，可以验证语言学理论中关于语法和语义的诸多假设。

然而，这种交叉也面临着挑战。人类语言学习的复杂性远远超过当前语言模型的能力，而神经网络的“黑箱”特性使得其学习过程难以解释。这意味着，即使语言模型在某些任务上表现优异，我们也无法简单地将其视为人类语言学习的模拟。

为了克服这些问题，未来的研究需要结合神经科学、认知科学和计算语言学的成果，发展出更具解释力的模型。例如，研究人员可以借鉴大脑的工作机制，引入更多层次的认知模块，模拟人类在语言学习中的推理和归纳能力。这不仅有助于提高语言模型的性能，也将为语言学研究提供新的视角。

“不可能任务”的未来

卡里尼团队的研究为语言模型的局限性提供了重要证据，但这仅仅是一个开始。研究团队计划继续深入探索，在后续的“任务：不可能2”（Mission: Impossible 2）中进一步测试神经网络对更复杂人工语言的适应能力。同时，他们还计划将研究扩展到更大规模的模型和数据集，以观察这些模型是否能够克服目前的局限性。

南非开普敦大学的认知科学哲学家瑞恩·内夫特（Ryan Nefdt）对此研究充满期待，他指出，“这项研究打开了许多新方向和新问题。”他认为，探索神经网络在语言学习中的表现，不仅可以验证语言学理论，还可能揭示人类认知机制的某些本质。

在这一领域的探索中，研究者需要时刻保持批判性和创造性。正如波茨所说，“这是一项非常迷人的项目，它将推动我们对语言模型和人类语言学习机制的理解不断深入。”或许，未来的某一天，我们能够真正建立起一种既能解释人类语言学习，也能指导人工智能发展的统一理论。

参考：Can AI Models Show Us How People Learn? Impossible Languages Point a Way

来源：老胡科学