Nature：人工智能内容已经大量污染预印本网站，学术界开始反击

摘要：当她点击链接时，她的警惕性增加了。这份手稿于7月发布在心理科学非同行评议研究网站PsyArXiv上，只有几页长，只列出了一位作者，而且没有列出其所属机构。比利时鲁汶天主教大学的科特利表示，文中描述的人工智能（AI）实验“相当离谱”。

PsyArxiv 等预印本服务器正在应对人工智能系统编写的可疑内容。图片来源：《自然》

预印本的标题——《自我实验报告：梦境中生成式人工智能界面的出现》——引起了心理学家奥利维亚·科特利的怀疑。

当她点击链接时，她的警惕性增加了。这份手稿于7月发布在心理科学非同行评议研究网站PsyArXiv上，只有几页长，只列出了一位作者，而且没有列出其所属机构。比利时鲁汶天主教大学的科特利表示，文中描述的人工智能（AI）实验“相当离谱”。

因此，她向 PsyArxiv 的管理人员举报了这份预印本及其类似的文章，但管理人员已将其删除。PsyArXiv 科学顾问委员会主席、爱尔兰梅努斯大学心理学家 Dermot Lynott 表示，这篇关于梦境的论文在其研究方法中使用了人工智能，但没有明确说明如何使用人工智能，也没有说明其是否在其他研究环节中使用了人工智能。这意味着它违反了网站的使用条款。

在回答《自然》杂志的提问时，来自所列作者刘家政的电子邮件地址的消息称，人工智能在预印本的生成中发挥的作用有限。

打击炮制虚假科学的假论文工厂

PsyArXiv 只是众多预印本服务器（以及期刊）中的一个，它们正在努力应对可疑的投稿。一些论文带有“论文工厂”的痕迹，这些机构提供按需生产科学论文的服务。另一些论文则显示出由人工智能系统编写的内容的证据，例如虚假的参考文献，这可能是人工智能“幻觉”的迹象。

此类内容给预印本服务带来了难题。许多预印本服务机构是非营利组织，致力于帮助科学家更轻松地发表研究成果，而筛选低质量内容需要耗费资源，并可能减慢投稿处理速度。此类筛选也引发了关于哪些稿件应该被接受的疑问。而这种不靠谱内容的涌入本身也存在风险。

“如何在保证质量的同时，保持相对宽松的监管，避免系统崩溃？”心理科学促进会执行委员会与PsyArXiv科学顾问委员会的联络人凯蒂·科克尔问道。“没人希望看到一个读者自己去判断某个文章是否是真正的学术成果的世界。”

《自然》联系的预印本服务机构表示，他们提交的论文中，只有相对较少的一部分带有由大型语言模型（LLM）生成的迹象，例如驱动OpenAI ChatGPT 的模型。例如，预印本服务器 arXiv 的运营商估计，大约有 2% 的投稿因为是人工智能、论文工厂或两者兼而有之而被拒绝。

openRxiv的负责人理查德·塞弗 (Richard Sever)表示，这两家公司每天总共会拒绝十多篇看起来公式化、可能由人工智能生成的稿件。openRxiv运营着位于纽约市的生命科学预印本服务器 bioRxiv 和生物医学服务器 medRxiv。塞弗表示，这两家公司每天会拒绝十多篇看起来公式化、可能由人工智能生成的稿件。这些服务每月大约会收到 7000 份稿件。

人工智能与低质量生物医学研究论文激增有关

但有人说，情况似乎正在恶化。arXiv 的版主们在 2022 年底 ChatGPT 推出后不久就注意到了 AI 撰写内容的增加，但“我们真正开始认为在过去三个月的某个时候出现了危机”，arXiv 科学总监、宾夕法尼亚州立大学帕克分校天体物理学家 Steinn Sigurðsson 表示。

位于华盛顿特区、托管 PsyArXiv 的非营利组织开放科学中心 (Center for Open Science ) 在 7 月 25 日发布的一份声明中表示，“发现提交的论文数量明显增加，这些论文似乎是由人工智能工具生成或大量辅助的”。Lynott 证实，网站上的论文数量“略有增加”，服务器正在努力减少此类内容。

Kirtley 标记的《梦境》手稿展现了预印本审核的挑战：该预印本被删除后不久，一份标题和摘要几乎相同的预印本就被发布在网站上。一封来自作者关联邮箱的电子邮件称，“人工智能的作用仅限于数学推导、符号计算、组装和应用现有数学工具、公式验证”以及其他八项任务。该电子邮件的作者自称是一位“驻扎在中国的独立研究人员”，没有高等教育学位，“唯一的工具就是一部二手智能手机”。该预印本的第二个版本也已被删除。

上周发表在《自然-人类行为》杂志上的一项研究1估计，到2024年9月，也就是ChatGPT推出近两年后，法学硕士（LLM）将贡献arXiv上发布的计算机科学摘要中22%的内容，以及bioRxiv上发布的生物学摘要中约10%的文本（参见“聊天机器人的崛起”）。相比之下，对2024年期刊上发表的生物医学摘要2的分析发现，14 %的摘要中包含法学硕士（LLM）生成的文本。

加州斯坦福大学计算机科学家、《自然人类行为》论文合著者詹姆斯·邹 (James Zou) 表示，研究中报告的一些人工智能文本可能是由那些难以用英语撰写手稿的科学家生成的。

塞弗说，这种合法使用方式使得“划清界限”变得具有挑战性，他表示，这些数字并不令人意外，预印本网站必须向作者明确表示，他们对其发布的内容负责。

arXiv 计算机科学部门主席、机器学习先驱 Thomas Dietterich 表示，许多向 arXiv 提交计算机科学预印本的研究人员并非英语母语人士，他们可能利用法学硕士学位来提高写作水平。他表示，22% 的数字“非常合理，但并不意味着存在欺诈行为”。

西雅图华盛顿大学研究科学的沙汉·阿里·梅蒙（Shahan Ali Memon）表示，在信息飞速传播的时代，有问题的预印本可以被快速分享。“这为虚假信息和炒作打开了大门……最重要的是，[预印本]会被谷歌搜索收录，”梅蒙补充道。“所以，那些在谷歌上搜索信息的人，可以把这些预印本作为信息来源。”

一些预印本服务器，例如 PsyArXiv，会删除被标记为可疑内容的稿件。其他一些服务器会将内容标记为“撤回”，但除非法律要求，否则不会将其删除。他们使用各种自动化工具和人工筛选人员来捕获可疑内容。例如，据拥有 Research Square 并出版《自然》杂志的施普林格·自然 (Springer Nature) 称，预印本服务器 Research Square 使用一种名为 Geppetto 的工具来检测人工智能生成文本的迹象。