让AI一键写系统性综述,难!Nature专栏:ChatGPT远远不够,一百年以后再看看

B站影视 2024-12-06 17:43 2

摘要:Elicit是一家专注于帮助研究人员进行系统综述而不仅仅是叙述性综述的公司,但该工具并不提供一键式系统综述,而是自动化其中某些步骤,包括筛选论文和提取数据等。大多数使用Elicit进行系统综述的研究人员都会上传使用其他搜索引擎找到的相关论文,但用户普遍担心这类

Elicit是一家专注于帮助研究人员进行系统综述而不仅仅是叙述性综述的公司,但该工具并不提供一键式系统综述,而是自动化其中某些步骤,包括筛选论文和提取数据等。大多数使用Elicit进行系统综述的研究人员都会上传使用其他搜索引擎找到的相关论文,但用户普遍担心这类工具可能无法满足研究的两个基本标准:透明度和可复制性。如果不理解具体的算法,那就不算是系统综述,而只是一篇简单的综述文章。今年早些时候,Glasziou团队成员Clark领导了一项系统综述,研究了使用生成式AI工具辅助系统综述的研究,最终团队只找到了15项已发表的研究,并将AI的性能与人进行充分对比。这些尚未发表或同行评审的结果表明,这些AI系统可以从上传的研究中提取一些数据,并评估临床试验的偏差风险。现有的模型在阅读和评估论文方面似乎做得还不错,但在所有其他任务上表现得非常糟糕,包括设计和进行完善彻底的文献搜索。潜在风险自动化信息合成也伴随着风险。研究人员多年来就知道许多系统评价存在冗余或质量差等问题,而人工智能可能会使这些问题变得更糟;作者可能会有意或无意地使用人工智能工具来快速完成不遵循严格程序或包含低质量工作的评审,并得到误导性的结果。除了综述别人的工作外,Glasziou表示,这类模型还可以促使研究人员快速检查以前发表的文献,找出其中的错误,来继续提高研究人员的水平。甚至在未来,人工智能工具可以通过寻找P-hacking等明显迹象来帮助标记和过滤掉质量较差的论文。Glasziou将这种情况视为一种平衡:人工智能工具可以帮助科学家做出高质量的评审,但也可能会让部分研究者快速生成不合格的论文,目前还不知道会对出版的文献产生什么影响。有些研究者认为,合成和理解世界知识的能力不应仅仅掌握在不透明的营利性公司手中,希望未来可以看到非营利组织构建并仔细测试人工智能工具,小心谨慎地,尽可能保证每次提供的答案都是正确的。参考资料:https://www.nature.com/articles/d41586-024-03676-9

来源:小胡看科技

相关推荐