Yann LeCun 解释 Meta 如何提前开发了类 ChatGPT ,但最终将其撤下

B站影视 港台电影 2025-03-25 14:45 2

摘要:Meta 首席人工智能科学家 Yann LeCun 最近在一次活动中分享了一个有趣的轶事。他的故事表明,Meta 实际上在 ChatGPT 出现之前就开发并短暂发布了一个类似 ChatGPT 的系统,名为 Galactica,用于与科学文献进行交互。他的叙述强

ChatGPT 于 2022 年 11 月发布时引发了当前的人工智能革命,但它并不是第一个发布的此类程序。

Meta 首席人工智能科学家 Yann LeCun 最近在一次活动中分享了一个有趣的轶事。他的故事表明,Meta 实际上在 ChatGPT 出现之前就开发并短暂发布了一个类似 ChatGPT 的系统,名为 Galactica,用于与科学文献进行交互。他的叙述强调了 Meta 的 Galactica 和 OpenAI 的 ChatGPT 在公众接受度上的明显差异,这引发了人们对突破性人工智能的时机、看法和公众准备程度的质疑。

LeCun说: “2022 年秋季,我的同事 Meta(一个小型团队)组建了一个 LLM,该模型基于整个科学文献进行训练。所有你能找到的技术论文。它被称为 Galactica,他们附上了一篇描述其训练方式的长篇论文、开源代码和一个你可以玩的演示系统,对吧?”LeCun 补充道。

“推特圈基本上对此进行了恶评,”LeCun 懊悔道。“所以人们说,‘哦,这太可怕了,这会要了我们的命,会毁了科学通信系统。’我那可怜的五人小团队晚上睡不着觉,撤下了演示。我们的结论是,世界还没有准备好接受这类技术,没有人感兴趣,”他继续说道。

“三周后,ChatGPT 面世了,这就像是弥赛亚的第二次降临,对吧?根据一般文献进行训练。而刚刚发生的事情是,考虑到之前的反应,我们无法理解公众对此的热情。因此,实际上,ChatGPT 在公众中的成功也让我感到非常惊讶。所以很多都是感知问题,”他说。

Meta 于 2022 年 11 月 15 日发布了 Galactica,比 ChatGPT 于 11 月 30 日发布早了两周。这是一个大型科学语言模型,经过了 4800 万个科学文章、网站、教科书、讲义和百科全书样本的训练。Meta 将其模型宣传为研究人员和学生的捷径,可以“总结学术论文、解决数学问题、生成 Wiki 文章、编写科学代码、注释分子和蛋白质等等”。

但人们发现 Galactica —— 就像 ChatGPT 即将推出的第一个版本,或迄今为止所有的 LLM 一样 —— 容易产生幻觉。用户发现它编造了假论文,有时甚至将其归为真正的作者。它还会生成虚假的维基文章,例如一篇关于 太空熊历史的文章。

科学界对此反应负面。德国马克斯·普朗克智能系统研究所所长、深度学习专家迈克尔·布莱克 在推特上写道:“在所有情况下,它都是错误的或有偏见的,但听起来正确且权威。我认为这很危险。”“这些实验很棒,但危险在于,人们将开始依赖他们不知道如何验证的黑匣子的答案,并以此为基础做出重要决定,” Hacker News 评论员 auggierose写道。

在遭到强烈反对后,Meta 于 11 月 17 日撤下了该模型。“Galactica 演示现在已下线。再也不可能通过随意滥用它来获得乐趣了。开心吗?”LeCun 本人在推特上写道。

但人们对两周后才发布的 ChatGPT 的反应却截然不同。人们对它的功能赞不绝口,写短文、创作诗歌,对这项新技术惊叹不已。ChatGPT 让 OpenAI 成为众人瞩目的焦点,并使该公司及其创始人成为家喻户晓的名字。

很难说为什么人们对这两个模型的反应如此不同。一个因素可能是 Meta 的 Galactica 针对的是科学界,他们对准确性和正确性有更高的要求,并且对发现一个模型会伪造研究论文感到震惊。另一方面,ChatGPT 立即成为主流,普通人并不介意该模型偶尔编造一些事实。此外,科学界已经接触过法学硕士,包括谷歌的 BERT 模型和其他方法,他们对法学硕士的印象不如普通人深刻,普通人认为 ChatGPT 能够像人类一样交谈,这几乎是神奇的。此外,Galactica 的回应可能不如 ChatGPT 精致。

但无论 Galactica 突然关闭的原因是什么,ChatGPT 仅在两周后发布,并引起了全球轰动。有趣的是,Meta 并不是唯一一家在 ChatGPT 发布前就拥有可运行的法学硕士的公司。Anthropic在 OpenAI 发布前六个月就准备好了类似 ChatGPT 的系统,但他们选择将其保留在朋友和家人的小型 Slack 群组中,而不是公开发布。在 ChatGPT 发布前六个月,谷歌暂停了一名工程师的职位,因为他声称内部聊天机器人“已经成为一个人”,这表明谷歌也在内部开发了强大的法学硕士。Meta 在 ChatGPT 发布前两周成功发布了法学硕士,但在公众批评下三天就关闭了它。但 OpenAI 发布 ChatGPT 的勇气——以及一些运气——得到了回报,这为它在人工智能竞赛中占据领先地位铺平了道路。

来源:人工智能学家

相关推荐