摘要:编辑:编辑部 JHYZ【导读】「GPT之父」刚刚被曝从OpenAI离职!他是GPT-1、GPT-2的一作,是Ilya在演讲中感谢过的人,被很多人称为ChatGPT背后的真正先驱和无名英雄。在推动了预训练时代,眼看着OpenAI即将接近AGI的时候,他忽然选择离
报道
编辑:编辑部 JHYZ【导读】 「GPT之父」刚刚被曝从OpenAI离职!他是GPT-1、GPT-2的一作,是Ilya在演讲中感谢过的人,被很多人称为ChatGPT背后的真正先驱和无名英雄。在推动了预训练时代,眼看着OpenAI即将接近AGI的时候,他忽然选择离开。
刚刚,「GPT之父」Alec Radford被曝离职OpenAI! 谁也没想到,OpenAI圣诞12日的特别活动接近尾声时,居然迎来这样一枚炸弹。 OpenAI这次失去的,是一位元老级的骨干成员,是真正开创ChatGPT这一迄今为止最大AI突破的人。 2016年加入OpenAI后,他不仅是GPT-1、GPT-2、CLIP、Whisper的一作,还为GPT-3、GPT-4、DALL-E 2/3等技术突破提供了支持,是OpenAI多项美国专利的发明人。左右滑动查看
他在机器学习和深度学习领域非常高产,论文引用量高达19万,多篇入选NeurIPS、ICLR、ICML等著名会议,其合作者包括llya、lan Goodfellow等知名学者。 根据据The Information报道,就在周四,Radford宣布离职,即将开展独立研究。据悉,他之后计划同时和OpenAI以及其他AI开发者合作。 OpenAI研究负责人Mark Chen表示,「我们对Alec及其贡献深表敬意和感谢,并期待在他探索独立研究的同时继续与他合作项目。」 德扑之父、OpenAI高级研究科学家曾这样评价道,「OpenAI真正开始崭露头角,是从聘请了一位当时名不见经传的研究员Alec Radford开始的」。 也有人给出了意味深长的发问:如果OpenAI真的处于AGI的边缘,为什么这些人还要离开?真正的「ChatGPT之父」
2016年,对于OpenAI来说,注定是一个转折点。 23岁的传奇AI研究员Alec Radford选择加盟,这个决定不仅仅改变了他的职业生涯,更为AI的发展掀开了崭新的一页。 有人说,Radford扮演的角色,如同谷歌创始人拉里佩奇发明了PageRank。 他是一位内敛、低调的研究者,几乎很少露脸,也从未接受过任何采访。 此前,Radford曾透露自己最大兴趣是,让神经网络能够与人类进行真正的对话。 入职OpenAI后,他开启的第一个实验是,用20亿条Reddit评论训练预言模型,没想到却以失败告终。 当时,总裁Greg Brockman鼓励到,没关系,再试试吧。 由于受限于算力,Radford只能在单一领域中进行实验。接下来,他选择了亚马逊电商平台评论,尝试让语言模型简单预测,并生成和用户评论的下一个字符。 看似平凡的选择,却带来了意外的收获:模型不仅能预测评论下一个字符,还能自主判断评论的情感倾向(积极/负面),甚至根据要求生成不同风格的评论。 文章链接:https://arxiv.org/pdf/1704.01444 正是这个突破,引起了OpenAI前首席科学家Ilya的注意。他接着鼓励Radford进一步扩展研究范围——在亚马逊评论数据之外再次尝试。 2017年,Transformer奠基之作出世,让Radford的研究迎来质的飞跃。 他联手Ilya一起,创造了共有1.17亿参数的模型,并将其命名为「Generative Pre-trained Transformer」(GPT)。 这个模型在7000本未出版的学习书籍、Quora问答,以及各类考试文章中,展现出了前所未有的预言理解能力。 更令人惊艳的是,GPT还具备了零样本学习的能力,在未经训练的领域,同样拥有专业级水平。 这种超出预期的能力,让团队异常兴奋,同时引发了他们对AI方向的深度思考。 有趣的是,当初代GPT问世时,Radford和团队选择了一种低调的方式,将论文直接发布在arXiv上,并非提交各大顶会。 a16z著名风投家Marc Andreessen曾这样描述道,「在2018年-2019年之间,他隐藏在人工智能的角落,默默地在自己的领域潜心研究」。 正是这份坚持,最终改变了人工智能的发展轨迹。 这正是从这一刻起,传奇GPT系列开启了。OpenAI,正在失去核心员工
Alec Radford的离开,如同一枚重磅炸弹,炸得网友们惊愕不已。有人说,这位元老对于OpenAI和整个AI研究的影响被低估了。甚至可以说,他的影响力完全不亚于Ilya。
就在Ilya几天前的NeruIPS 2024演讲中,他还特别提到,感谢自己的前同事Alec Radford 因为他不仅是GPT的主要作者,还可能是公司每个重要研究方向的带头人。 UC伯克利AI博士Dan Hendrycks表示,自己排名的AI学术影响力榜单中,何恺明和Alec Radford是妥妥的TOP 2。 CS教授、DeepMind高级顾问Jeff Clune表示,我们应该重新为Alec Radford正名。 他是AI研究领域最重要、但却没有知名度的人,被低估的人,在重大进步后隐身的人。 Clune教授认为,Alec Radford应该作为现代生成式AI之父被载入史册。 许多科学家和研究者表示同意:没错,Alec Radford是真正的MVP。 好在他的离开虽然对OpenAI是个损失,但他未来肯定不会缺GPU,如果做一些开放研究的话,整个世界都会受益。 也有人猜测道,每当OpenAI发布重大模型前后,总会有人离开。比如高级语音模式Her发布后,CTO Mira Murati就离职了。 按照这个规律,或许GPT-4.5明天就要发布。(对于GPT-4.5的发布时间,此前也有很多类似的预测) 对于Alec Radford的离开,很多人表示理解。 一旦初创公司经历最初的飞速发展期后稳定下来,选择离开公司是很正常的。 他们有人脉、有履历,可以在任何地方找到想要的工作。甚至还能创办自己的公司,拿到数十亿美元的融资。 讽刺的是,就在一年前,有网友表示OpenAI的分裂不会对AI未来的轨迹有多大影响,因为成果背后真正的天才是像Ilya和Alec Radford这样的科学家。 「只要他们还在,OpenAI就不会有任何影响。」 但如今,OpenAI的根基正在动摇。 总结一下,OpenAI在2024年已经流失多位元老。 包括首席技术官Mira Murati、研究负责人Bob McGrew,联创兼研究员John Schulman,研究副总裁Barret Zoph,安全系统团队负责人Lilian Weng,联创兼前首席科学家Ilya Sutskever,前安全负责人Jan Leike,现在又多了Aled Rad。 可以预见,接下来这份离职名单还会不断壮大。来源:东窗史谈一点号
免责声明:本站系转载,并不代表本网赞同其观点和对其真实性负责。如涉及作品内容、版权和其它问题,请在30日内与本站联系,我们将在第一时间删除内容!