Sam Altman谈OpenAI:艰难但正确的道路|Bolt荐阅

B站影视 2024-11-20 20:00 3

摘要:Y Combinator(简称YC)是一家成立于2005年的创业加速器和风险投资公司,总部位于美国加州山景城,专注投资种子阶段的初创公司,提供资金、指导以及为期三个月的创业培训课程,以帮助这些公司成长和发展。

Y Combinator(简称YC)是一家成立于2005年的创业加速器和风险投资公司,总部位于美国加州山景城,专注投资种子阶段的初创公司,提供资金、指导以及为期三个月的创业培训课程,以帮助这些公司成长和发展。

最近,YC负责人Garry Tan邀请Sam Altman探讨科技领域的快速发展,尤其是人工智能的迅猛发展及其潜在影响。作为OpenAI的CEO,Sam Altman回顾了OpenAI的发展历程,并分享了他对坚定信念、人工智能等领域未来发展的见解。

图|YC 采访视频简介

📝 内容摘要

1. AI初创企业的最佳时机:当前世界普遍低估了AI的潜力,对于科技初创企业而言现在是发展壮大的绝佳时机。

2. 成功的关键策略:在快速发展的技术领域中,对单一赌注的极端信念与基于数据的迭代调整是初创企业成功的关键。

3. 同行伙伴的宝贵价值:在风险投资的早期阶段,拥有强大的团队伙伴能够为企业培养坚定信念、激发灵感,并提供相互支持。

4. 初创企业的优势:与规模较大且行动迟缓的组织相比,初创企业在速度、专注力和快速适应技术进步方面具有显著优势。

5. 商业原则的重要性:尽管AI带来了巨大的发展机遇,但打造强大的产品和建立竞争优势等基本商业原则,仍然是实现长期成功的核心。

6. AI的快速发展:包括AGI在内的重大技术突破可能比大多数人预期的更早到来。

Part.01

组建OpenAI团队

1. Garry Tan:建立OpenAI这个团队的契机是什么?

Sam Altman:回想起来,我们从一开始就明确表示目标是追求AGI(通用人工智能),尽管当时行业里普遍认为这个想法几乎不可能实现甚至有点不负责任。追求AGI吸引了许多年轻且优秀的人加入,但也遭遇了嘲笑。我觉得这种对立是个好兆头,代表我们敢于挑战常规的勇气。我们是一个没有严格秩序的小团队,我当时30岁,就已经是团队里最年长的了。虽然许多人认为我们这群年轻人什么都不懂,满口胡言乱语,但正是敢于冒险、敢于创新的人,才是支持我们目标的核心力量。我们一个一个去见人,碰撞出不同的想法,最终在九个月内慢慢组建起了团队。

在2015年12月,我们宣布启动OpenAI,但实际上直到2016年1月才正式开始。我们回到Greg的公寓,十来个人围坐在一起,仿佛完成了一项巨大成就,但马上就陷入“接下来该做什么?”的困惑。

这让我想起了许多初创公司创始人的经历,筹集到资金后,他们会觉得自己完成了某项大事,但当真正开始工作时,才意识到这只是新挑战的开始。在OpenAI,我们花了很长时间才弄清楚下一步该做什么。尽管经历了很多曲折,但最初的大方向始终是正确的。我们把这些目标写在了路线图上,之后做了许多尝试,有成功,有失败,但最终我们还是成功实现了系统性的目标。回望过去,我们走了许多弯路,但始终没有偏离最初的方向。

2. Garry Tan:最初的路线图上有提到深度学习吗?

Sam Altman:是的,我们的目标是建立一个大型的无监督学习模型,并解决强化学习(RL)的问题。这些目标早在一次团队外出活动时就已经明确提出。

我记得当时设定的三个目标是:

1. 找到无监督学习的方法

2. 解决强化学习(RL)问题

3. 确保团队人数不超过120人

虽然我们没能实现最后一个目标,但前两个的方向是非常正确的。

Part.02

不被看好依旧坚定信念

3. Garry Tan:为何让深度学习规模化(Scaling)的想法会被视为是异端?

Sam Altman:刚开始我们的核心理念是:深度学习是有效的,而且随着规模的扩大,效果会越来越好。我认为这两个想法都有些异端。当时我们并不确定随着规模的扩大,深度学习的效果会有多好。但其实人们知道的是,如果将神经网络做得更大,它会变得更好。我们当时对这一点非常有信心。

很多人认为,深度学习并不是真正的学习,也不是真正的推理,它像个魔术表演。这些观点来自行业内的领军人物,他们不仅否定,甚至还认为这种想法是危险的,可能会导致“人工智能寒冬”。但我们看实验结果是不断变得更好的,后来再看到规模化带来的效果,我们就决定继续推进,并且坚信它会有预期的结果。

当时我们开始感觉到深度学习有一种准备登上舞台崭露头角的姿态,尽管我们还没有完全理解实际操作中所有的细节(甚至到现在也没有完全理解),但我们意识到某些根本性的改变正在发生。这种感觉就像是我们发现了元素周期表上的一个新元素,因此我们决心继续推动这一方向,尽管我们远没有DeepMind那样的资源。我们知道,竞争者会尝试很多不同的策略,而我们则决定专注于一个方向,集中资源,这就是我们能够取胜的方式。这种策略在初创公司中非常有效。

我们对自己说,我们无法意识到自己还不知道的东西(we don't know what we don't know),但我们知道,这一方向行得通,于是我们决定全力以赴。其他一些团队可能试图通过过多的策略调整来超越自己,而我们选择专注于眼前的目标,并持续推进。

规模化一直是我感兴趣的,无论是对于初创公司,还是对深度学习模型,或其他许多事物,我认为规模化是一种被低估的特性。当你不自信的时候,想一想有什么东西是通过做多做大能表现出更好效果的,那我觉得就应该去做多、做大,规模化发展。

人们总希望“少即是多”,但实际上我们坚信“多即是多”,并决心推动这一理念。关于OpenAI,有一件事也许并不为人所了解,那就是我们拥有一个人才济济的研究团队,即使在我们默默无闻的时候也是如此。

如果你拥有世界上最聪明的人,你就能推动一件事的发展。

很多行业前辈批评我们是在浪费资源,甚至指责我们可能会因此导致“人工智能寒冬”。他们认为,资源应该分散,而不是集中在一个项目上。大多数人至今并不理解,在一个项目上投注极大信心的价值是什么。在当时,普遍的做法是把资源分散到多个方向,而我们选择专注,这是一种更加乐观的做法。我认为这种信念在许多成功的YC初创公司中都有体现。

4. Garry Tan:这是否可以总结为当世界给你反对意见,而这些反对意见对你而言没有道理时,你应该坚持做下去?

Sam Altman:完全正确。这其实也是我在创投这个行业里不断地看到一个现象。以前,我曾深信世界上总会有一些“成年人”掌握着一切,他们知道事情的真相,知道该怎么做。当有人对你提出反对意见时,你通常会认为他们比你更了解。但在经历了YC之后,我渐渐明白了一个道理:你可以尝试做任何事情,没有人会给你答案。事实上,并没有所谓的“成年人”能像会魔法一样告诉你确切该做什么。你唯一能做的,就是快速迭代,找到自己的路。理解这一点,是我人生中的一个重要突破。

然而,坚定的信念并不意味着盲目坚持。如果你错了还不做出调整,不寻求真理,那样的信念并没有什么效果。我们试图做的是相信结果给我们的指引,真正专注于眼前的任务。我们曾经在一些问题上抱有执着的信念,但也有很多时候我们是错的。当我们意识到自己错了时,我们会全力以赴去修正。信念很重要,一旦有了数据反馈,必须根据数据做调整。很多人会在得到了数据后仍然坚持自己的看法。

但这是一个不断迭代的过程。确实有一个阶段,你必须在没有数据的情况下坚持自己的信念,那个时候你只能依赖信念来推进。

5. Garry Tan:对,专注是很重要的一个因素,很多时候人也需要做选择,专注什么,并且最好是做出对的选择,因为不可能永远有得选。所以做选择、排列优先级别也是一个很重要的技能,需要练习,来让自己靠近成功的概率更大一点。

Sam Altman:我们在OpenAI尝试了很多不同的方向,尽管这些尝试帮助我们积累了科学层面的理解,但我们没有走捷径。如果当时我们知道今天的一切,那整个发展过程可能都会被加速。但事情不是这样发展的,就像你不可能每次都猜对。所以,我们开始时有很多设想,关于技术方向、公司应该是什么样子、AGI会如何发展等等。我们曾多次被打击,犯错误,但我们的优势就是能从失败中站起来,继续前进。

选哪一条科学路线,世界是怎么运作的,产品形态应该是什么样的,其实我们都不尽然清楚,或者说至少我是不清楚的,也许 Alec Radford 知道。但我们都是从尝试开始,比如不知道大语言模型在今天能取得的成绩,我们还研究机器人和视频游戏代理等,但几年后,GPT-3的出现完全改变了我们的轨迹。这些后来发生的事情都不是我们在当时能看清楚的。

6. Garry Tan:听起来你们是通过GPT-1得到了一些关键的洞察。

Sam Altman:实际上,比GPT-1还早。我记得论文的名字是 The Unsupervised Sentiment Neuron (《无监督情感神经元》),是Alec独立完成的。他是一个非常了不起的人,完成了这项惊人的工作,并发现有一个神经元在处理生成的亚马逊评论时,会根据情感变化而变化。其他人可能也假设过并且研究过,但无论如何,就是 Alec,GPT-1的主要贡献者,之后其他人将其规模化,做了GPT-2。这一切都源自于这个发现,最终带来了GPT系列。

Part.03

GPT-4的突破与验证

7. Garry Tan:Case Text的Jake Heller认为GPT-4是一个重要的转折点。因为GPT-3.5虽然功能强大,但在法律场景中仍然会出现较多错误信息。而GPT-4达到了一个新的水平,用户可以将输入拆解成小的工作流程,从而得到精确的结果。并且他基于这一技术构建了大量测试案例,并最终将公司以6.5亿美元的价格出售。对此你的看法是?

Sam Altman:我记得和他讨论GPT-4时,我意识到我们手上确实拥有了一项非常出色的技术。当我们最初尝试向创始人们销售GPT-3时,大家觉得它很酷,能够展示惊人的效果,但除了文案写作之外,并没有创造出重大的商业价值。随着GPT-3.5的发布,特别是YC的一些创业公司开始使用后,形势发生了变化。人们开始愿意购买我们的产品,不再是我们单方面的推销,而是市场上真正的需求。接着到了GPT-4,我们开始收到大量用户反馈,询问“能提供多少GPU资源?” 很快我们意识到,GPT-4确实是一个非常出色的产品。

我们进行了多次测试,结果都非常出色,模型能够执行我们之前未曾预料到的任务。当我们自己体验时,看到它能写押韵的诗、讲略带幽默的笑话,能做出各种我们没想到的效果,大家都非常惊讶。但直到把产品交给用户后,我们才真正知道它是否能成功。我们对自己的工作感到自豪,但最终的验证来自用户。因此,在真正测试产品之前,我们也会有一些焦虑,直到拿到用户反馈,我们才能确认最终的结果。

Part.04

Sam的创业之路

8. Garry Tan:我认为你、马斯克、贝索斯以及许多其他人,最初都是以创始人的身份起步,从不同的起点开始,然后逐渐升级,无论是Looped、Zip2还是其他软件项目。站在今天的角度,你对创业者有什么路径选择上的建议吗?例如有的人可能想投身于最疯狂的技术创新,他们应该直接去做全力以赴,还是说先让自己赚到点钱,用投资的方式深度参与这种大的创新项目?

Sam Altman:这是个很有意思的问题。起初,我有能力为OpenAI提供早期的资金支持,这确实是件很有帮助的事。如果要说服别人在最初阶段这样做,可能会很难。后来马斯克投入了更多的资源,我对此非常佩服和感激,随后也有其他人陆续参与支持。除此之外,我也很开心我能支持一些其他项目,因为让别人来承担这些责任可能同样不易。我在其中学到了许多宝贵的经验,这无疑是值得的。我也确实好像觉得我在Looped时的工作有点像在浪费时间。但我绝对不后悔,因为正是这些经历才构成了人生的拼图,让我学到更多。

9. Garry Tan:如果你可以回到过去,你会做出不同的选择吗?或者你会告诉19岁时的自己什么?

Sam Altman:这个有点难,因为 AI 一直就是我想做的事情。在我当年工作的人工智能实验室里,有一个明确的共识:绝对不要研究神经网络,我也试验过,结果也不太好,不过那是很久以前了。我觉得如果回到过去,可能我应该有比Looped更好的选择,其实我也不知道这个更好的选择会是什么,但从结果来看,其实也还不错。所以也没关系。

在历史长河中,有很多人致力于通过研究和发明新技术来改善人类的生活。我也经常思考这一点,和那些我不认识的做出了电脑的人。他们其中的很多人可能都退休了,但我很感激他们,因为如果看历史,是很多人努力工作带来了技术的跨越发展。我在很小的时候就接触了计算机,改变了我的人生,所以我觉得我们能够在这条漫长的技术进步之路上添加属于自己的一块砖,确实是一件很美好的事。

Part.05

回顾OpenAI的戏剧性事件

10. Garry Tan:对OpenAI来说这是了不起的一年,尽管也不乏一些戏剧性的事件。你从去年的人事变动中学到了什么?对于一些团队成员的离开你怎么看?团队确实会发展、变化,但你个人感受如何?

Sam Altman:虽然疲惫但感觉良好。我们似乎在两年内快速经历了一个中型甚至大型科技公司通常需要十年才会完整经历的发展过程。比如,ChatGPT发布也才两年。这种快速发展伴随着很多折磨人的事情,任何公司在扩张过程中都会以某种速度更换管理团队。

擅长从零到一阶段的人不一定擅长从一到十或十到一百的阶段。我们也在改变我们的目标,一路上犯了很多错误,也做对了一些事情。这些都伴随着很多变化。我认为公司的目标,无论是AGI还是其他任何你愿意怎么想都行的目标,都是尽可能在每个阶段做出最好的决策。但这确实导致了很多变化。我们现在正在进入一个相对更平静的时期,但我相信未来肯定还会有其他时刻,情况还会有所变化。

11. Garry Tan:那么,OpenAI现在是如何运作的呢?我认为与许多其他公司相比,OpenAI的质量和速度已经很不错了。

Sam Altman:这是其实是我第一次感到,我们真正清楚知道自己该做什么。从现在到实现AGI依然需要巨大的努力,虽然有一些未知问题,但我们基本明确了行动的方向。这将是一段漫长而艰难的旅程,但同时也让人无比兴奋。

在产品方面,尽管还有细节需要探索,但我们大致清楚目标和优化方向。当有这样的清晰感时,就能快速推进。只要愿意专注少数关键的事情,并力求做到极致,就能在明确的研究路径、基础设施计划和逐渐清晰的产品开发中高速前行。

长期以来,我们并不具备这种能力,我们以前真的就是一个搞研究的实验室。即便现在条件逐渐好起来,我们也很难坚定不移地走这条道路,因为还有很多其他事情想做。但是,你能在多大程度上让每个人步调一致,聚焦同一方向,对你的行动速度是重要的决定因素。

来源:汽车情报室

相关推荐