摘要:在OpenAI,有一个被称作“Bob”的神秘狠人,专门负责CUDA内核的开发优化。这个名字听着随意,但他写的“Bob内核”,却是整个AI推理流程中最关键的部分之一。
在OpenAI,有一个被称作“Bob”的神秘狠人,专门负责CUDA内核的开发优化。这个名字听着随意,但他写的“Bob内核”,却是整个AI推理流程中最关键的部分之一。
这套内核每天可能在成千上万张GPU上运行数以万亿次,对精度的要求极高。一旦出错,不但模型要回滚重新训练,还会浪费海量算力资源,影响整个生产效率。而这么高难度、对精度要求堪比“地狱模式”的工作,在OpenAI居然只靠一人负责——Bob。
有网友感慨,全世界能写出这种高性能CUDA内核的人可能都不超过100个。前OpenAI员工更是亲口证实:Bob能在几分钟内修复别人一周都搞不定的问题。他的存在,堪称OpenAI的“技术底座”。甚至公司内部Slack还有个专属表情包“Bob magic”,用来膜拜这位“GPU巫师”。
员工们调侃说:要是哪天Bob请一周假,公司都得进入“生死存亡”阶段。
Bob的存在,不仅让OpenAI内部人膜拜,也已经传到了硅谷其他巨头的耳朵里。坊间传言,小扎(Meta CEO马克·扎克伯格)听说这位神秘高手后,立马将“Bob到底是谁”列为Meta招聘会议的头号议题。
甚至有网友调侃,小扎为此大发雷霆——毕竟,Meta每年给某些工程大牛开出1400万美元的高薪,但居然错过了像Bob这样的“隐藏Boss”,让人怀疑是否花冤枉钱了。
这也反映出一个趋势:相比囤显卡,硅谷现在更看重“囤人才”。特别是像写CUDA内核这种底层工程能力,已经成为AI公司真正的护城河。
而在网络讨论中,大家开始频繁提到一个名字——Scott Gray。这个人,是不是就是传说中的Bob?
Scott Gray,毕业于伊利诺伊大学香槟分校,专业是物理和计算机科学。2016年加入OpenAI,专注于GPU内核优化,是公司最资深的技术骨干之一。
他的研究成果不容小觑:共参与撰写了51篇机器学习论文,总引用超过8万次,代表作包括《GPT-4技术报告》《神经语言模型的扩展规律》等。
尤其是2017年那篇由他主导的《Block-sparse GPU kernels》,就是一套专为稀疏权重结构打造的高效GPU内核,和现在所谓的“Bob内核”高度吻合。这种内核在某些场景下,比传统的cuBLAS和cuSPARSE快数倍。
更关键的是,Scott自己在Reddit上“自曝”:早在2017年,他就独立完成了一套适配P100/P102 GPU、支持FP16/FP32计算优化的CUDA内核。他说:“这些内核是两个月前我写好的,现在悄悄上线了。”
这不就是Bob的“技术口供”吗?
比起显卡大战,如今的AI“军备竞赛”更像是一场对核心技术人才的抢夺战。谁拥有像Bob这样的底层工程天才,谁就掌握了AI推理效率和成本的主动权。
OpenAI的Bob,如今身份渐渐浮出水面,也让我们看到硅谷内部那些“隐形大佬”的真实力量。他们不像CEO那样高调,却是支撑整家公司运转的决定性力量。
而Meta在过去一年已经从OpenAI挖走了多位顶级研究员,包括赵晟佳、Lucas Beyer、Alexander Kolesnikov等,如今又将目光瞄准了Bob。这场人才战,正愈演愈烈。
问题来了:这次,奥特曼和OpenAI,能守得住Bob吗?
来源:墨兰史书