大型语言模型供应商已发展出独特的超能力

B站影视 2024-12-12 00:24 2

摘要:2024年,大型模型竞赛的关键在于与GPT-4相提并论。如今,有五家公司实现了这一目标(或足够接近),从而成为“决赛选手”:微软/OpenAI、亚马逊/Anthropic、谷歌、Meta和xAI。

大型语言模型(LLM)供应商已发展出独特的超能力——这将导致2025年出现逐渐增加的差异化和竞争的等级制度。

2024年,大型模型竞赛的关键在于与GPT-4相提并论。如今,有五家公司实现了这一目标(或足够接近),从而成为“决赛选手”:微软/OpenAI、亚马逊/Anthropic、谷歌、Meta和xAI。

为了达到GPT-4的质量,这些公司采用了大致相同的策略:收集尽可能多的数据,在尽可能多的GPU上进行训练,并改进训练前/训练后架构以最大限度提高性能。随着2024年人才在企业间流动,几乎没有商业秘密可言。

随着每个参与者为下一轮LLM扩展做准备(这很可能涉及计算规模的再次增加10倍),实验室正在发展差异化的超级能力。可以说,已经为未来的战斗“选择了武器”;到2025年,这些不同的策略应该会导致截然不同的结果,一些参与者会领先,而另一些则会落后。

谷歌:谷歌在2025年的优势在于垂直整合。谷歌是唯一一家拥有一流芯片的厂商:TPU有机会在2025年与NVDA GPU一较高下。谷歌还建立了自己的数据中心,训练专属模型,并拥有一支非常强大的内部研究团队。与分别与OpenAI和Anthropic合作的微软和亚马逊不同,谷歌通过拥有价值链的各部分以争取胜利。

OpenAI:OpenAI在人工智能领域拥有最强大的品牌,这是毫无疑问的。这使其成为大型人工智能公司中最强大的收入引擎,据报道,OpenAI的收入超过36亿美元。如果人工智能的成功最终取决于消费者的认知度和企业分销,OpenAI可能会继续扩大与竞争对手之间的差距。

Anthropic :2024年,OpenAI的研究人才大量外流,而Anthropic则迎来大量人才。随着Jon Schulman、Durk Kingma和Jan Leike于2024年离开OpenAI加盟Anthropic,Anthropic的研究人才数量不断增加。该公司还聘请了一些高管,包括Instagram联合创始人Mike Kreiger担任首席产品官。在GPT-3发明者Dario Amodei的领导下,Anthropic已成为人工智能科学家的首选目的地。

xAI:我们在“钢铁、服务器和电力”一文中写到了数据中心建设对下一阶段人工智能竞赛的重要性。随着xAI以创纪录的速度推出10万GPU Colossus集群,该公司现在已成为数据中心扩展的领跑者。xAI及其竞争对手的下一个里程碑将是20万集群,然后是30万集群。如果“规模就是一切”最终成为现实,那么xAI就完全有能力继续快速崛起。

Meta: Meta已经通过Instagram、WhatsApp和Facebook获得了强大的分发优势,现在它选择全力投入开源。Meta是该领域唯一一家采用这种方式的大型企业。Meta Llama模型拥有忠实的粉丝,而闭源与开源的争论仍在继续。如果前沿技术的发展开始放缓,Meta将能够充分利用其开源模型来快速传播这些功能。

来源:93913虚拟现实

相关推荐