摘要：AI芯片创企Groq宣布完成7.5亿美元新一轮融资，投后估值达69亿美元。本轮融资由 Disruptive 领投，贝莱德（BlackRock）、纽伯格伯曼（Neuberger Berman）、德国电信资本伙伴（Deutsche Telekom Capital

这笔资金将用于扩大数据中心规模，Groq计划今年宣布其在亚太地区的首个布局点。

AI芯片创企Groq宣布完成7.5亿美元新一轮融资，投后估值达69亿美元。本轮融资由 Disruptive 领投，贝莱德（BlackRock）、纽伯格伯曼（Neuberger Berman）、德国电信资本伙伴（Deutsche Telekom Capital Partners）以及一家美国西海岸大型共同基金参与了大额投资，三星、思科、D1、Altimeter、1789 Capital和Infinitum等现有投资者继续跟投。

其中，Disruptive对Groq的投资近3.5亿美元。Disruptive 是一家总部位于达拉斯的成长型投资公司，在过去十年中支持了一些最具变革性和最成功的公司，包括对Palantir、Airbnb、Spotify、Shield AI、Hims、Databricks、Stripe、Slack和许多其他AI领导者和AI相关企业的大规模投资。

Groq致力于为全球超200万开发者及众多财富500强企业提供高效且低成本的算力支持，已在北美、欧洲和中东地区布局数据中心。公司创始人兼首席执行官乔纳森·罗斯（Jonathan Ross）表示：“推理技术正定义当下AI时代，我们致力于打造高速、低成本的美国AI基础设施。”

据悉，这笔资金将用于扩大数据中心规模，Groq计划今年宣布其在亚太地区的首个布局点。

Groq的AI推理芯片产品是LPU（Language Processing Unit，语言处理单元），它是完全根据AI推理计算的需求而设计的。它的核心目标不是训练模型，而是以极低的延迟和极高的吞吐量来运行已经训练好的模型。

LPU将内存和计算单元都集成在同一芯片上，极大地提升了数据存取速度，同时消除了时序变化。LPU使用SRAM作为内存， GPU的片外HBM内存带宽约为8TB/s，Groq的片上SRAM内存带宽高达80TB/s，仅这一差异就为LPU带来了高达10倍的速度优势。

LPU最大的亮点之一是低延迟，由于其确定性的执行模式，它能够提供极其稳定和可预测的响应时间。在LLM推理中，尤其是在逐token生成的阶段，延迟波动非常小。Groq官方演示中，每秒能处理近500个token，速度远超同级别GPU。

单一LPU芯片就能提供极高的计算密度。Groq的Chip-1芯片基于12nm工艺，拥有220个TSP核心，能提供750 TFLOPS（INT8）的峰值性能（此性能指标特指其张量运算的峰值性能，针对矩阵乘法和注意力计算等核心任务优化）。单个节点（通常由多个LPU芯片通过高速互连组成）的性能更是突出。

移除了复杂的控制逻辑和传统缓存层级后，LPU的架构更加精简，将大部分的硅片面积和功耗都用于实际的计算（MAC单元）。根据Groq官方测试数据，LPU处理LLM推理时的每token能耗约0.45mJ，而NVIDIA H100的每token能耗约3.2mJ，LPU能效比是H100的7倍以上，在执行特定任务时表现出卓越的能效优势。

对开发者而言，他们只需要关心模型本身，而无需进行底层的性能优化（如CUDA内核优化）。Groq的编译器会接管所有硬件层面的优化工作，将模型编译成在LPU上高效执行的确定性计划。

Groq推出了GroqRack集群产品，以私有云或AI计算中心方式提供。例如，Groq与Earth Wind&Power合作，计划在挪威开发欧洲首个垂直整合的AI计算中心，它们希望在2025年在这个计算中心中部署总共129600个LPU。2024年12月在沙特构建了由19000个Groq LPU组成的AI推理数据中心，仅花了8天时间就上线。

除了构建数据中心，还建立了GroqCloud云平台，主要针对开发者和企业，提供Tokens-as-a-Service的服务，开发者和企业可以通过API访问平台，并构建AI应用。

除了基础设施以外，Groq还有一项新业务Compound的复合AI系统，这个系统旨在通过采取行动来解决问题，将网页搜索、代码执行等工具与大模型协同使用。该系统能够访问实时信息、执行实时计算并与外部数据交互。因此，相比单一的语言模型，它能提供更准确、更前沿、也更有用的回答。这个系统由多个开源模型共同驱动，它使用Llama 4 Scout进行核心推理，并由Llama 3.3 70B辅助进行请求路由和工具选择。它基本上是一个Agentic类型的系统，开发者可以在此基础上构建AI Agent、智能助手和研究工具。

*声明：本文系原作者创作。文章内容系其个人观点，我方转载仅为分享与讨论，不代表我方赞成或认同，如有异议，请联系后台。

想要获取半导体产业的前沿洞见、技术速递、趋势解析，关注我们！

来源：半导体产业纵横一点号