摘要：高通从一家专注于移动的公司已经走过了漫长的道路，近年来，这家圣地亚哥芯片制造商已经扩展到新的领域，包括消费计算和人工智能基础设施。现在，该公司已经宣布其最新的 AI200 和 AI250 芯片解决方案，据报道是为机架级配置而设计的。这不仅标志着一个新参与者进入
高通宣布了其最新的人工智能芯片，这些芯片旨在扩展到专门构建的机架级人工智能推理解决方案，但有趣的是，它们采用了板载移动内存。
高通从一家专注于移动的公司已经走过了漫长的道路，近年来，这家圣地亚哥芯片制造商已经扩展到新的领域，包括消费计算和人工智能基础设施。现在，该公司已经宣布其最新的 AI200 和 AI250 芯片解决方案，据报道是为机架级配置而设计的。这不仅标志着一个新参与者进入了 NVIDIA 和 AMD 主导的细分市场，而且高通通过利用以移动为中心的 LPDDR 内存成功地找到了一种独特的实现方式。
在我们深入研究新发布的 AI 芯片的细节之前，让我们先看看 LPDDR 内存与更传统的 HBM 解决方案相比的使用。高通的新产品在加速器封装上提供高达 768 GB 的 LPDDR，明显高于业界的 HBM 容量。这家合资企业看起来有吸引力的主要原因是它减少了数据移动的能源和成本，这是该公司称之为“近内存”方法的关键优势。以下是该公司通过使用 LPPDR 而不是 HBM 获得的传统改进：
电源效率（较低的每位消耗）相对于现代 HBM 模块更便宜高内存密度（推理的理想选择）与 HBM 相比，由于散热更少，因此热效率更高虽然这种实施听起来很乐观，但与 NVIDIA/AMD 的主流选项相比，高通的机架级解决方案仍然存在不足，仅仅是因为避免使用 HBM 会导致内存带宽降低，由于接口狭窄而导致延迟增加，最重要的是，在 24/7 高温服务器环境中利用不成熟的内存堆栈。然而，圣地亚哥公司的意图是为公司提供一个强大的推理选项，而 LPDDR 的使用当然可以实现这一目标，但它确实将这些机架级配置限制在特定的应用程序中。
除此之外，AI200 和 AI250 芯片解决方案还具有直接液体冷却、PCIe/以太网协议和 160 kW 的机架级功耗，这对于现代解决方案来说是一个相当低的数字。更重要的是，板载芯片采用了该公司的 Hexagon NPU，这些 NPU 在推理能力方面正在广泛扩展，支持高级数据格式以及以推理为中心的功能。
有趣的是，许多计算提供商正在将强大的推理解决方案推向市场，最近的例子之一是英特尔的“新月岛”解决方案和英伟达推出全新鲁宾 CPX AI 芯片. 高通显然认识到推理领域正在获得市场关注，这就是为什么 AI200 和 AI250 芯片解决方案是明智的方法。然而，对于现代培训或大型工作负载，这些机架可能是最后的选择。
看到人工智能领域出现竞争是令人兴奋的，从表面上看，零售商对这些公告持相当乐观的态度。
来源：智视角