摘要:根据 ABI Research 的“ PCI Express 市场垂直机会”报告,预计到 2030 年,AI 领域 PCIe 技术的总潜在市场 (TAM) 将从 4.4933 亿美元增长至 27.84 亿美元,复合年增长率 (CAGR) 为 22%。AI 的一
PCIe 技术将成为 AI 基础设施市场的重要组成部分。
根据 ABI Research 的“ PCI Express 市场垂直机会”报告,预计到 2030 年,AI 领域 PCIe 技术的总潜在市场 (TAM) 将从 4.4933 亿美元增长至 27.84 亿美元,复合年增长率 (CAGR) 为 22%。AI 的一个新兴用例是生成人工智能或 GenAI。GenAI 是一种用于生成内容的 AI 技术,包括文本、图像、视频、音频等。
随着 GenAI 的发展,GenAI 应用中的一些独特挑战变得清晰起来,例如需要低功耗、低延迟的稳健技术来将这些系统连接在一起。由于大型语言模型 (LLM) 的复杂性和规模不断增加,最先进的生成 AI 模型无法安装在一个 GPU、一台服务器、一个机架甚至一个数据中心上。
PCIe技术为生成式 AI 应用提供了众多优势,因为其固有 DNA 非常适合实现分解系统,包括对 LLM 有价值的分布式乘法功能。在本文中,我们将讨论 PCIe 技术目前在生成式 AI 中的应用方式、PCIe 技术功能如何完美满足日益增长的 AI 需求,以及 PCIe 技术与 AI 之间的关系将如何在未来的应用中不断发展。
PCIe 技术特性满足生成式 AI 的技术需求
PCIe 技术是一种无处不在的 I/O 互连,它通过实现低延迟、低功耗连接并始终确保向后兼容性来提供将节点连接在一起的结构。PCIe 技术连接整个数据中心,创建计算、内存和存储的池化资源,以满足生成式 AI 应用程序的独特和特定需求。
随着对更高数据速率的需求不断增长,以及行业从 NRZ 信号转向 PAM4 信号,前向纠错 (FEC) 对于保持可靠性至关重要。PCIe 通过利用 FLIT(流量控制单元)模式解决了生成 AI 和所有低延迟应用的这一问题。FLIT 有助于保持 PCIe 技术的低延迟,同时仍提供较低的 FEC 后错误率。此外,PCIe 架构包括低功耗模式,当需要较少的数据吞吐量时可节省能源,当通过 L0p 和 L1 子状态暂时不使用链路时,可节省更多能源。
进一步探讨 PCIe 低延迟优势的重要性,硬件一致性在扩大网络以提高效率方面发挥着至关重要的作用。这不仅仅与整体带宽有关——数据交换中的延迟可能会导致 GPU 和 CPU 在等待数据时停滞。流水线算法通常依赖于分布式结果,即使是单个节点的延迟也会导致显著的减速,从而闲置宝贵的计算资源。PCIe 技术现在具有 FLIT 模式,可最大限度地减少数据传输延迟并保持一致,从而实现高效的性能。
新兴 PCIe 技术助力生成式 AI 的未来发展
PCIe 技术将有助于推动生成式 AI 的应用,因为它可扩展到 AI 运行的后端网络中的电气和光学链路。随着带宽增加和电气覆盖范围减少,CopprLink™ 内部和外部电缆可以扩展 PCIe 信号在生成式 AI 应用中的覆盖范围 ,CopprLink 内部电缆在单个系统内的最大覆盖范围为 1 米,而 CopprLink 外部电缆的最大覆盖范围为 2 米。此外,PCI-SIG 光学工作组目前正在研究通过光学链路实现 PCIe 技术的途径,以确保任何 PCIe 链路在未来的生成式 AI 应用中都是可行的。
来源:智慧芯片