摘要：全球领先的开源解决方案提供商红帽公司于5月19日-22日在美国波士顿举行红帽全球峰会，宣布启动全新开源项目llm-d，以满足生成式AI大规模推理需求。

作者 | ZeR0

编辑 | 漠影

智东西6月9日报道，全球领先的开源解决方案提供商红帽公司于5月19日-22日在美国波士顿举行红帽全球峰会，宣布启动全新开源项目llm-d，以满足生成式AI大规模推理需求。

峰会期间，红帽总裁兼首席执行官Matt Hicks、红帽高级副总裁兼首席营收官Andrew Brown、红帽高级副总裁兼首席产品官Ashesh Badani、红帽首席技术官兼全球工程高级副总裁Chris Wright、红帽合作伙伴生态系统成功高级副总裁Stefanie Chiras等多位红帽高管，与智东西等亚太区媒体进行了深入交流。

Matt Hicks谈道，红帽的使命是为客户提供真正的选择和灵活性，无论是Linux、容器还是自动化，其交付的每一层都保持开放且值得信赖，让用户能放心运行、调整并持续创新。这种开放性催生了vLLM、Kubernetes、OpenShift等项目中的大规模协作与共享标准生态。

Ashesh Badani补充说，开源只是一个许可证，离不开背后社区的支持，新发布的llm-d正印证这一点。红帽与谷歌云、AMD、NVIDIA等众多伙伴共同宣布这一项目，只有在共同创建并持续维护的前提下，开放才真正有意义。

Andrew Brown称，红帽支持任何云、任何连接器、任何模型，没有锁定，客户因此能快速迁移并扩展。这一切都建立在开源之上，进一步加深了客户的信任。

全新开源项目llm-d旨在让生产型生成式AI像Linux一样无处不在，由红帽与创始贡献者CoreWeave、谷歌云、IBM Research、NVIDIA合作打造，联手AMD、思科、Hugging Face、英特尔、Lambda和Mistral AI，并获得了来自加州大学伯克利分校Sky Computing Lab（vLLM的发起者）和芝加哥大学LMCache Lab（LMCache的发起者）的支持。

llm-d采用原生Kubernetes架构、基于vLLM的分布式推理和智能AI感知网络路由，利用大规模生成式AI推理技术，能增强vLLM的能力，使得大语言模型（LLM）推理云能够满足苛刻的生产服务级目标（SLO），为AI推理解锁大规模生产。

根据知名市场调研机构Gartner的数据，到2028年，随着市场的成熟，80%以上的数据中心工作负载加速器将专门部署用于推理，而不是训练用途。

随着推理模型日益复杂和规模不断扩大，其对资源需求的持续攀升限制了集中式推理的可行性，并有可能因成本过高和延迟过长，而使AI创新陷入瓶颈。红帽及其行业合作伙伴正通过llm-d应对这一挑战。

llm-d项目提供了多项创新，包括：

使用Kubernetes久经考验的编排能力，llm-d将先进的推理能力集成到现有企业IT基础设施中。该统一平台使IT团队能够满足关键业务工作负载的各种服务需求，同时部署创新技术以最大限度地提高效率，并显著降低与高性能AI加速器相关的总拥有成本（TCO）。

红帽认识到，在快速发展的生成式AI推理领域，充满活力且易于访问的社区至关重要。该公司计划积极推动llm-d社区的发展，为新成员营造一个包容的环境，并促进其持续发展。

Stefanie Chiras谈道，生态合作写在红帽的基因里。红帽从上游社区做起，把成果延伸到ISV、系统集成商以及云服务商，现在RHEL与OpenShift已能在AWS、微软Azure、谷歌云、IBM云直接订购；Ansible Automation Platform则通过红帽与IBM渠道销售。AI时代让这种合作更加紧密。

在Ashesh Badani看来，AI可能是过去20年来最深刻的IT变革，甚至可能超过云计算，因为它对日常工作的影响立竿见影。他谈道，从实时版RHEL到AI推理，红帽公布的每一层都是聚合了生态合作伙伴之力，将社区创新转化为企业级方案。

Stefanie Chiras具体分享了三大亮点：

1、RHEL：实时内核与镜像现已同步上架AWS、Azure、谷歌云和Oracle Cloud。同时推出的 RHEL Partner Validation计划允许ISV自助完成兼容性测试并贴上“Validated on RHEL” 标签，上市周期大幅缩短。

2、OpenShift Virtualization：已通过AWS、微软Azure、谷歌云、IBM Cloud、Oracle Cloud Infrastructure认证。正在评估本地虚拟化替代方案的客户，可获得一套随工作负载迁移而跨云一致的现代平台，并配备即插即用的存储、备份/灾备、网络与监控集成。

复星汽车、阿联酋航空等客户反馈，迁移到运行在AMD EPYC处理器上的OpenShift Virtualization后，TCO最高降低77%。

3、AI推理：全新的Red Hat AI Inference Server（内置 vLLM） 首发即支持谷歌云TPU，以及 Intel、AMD、Arm、Power、IBM Z的CPU/GPU。对硬件伙伴而言，只需针对一个推理引擎做优化；对客户而言，可在开放与专有模型之间自由组合。

Chris Wright透露说，红帽将通过两条路径原生支持AI Agent：

1、运行无忧：确保Agent运行时在OpenShift与RHEL上都能高效工作，无论是在数据中心的 GPU，还是边缘节点的CPU。

2、能力内嵌：把Agent能力融入自家产品组合，在Lightspeed旗舰下统一呈现。今天有Ansible Lightspeed，未来还会有面向RHEL与OpenShift的Lightspeed功能。这些服务会暴露API，供Agent调用，实现自动化和日常运维优化。

运行VM（虚拟机）的同一套OpenShift平台，也承载红帽的AI堆栈。“今天把VM现代化，就是为明天的生成式AI打地基。”Ashesh Badani说。

Andrew Brown认为AI的普及速度堪比早期电子商务，横跨所有行业，这是真正的势能，而非炒作。在他看来，缺乏AI技能的新毕业生很快就会被边缘化，而忽视生成式AI的企业则会损失数月的生产力。

据他分享，IDC等市研机构预测，全球约35%的新增AI价值将来自亚太地区。客户选择红帽的原因很简单：平台自由——从小规模起步，快速扩展，并且随时在本地满足需求。

红帽最近发布的OpenShift Virtualization、RHEL镜像模式以及实时特性，让部署更容易，即使身处远离大型科技中心的地区，也能获得一致、安全、可靠的平台体验。

在亚太地区，红帽凭借Red Hat AI Inference Server拿下了不少“新Logo”。这套平台“任何模型、任何连接器、任何云”都能跑，即便只有两名工程师，也能在本地小型集群上迅速搭起生成式AI。

同时，红帽的老客户也在借助Project AI把大语言模型以容器式工件封装，在多云之间自由迁移。

其打法很简单：先帮客户压低AI成本，再提供一个高韧性、高安全的平台来补强（而非替换）现有环境。这套理念在亚太地区非常受认可，系统集成商和ISV已经排队启动试点，有六七个概念验证（PoC）将在本季度落地。

Stefanie Chiras提到印度、中国和东南亚正出现AI井喷，为此红帽成立了面向亚太的共创团队，让他们的工程师与红帽专家并肩开发，再交由系统集成商交付给最终用户。

新推出的RHEL Partner Validation计划，为伙伴打通了快速上市通道，同时也向客户保证“它能在RHEL上运行”，红帽会全程背书。该计划让ISV可自行在RHEL上完成验证，承诺第三方支持，之后再决定是否申请完整认证。

AWS的Distributor Seller of Record（DSOR）计划支持分销商把不同伙伴的产品打包上架。红帽已在澳大利亚把红帽解决方案与本地ISV的AI增值服务捆绑销售，未来RHEL AI和OpenShift AI上市后也会复制这一做法。

无论云厂商推出的是开放还是专有的AI工具，红帽都会“就地对接”，确保工作负载在混合云之间可自由迁移。红帽承诺将客户的选择权放在核心位置，并与每一家超大规模云厂商（hyperscalers）实现无缝集成。

随着AI加速落地，Matt Hicks认为混合云的格局已经翻转。五年前，主旋律还是“全部上公有云”；两年前，大家开始承认，很多工作负载会继续留在本地，同时工厂、门店、车辆等边缘场景迅速崛起。AI进一步放大了这一趋势：为了降低延迟、保证数据就地处理，推理往往必须贴近数据产生点执行。

Matt Hicks说，如今混合云不再是可选项，而是默认架构。在AI时代，一致性、安全、运维管理这些老问题变得不可回避，谁能从核心到边缘把算力和数据统筹起来，谁就能释放巨大的价值。

正如红帽通过将Linux转变为现代IT的基石，开创了开源企业先河，如今红帽正推动构建AI推理。红帽的愿景非常清晰：无论采用何种AI模型、底层加速器或部署环境，vLLM都能成为新型跨混合云环境推理的开放标准权威。

从GitHub Star、下载量或贡献者增速来看，vLLM已成事实上的开源推理标准。

Matt Hicks认为，现在有两股动力把大家拉向vLLM：一是越来越多厂商把模型checkpoint预先调优到vLLM，缩短上市时间，也把维护成本摊给社区；二是英特尔、AMD、NVIDIA以及各大云厂商的自研芯片团队，都在上游提交优化补丁，让自家硬件“开箱即用”。

在他看来，当模型层和芯片层都在同一个项目里投资源，开放标准就会扎根。

Chris Wright补充分享说，谷歌云TPU、AWS Inferentia等云端芯片都直接往vLLM仓库提PR，连主推Triton的NVIDIA也为vLLM做适配，因为大多数新模型首先登陆vLLM。用户只需pip install vllm、加载模型，就能直接获得收益。

他谈道，在AI领域，“开放”这一概念仍在成形。模型基于海量数据训练后，以工件（artifact）形式发布，常用OSI兼容许可证，允许用户微调、修改权重并再次分发。

早期开源曾被质疑稳健性与安全性，但透明度最终扭转了局面，任何人都能审计代码并修复漏洞，这也是为什么今天大多数加密标准都是开放的。

无论许可证开放还是专有，AI的核心安全议题都是一致的：防止输出敏感或有害内容、阻断越狱（jailbreak）提示、抵御对抗样本与数据投毒。

学术界和社区对这些问题的研究非常活跃，而开放能加速解决方案的演进。红帽团队相信开放将继续带来更快速、更优质的安全改进。

从IBM收购红帽的第一天起，双方就统一在三大支柱RHEL、OpenShift、Ansible之上。IBM Cloud Paks很快就成为在OpenShift上构建和运行软件的参考架构，这种一致性变得更为牢固。同样的模式也延伸到虚拟化和AI。IBM的中间件与应用底层统一采用红帽平台。红帽“RHEL + OpenShift核心组合”如今已支撑越来越多的IBM产品，进一步巩固了整个产品线的整合。

AI的未来不应受到基础设施孤岛的限制。红帽团队认为，未来企业可以在任意云环境中的任意加速器上部署任意模型，提供出色且更加一致的用户体验，并且无需高昂的成本。为了释放生成式AI投资的潜力，企业需要一个通用推理平台——一个用以推动未来数年中，更加无缝、更高性能AI创新的标准。

来源：智东西