摘要：3 月 27 日，阿里云消息队列 ApsaraMQ 与全球消息流领域领导者 Confluent 联合举办“云原生 Kafka 线上沙龙”，在阿里云与 CSDN 相关平台同步直播（查看回放：https://live.csdn.net/room/programme

3 月 27 日，阿里云消息队列 ApsaraMQ 与全球消息流领域领导者 Confluent 联合举办“云原生 Kafka 线上沙龙”，在阿里云与 CSDN 相关平台同步直播（查看回放：https://live.csdn.net/room/programmer_editor/C0mn93Ug），重磅发布云原生 Kafka 10x 降本与 10x 无损弹性规格，深度解析 Confluent 亚太独家合作版方案与实践。旨在助力企业深入了解和高效使用经济、稳定、弹性的云原生 Kafka 产品方案，在数字化与智能化转型中实现业务的稳定增长与创新突破。

云消息队列 Kafka 版是基于 Apache Kafka 构建的高吞吐、高可扩展的分布式消息队列服务，广泛应用于日志收集、监控数据聚合、流式数据处理及在离线分析等场景，是 AI 与大数据时代企业数据处理的核心组件。其 Serverless 系列围绕“经济、稳定、弹性”三大核心方向，基于阿里云基础设施深度重构 Apache Kafka，通过存算分离架构等创新升级，构建端到端竞争力，实现弹性降本、稳定可靠和高吞吐低延时等显著优势。同时，阿里云作为 Confluent 在中国大陆地区唯一的合作商，推出云消息队列 Confluent 版，为企业提供集成消息流式处理与大数据系统的一站式解决方案。

Kafka Serverless 新规格：10 倍降本、10 倍无损弹性

1、精准选型，技术降本

云消息队列 Kafka 版 Serverless 系列基础版与专业版，与现有标准版共同构建分层规格体系，精准适配企业多样化业务需求：

基础版 [new]：SLA 99.5%，采用更大比例的低成本资源（包括 HDD、OSS、Spot 实例等），适合测试或流量稳定的业务场景。标准版：SLA 99.95%，2 倍无损弹性，兼顾性能与稳定性，推荐用于生产环境。专业版 [new]：SLA 99.99%，3AZ 环境容灾，RTO=数秒，RPO=0，10 倍无损弹性，是企业级场景的推荐版本。

以搭建一个吞吐量 1200MB/s，读写比 1:1，SSD 云盘三副本的 Kafka 集群为例，云消息队列 Kafka 版 Serverless 系列相比自建显著降低成本：基础版约降低 90%，标准版约降低 75%，专业版约降低 60%。

2、架构升级，超越开源

云消息队列 Kafka 版 Serverless 系列通过架构升级实现以下核心特性，较开源 Apache Kafka 具备显著优势。

强兼容性：100% 协议兼容，广泛适配开源 Apache Kafka 生态工具与组件。高吞吐：基于盘古 DFS 跨数据中心容灾和单存储节点 200 Gbps IOPS，读写吞吐横向扩展，数据可靠性达 12个9，可用性高达 5个9。低延时：存储层通过用户态协议栈、闪存介质和高性能 RDMA 网络，实现百微秒级平均延迟，毫秒级长尾延迟。计算层，针对平均延迟，通过无复制流量充分降低网络吞吐以避免拥塞；针对长尾延迟，采用新一代分代无暂停 GC 和基于 eRDMA 的共享内存，实现高性能内核网络协议栈，实现最高约 30% 时延减少和 5% CPU 资源节省。高可用：采用轻量且安全的 HA 机制代替开源传统的 ISR 复制，支持跨 K8s 集群、跨可用区、跨 Region 的容灾能力，确保在 K8s 集群级和 AZ 级故障时，仍具备极高可用保障。秒级弹性：通过存算分离架构实现计算节点无状态，结合轻量级 HA 机制保障秒级故障恢复，实现资源的秒级弹性。低成本：采用按量付费的计费模型，结合资源弹性与存储优化技术，显著降低使用成本。

3、规模化验证，多行业实践

云消息队列 Kafka 版 Serverless 系列经互联网、金融、汽车、制造等多行业实践验证，充分彰显其应用价值。

曹操出行借助 ApsaraMQ for Kafka Serverless 提升效率，成本节省超 20%

随着业务规模不断扩大，曹操出行面临两大核心挑战：业务流量显著波动，突增流量对技术架构造成压力；数据来源广泛且需要被采集、缓存及分发至不同数据系统处理。借助云消息队列 Kafka 版 Serverless 系列秒级弹性扩展和按量付费等优势，实现技术架构敏捷响应，保障服务稳定性，实现资源利用率优化，节省成本超过 20%。

道旅科技借助云消息队列 Kafka 版加速旅游大数据创新发展

道旅科技采用云消息队列 Kafka 版 Serverless 系列作为实时流处理核心组件，满足实时数据收集、传输及高并发消息处理需求。依托持久化与副本机制，确保数据可靠性及业务连续性，高负载场景下仍可稳定传输消息，避免数据丢失，维护数据完整；基于存算分离架构和动态资源调整策略，实现业务负载自动弹性伸缩，按量付费模式无需预估和配置实例规格，显著降低了运维复杂度和使用成本。

ApsaraMQ for Confluent：企业级核心数据流处理平台

1、强强联合的产品方案

2021 年，阿里云与全球消息流领域领导者 Confluent 公司建立合作关系，在云市场联合发布数据流服务。

2023 年，Confluent 升级为阿里云战略合作伙伴，阿里云成为 Confluent 中国大陆地区唯一合作云厂商，联合聚焦亚太市场，共同构建更全面的 Kafka 消息流解决方案。

2024 年，阿里云与 Confluent 携手发布云消息队列 Confluent 版（ApsaraMQ for Confluent），为企业提供集成消息流式处理与大数据系统的一站式解决方案及专业化服务。

Confluent 服务于全球 5000+ 客户，覆盖各行业头部企业。其核心始创团队为开源 Apche Kafka 的创造者，为项目贡献了 70% 到 80% 代码，并拥有超百万小时 Kafka 技术经验。

云消息队列 Confluent 版（ApsaraMQ for Confluent）是阿里云基于 Confluent Platform 提供的全托管 SaaS 服务，开箱即用，灵活弹性，具备 SLA 保障，支持无缝迁移，大幅降低迁移成本和技术风险，由阿里云与 Confluent 共同提供专业咨询和技术支持。

产品核心能力涵盖 Self-Balancing 等企业级特性，120+ 全托管 Connector 简化数据流入流出，支持轻量级 SQL 实现实时流处理，具备行业领先的数据治理及版本兼容。其技术架构深度融合开源生态与云原生优势，为企业构建实时数据流基础设施，提供标准化、一站式的解决方案。

2、全球领先的技术优势

稳定性和性能：ApsaraMQ for Confluent 提供完全自动化的再平衡，避免人为错误的风险；支持即时弹性伸缩，轻松应对业务负载波动；通过分层存储架构实现海量数据的弹性管理，存储资源无限伸缩，无需新增代理节点，仅需配置热存储层容量，系统即自动完成数据分层存储与调度，无需修改代码或额外开发，显著降低存储扩展的复杂度和存储成本，同时确保业务连续性。

容灾：ApsaraMQ for Confluent 提供多种部署模式，包括单地域集群（默认模式，跨可用区灾难恢复），双地域双集群（可选主从或双主，Cluster Linking 跨地域数据同步）和跨地域扩展集群（以单一逻辑集群简化多地域部署管理，无数据丢失的跨地域容灾，RPO 等于零，故障时可自动恢复）。此外，通过自动观察者升级 AOP 支持自动恢复和 Min ISR，避免对单应用开发复杂的故障转移逻辑，减少在灾难恢复规划上花费的时间。集成和流处理：ApsaraMQ for Confluent 提供超过 120 个预构建 Connector，通过简单配置即可实现零开发运维的数据集成，覆盖各类数据源，企业可快速将业务所需数据接入 Kafka 平台，通过自动化、智能化的流程把数据分发到目标系统完成转换与集成，实现业务需求的敏捷响应。既支持 Java，Python，NodeJS，.Net等主流语言的客户端，也支持仅用少量 SQL 语句即可构建实时应用，显著提升开发效率。此外，其 REST 代理可将应用程序与常用数据源快速、无缝地连接到 Kafka 集群，提高整体架构的灵活性与扩展性。

安全、合规和管制：ApsaraMQ for Confluent 在认证、授权、加密及审计方面，提供全面的安全保障。认证方面，支持 OAuth 单点登录实现统一身份验证；授权方面，支持基于角色（含预定义与自定义）对关键资源（Kafka 集群、Connector、模式注册表、Rest 代理和控制中心等）的统一授权管理和细粒度访问控制；审计方面，覆盖业务操作与管理行为；数据管制方面，提供模式注册表和数据合同，若数据不符合预注册模式则无法写入 Kafka Topic，还提供模式变更净化政策，若不符合净化政策会拒绝模式更改。数据合同还支持无代码验证多源数据，提高数据之间的兼容性。

3、全球化与智能化场景最佳实践

跨国业务场景 —— BMW 案例

宝马集团成立于 1916 年，在 15 个国家/地区经营着 31 家工厂，全球销售网络覆盖 140 个国家/地区。其智能制造与业务运营依赖海量实时 IoT 数据（如机器温度、设备性能、装配线零件位置），需要一个高度可靠且可扩展的实时数据流中枢系统。

宝马集团早期采用开源 Apache Kafka 取代旧的批处理模型，实现多应用连接与集群统一，却因架构复杂性导致运营负担加剧、成本攀升，且系统可靠性无法满足全球业务全天候运行的需求。

通过使用 Confluent，宝马集团将 Apache Kafka 的部署达到企业级标准，使整个组织能够高效利用大规模实时数据，并构建了一个支持创新用例的、面向未来的数据流架构，为其全球化的智能制造与业务决策提供了关键支撑。

GenAI 场景 —— GEP 案例

GEP 作为全球领先的供应链咨询公司，其原有 Kafka 架构因批处理周期长达三个月导致决策滞后，且 20 人团队难以支撑单集群每月多达 50 万条事件的规模。

GEP 通过采用 Confluent 实现架构升级：利用预构建连接器实现系统间（含SQL数据库、Elasticsearch等）500+ 微服务无缝连接和数据流转；免于管理基础设施，使开发团队得以专注 AI 产品创新，通过实时数据管道向集成 GPT 模型的 AI 堆栈持续传输背景化数据，成功开发可为用户提供实时情境化洞察的生成式 AI 聊天机器人；系统处理能力从单集群每月处理 50 万条事件，扩展至跨多个集群每月处理超过十亿条事件，并且实现零数据丢失；预测性 AI 性能提升 1400%，使设备故障预测窗口从原来的不足30分钟，到能够提前 30 分钟预测故障。助力 GEP 通过实时数据流加速智能决策、优化用户体验并释放业务创新潜力。