解构Amazon MSK快速代理迁移策略扩展速度较标准代理快20倍

摘要：Amazon MSK现在提供名为快速代理 (Express Brokers) 的新代理类型。与运行Apache Kafka的标准代理 (Standard Brokers) 相比，它能为每个代理提供高达3倍的输送量，扩展速度提高20倍，并将恢复时间缩短90%。

Amazon MSK现在提供名为快速代理 (Express Brokers) 的新代理类型。与运行Apache Kafka的标准代理 (Standard Brokers) 相比，它能为每个代理提供高达3倍的输送量，扩展速度提高20倍，并将恢复时间缩短90%。

快速代理预配置了Kafka最佳实践，支持Kafka API，并提供与Amazon MSK客户期望的相同的低时延性能，让客户可继续使用现有的用户端应用程序，而无需进行任何更改。快速代理无需预先配置即可提供无限存储空间。用户使用Amazon MSK Replicator将所有数据和元数据从现有MSK集群复制到由快速代理科成的新集群。

在以下部分中，我们将概要分析使用MSK Replicator进行迁移所需的考虑，以及将数据从标准代理MSK集群复制到Express代理MSK集群的解决方案。有兴趣了解完整内容的读者可参阅详情原文。

从标准代理迁移到快速代理需要彻底规划并仔细考虑各种因素。首先，用户需要评估源集群的基础设施和需求，其中考虑因素包括CPU使用率、网络输送量、数据吞吐量 (volume throughput)、平衡分区 (balanced partitions)。其次，用户需要评估目标集群的基础设施和需求。使用相同的大小调整工具，用户可以估计到快速代理集群的大小。通常与标准代理相比，对于相同的工作负载，可能需要更少快速代理，因为根据实例 (instance) 大小，快速代理允许的进口吞吐量 (ingress throughput) 最多增加三倍。

当评估好需求后，用户需要配置Express Broker以及安排用户端与目标集群的连接。继而用户可以选择一次过进行迁移或分阶段迁移。一次过迁移的操作较简单，但出现故障的话会对客户端带来风险。分阶段迁移则能有效降低风险，但需要仔细规划。另外，用户还需要考虑采用Consumer或Producer优先的策略。每种策略都有其利弊，用户既可以参考更多迁移案例，又或寻找本地可靠的云计算迁移专家了解更多。

最后，当用户做好压缩类型配置，制定切换计划(cutover plan)，以及确保原有的schema注册表可继续使用之后，便可以开始部署迁移。

在下图可见，部署了两个Amazon MSK预置集群：一个使用标准代理（原始），另一个使用快速代理（目标）。两个集群位于同一AWS区域和VPC中，并激活了IAM身份验证。MSK Replicator用于将主题、数据和配置从原始集群复制到目标集群。Replicator配置在两个集群之间保持相同的主题名称，从而提供无缝复制，也无需更改用户端。