实时计算的未来路向何方？

摘要：2024年11月29日，Flink Forward Asia 2024 峰会正式拉开帷幕。Flink Forward Asia 是由 Apache 软件基金会官方授权，由阿里云承办的技术峰会。

2024年11月29日，Flink Forward Asia 2024 峰会正式拉开帷幕。Flink Forward Asia 是由 Apache 软件基金会官方授权，由阿里云承办的技术峰会。

Apache Flink 的过去、现在、未来

Apache Flink 中文社区发起人、Apache Paimon PMC Member、阿里云开源大数据平台负责人王峰带来了主旨演讲《The Past, Present and Future of Apache Flink》。回望过去十年，Flink 从最初的流处理框架到如今全球范围内流计算的事实标准，经历了多次重要版本迭代和技术革新。目前，Flink 社区在全球的贡献者已有近2000人。

王峰介绍，为了满足大模型应用等新兴场景的需求，阿里云正在主导推进 Flink2.0 的研发，将全方位提升 Flink 的性能和功能易用性，例如将采用全新的存算分离架构、深度融合湖仓架构等。这是2016年 Flink 1.0发布以来最大规模的更新，该版本将于2025年正式发布。王峰表示：“从使用者，到社区最大的贡献者，阿里巴巴将持续推动 Flink 技术生态的繁荣，让 Flink 普惠千行百业企业。”

Apache Flink 2.0：面向未来十年的流计算引擎

Apache Flink PMC 成员宋辛童、梅源、李麟三位专家详细介绍了即将发布的 Flink 2.0 版本。为应对大数据实时计算在近年来云原生、数据湖、AI 等技术趋势下面临的新挑战，Flink 将在 2.0 版本中进行重大技术架构升级与革新，包括存算分离的状态存储与管理、流批一体、SQL Materialized Table、与 Apache Paimon 深度集成的流式湖仓架构、以及在 SQL 中原生支持 AI 模型调用等。

Paimon 1.0：大数据+AI一体化湖存储引擎

Apache Paimon PMC 主席、Apache Flink PMC 成员李劲松分享了基于 Paimon + Flink 实现的数据湖解决方案。李劲松介绍，目前企业内大数据从业者有三个难题：如何在降本的大环境下让数据变得更实时、框架存储多难维护成本高、大数据和 AI 的结合。应对这些难题，Flink + Paimon 打造流式湖仓架构，可以实现低成本离线数据加速、面向流、批、OLAP 构建流批一体架构、并让湖仓成为 AI 的基础架构。

淘天集团、抖音集团、vivo等行业嘉宾分享了基于 Flink + Paimon 架构实现实时湖仓一体的产业实践，并分享了在时效性提升、计算存储成本优化、流批一体开发效率提升等方面的具体实现路径。

Fluss：面向实时分析的下一代流存储引擎

在本次大会上，阿里巴巴正式开源了新一代流存储引擎 Fluss （项目地址：）。

Apache Flink PMC成员伍翀介绍，Fluss 创新性地将列存格式和实时更新能力融合进了流存储中，并与 Flink 深度集成，帮助用户构建高吞吐量、低延迟、低成本的流式数仓。Fluss 具备实时读写、列式裁剪、流式更新、CDC订阅、实时点查、湖流一体等核心特性。