flink

货拉拉Flink CDC实践:稳定性建设与数据入湖新探索

货拉拉是一家拉货搬家跑腿发长途平台,创立于 2013 年,成长于粤港澳大湾区,是从事同城/跨城货运、企业版物流服务、搬家、零担、跑腿、冷运、汽车租售及车后市场服务的互联网物流商城。通过共享模式整合社会运力资源,完成海量运力储备,并依托移动互联、大数据和人工智能

cdc flink flinkcdc 2025-02-09 19:32  9

基于 Flink 进行增量批计算的探索与实践

在探讨为什么要做增量计算之前,我们先简单的聊聊增量计算的定义。增量计算是指面向增量数据的处理,与之相对的是全量计算。传统的批计算通常采用全量计算的方式,它会通过单次执行 SQL 语句来达到预期目标。在这一次处理中,作业会读取所有所需数据,并生成一个完整的结果集

sql runtime flink 2025-01-08 10:22  7

云服务器Flexus X实例,Docker集成搭建搭建Flink

Apache Flink是一个分布式大数据计算引擎,专为处理无界和有界数据流上的有状态计算而设计,以其高吞吐量、低延迟和高性能在实时流处理和批量计算领域脱颖而出,Flink支持批流一体化,即能够同时处理实时数据流和静态数据集,使得数据处理更加灵活高效

服务器 服务器flexus flink 2025-01-01 20:30  11

Flink State 状态原理解析

State 用于记录 Flink 应用在运行过程中,算子的中间计算结果或者元数据信息。运行中的 Flink 应用如果需要上次计算结果进行处理的,则需要使用状态存储中间计算结果。如 Join、窗口聚合场景。

checkpoint flinkstate flink 2024-12-25 09:36  12