中国南方航空 NoETL 指标平台实践案例分享

B站影视 港台电影 2025-03-31 17:37 1

摘要:各位来宾,大家下午好,我是曹曙玮,来自矩云信息。我们是 Aloudata 大应科技的合作伙伴。今天非常荣幸受到邀请,在这里为大家分享一下我们在中国南方航空(以下简称:南航)用户中心部门的项目实践。

文章整理自曹曙玮演讲内容(曹曙玮,矩云信息联合创始人 & 技术负责人)

各位来宾,大家下午好,我是曹曙玮,来自矩云信息。我们是 Aloudata 大应科技的合作伙伴。今天非常荣幸受到邀请,在这里为大家分享一下我们在中国南方航空(以下简称:南航)用户中心部门的项目实践。

Part 1. 项目背景:两大痛点

这里我先介绍一下南航用户中心这个部门。用户中心是一个业务服务部门,主要通过用户中心运营平台为 C 端和 B 端客户提供服务,将 Data Facts(客户数据管理)、Data Insights(客户洞察分析)和(Take Action)客户触达和运营的全流程形成完整闭环。

在客户数据管理方面,主要涉及传统的 ETL 工作,包括 One ID、ID Mapping、基于数据的身份校验或手机号验证,以及处理客票、辅收等业务数据。

在客户洞察分析方面,主要提供面向决策层的经营看板和驾驶舱,以及面向运营层的日常运营报表。同时,配备多种分析工具,包括流程分析、路径分析、单个用户的 360 度画像分析、基于客群的画像分析,以及面向 C 端和 B 端客户的标签管理工具,以满足不同层级的分析需求。

在客户运营触达方面,主要涵盖营销自动化和客户旅程编排,并通过短信、小程序、企微等渠道实现客户触达,并结合智能客服、广告投放和权益投放,形成一套完整的客户运营链路。

前期,我们团队主要负责数据治理和标签工具建设。随着数据体量的增加,用户中心也遇到了许多企业常见的瓶颈问题,主要集中在以下两大方面:

第一是查询性能慢。

具体表现为 ETL 任务耗时长,任务更新每天需耗费近一天时间。再由于南航部分业务位于西半球,数据入库需等待约 15 小时左右,导致最延迟的数据更新周期接近两天。

同时,用户中心目前管理着近 3 亿客户,每位用户每天会产生约 800 个标签。这些海量数据累积后,对上层标签查询造成巨大性能开销,导致查询响应缓慢。为缓解这一问题,目前限制每次使用数据时的客群规模不得超过 5 万人,这严重制约了整体数字化运营效能。此外,这些问题也影响到基于这些数据搭建的上层应用系统的响应速度。

第二是用数效率低。

体现在业务需要通过数据中台去提需求,然后等待开发排期。这样的开发模式差不多需求交付需要两周时间,有些需求上线时场景已经过期。而标签的筛选,虽然已构建灵活且贴近业务的标签筛选工具,但仍无法完全满足复杂多样的业务需求。此外,当前运营工具也无法实现灵活的下钻分析和归因分析。

Part 2. 解决方案

为应对这些痛点,我们可能有多种方法。比如增加硬件资源;或者是优化数据库结构,如分表分库、增加分片和索引;再或是引入新的数据引擎,优化数据查询路径。但南航用户中心希望在降本增效的背景下,找到一个高效且轻量化的解决方案。

他们不希望进行重复建设,如引入新的引擎或数据底座,构建更加庞大的数据加工体系,也不希望通过定制开发来满足复杂多变的业务需求。他们需要一个业务导向、能够快速响应的工具,以灵活应对各类业务需求。

在我们对如何解决南航「既要又要」的问题感到一筹莫展之际,遇到了 Aloudata 大应科技,发现他们提供的 Aloudata AIR 和 Aloudata CAN 两个产品,能够“点对点”地解决客户的痛点需求。之后便与客户展开沟通,方案获得认可后安排了 POC,并在完成 POC 后验证了产品的适用性,以及按照流程进行了漏洞扫描和安全检测,最终于去年 10 月成功上线。

针对查询性能慢的问题,我们使用 Aloudata AIR 作为逻辑数仓,实现多数据源的接入,统一语义和跨源查询功能,并按需按策略同步数据,优化查询路径,提升整体查询性能。针对用数效率低的问题,我们使用 Aloudata CAN 作为指标平台,其提供的灵活拖拽和衍生功能,能够支持业务自助创建复杂逻辑以及与业务系统的对接,从而提升业务查询和用数的灵活度。

在南航内部使用方面,技术部门主要使用 Aloudata AIR,负责构建底层的事实表和维度表,并通过 Aloudata AIR 的智能查询加速能力提升查询性能。对于业务人员,主要使用 Aloudata CAN,他们无需管理底层技术口径,而是从业务角度出发定义业务口径。如此一来,两个产品在此过程中便起到了技术与业务之间的“翻译”作用。

上线后,结合 Aloudata 两款产品的能力,客户也完成了对自身数据加工链路的优化。优化前,数据从数据中台提取,经过近一天的 ETL 同步到 ADB 和 RDS 中,再基于这些数据搭建客户运营、标签查询、指标查询及 One ID 等业务工具。

引入 Aloudata 产品后,架构实现改进:Aloudata AIR 直接对接数据中台,部分需要加速加工的数据通过这条链路处理。在此基础上,将事实表和维度表与 Aloudata CAN 直接打通,然后向上层业务层提供统一定义和自动化开发的指标服务,解决客户运营、标签查询、指标查询等用数需求。

在技术架构优化后,业务架构也相应得到提升。因为 Aloudata AIR 和 Aloudata CAN 分别完成了数据模型和标志指标口径的沉淀,能够帮助客户建立一套统一的运营模型来指导业务开展。在用户中心内部,我们也借此机会重新梳理了分析方法论体系和运营标准 SOP,并基于此构建了指标体系、标签体系和运营体系,以及评估体系等,来衡量这些工具建设后的效能。

经过技术架构和业务架构的优化,南航用户中心的业务模式也随之发生了显著变化。过去,客户用数方式是技术导向的,采用自下而上的模式,先建设平台和基础设施,再开发上层应用,呈金字塔结构,必须完成所有建设后才能使用。如今,用数方式转变为业务导向的自上而下模式,业务部门提出需求后,可根据最优路径直接取数。数据并不是全部存储在 Aloudata AIR 中,而是通过 Aloudata AIR 构建的逻辑数仓根据数据热点灵活调用,优化数据的整体调用路径。

在数据同步方面,过去需要数据全量同步,这不仅耗费大量资源和时间,还导致响应速度缓慢。如今,通过优化后的平台,业务部门能够根据数据的使用频率按需同步。例如,80% 的低频数据便无需同步,从而大大节省了底层性能消耗。同时,业务部门可以自主使用数据,经审批后即可直接上线,极大地提高了效率。关于数据口径的管理和加工,过去是由技术部门统一负责,技术与业务之间的沟通成本很高。现在,业务人员无需深入了解底层技术细节,只需通过业务语义和自身对业务的理解,就可以通过拖拉拽的方式操作底层指标和维度,自行构建所需的报表和数据需求。

Part 3. 场景赋能

场景一:重构指标和标签体系

在指标方面,用户中心以业务 KPI 为导向,设定核心的北极星指标以及相关的派生指标,基于这些指标,能够对具体的业务行为进行拆解,并从战略层到执行层一步步明确对应的指标。当核心指标发生变化时,可以下钻分析,找出导致北极星指标或派生指标变化的具体行为。

在标签体系层面,通过快速监控与分析标签的业务价值和使用频率,剔除低频使用的标签,提炼出真正为业务创造价值的核心标签,并加以推广使用。这样,过去分散在各地的指标和标签,通过结构化的体系和标准模型,不仅实现了统一的管理,还提升了整体效能。

场景二:报表、运营看板和驾驶舱

业务人员可以通过指标平台,以拖拉拽的方式快速输出分析视图,并对接 Quick BI 等工具去搭建运营看板和驾驶舱。同时,业务人员在完成自主分析后,可以将分析结果导出并另存为用户标签,用于权益投放、消息触达,以及结合指标进行二次分析,查看用户标签分布和贡献度。

这些标签还可以对接下游的客户旅程编排工具,如营销自动化 MA 工具,用于流程节点判断和千人千面的运营触达。指标平台可直接对接 Quick BI 或通过 API 输出数据至 H5 页面或 APP 工具,并支持业务自由导出 Excel 进行个性化处理,大幅提升了数据开发和分析效率。

场景三:指标告警与业务决策

通过 Aloudata CAN 指标平台对接业务决策的 RPA 系统,可以实现基于指标的告警与事件触发。当业务告警发生时,系统可自动推送告警邮件、短信、企微通知,让业务人员及时采取措施,同时触发流程判断和事务操作,告知下游系统采取相应行动。

场景四:标签的建设与运营效能分析

平台上线后,业务部门利用 Aloudata CAN 指标平台对内部标签使用效能进行分析。过去,南航建设的基础设施和系统虽多,但其效益、性能和投资回报率一直是领导层关注的问题。通过指标平台,他们可以了解到哪些标签对核心业务产生了价值,哪些标签在终端业务员使用中对活动效果,如“随心飞”或“畅游中国”有实际收益提升作用,并展开归因分析和洞察,评估标签质量、覆盖度、活跃度等,从而保留真正有价值的标签。

Part 4. 未来规划

项目落地并稳定运行后,我们与南航探讨了未来发展方向。

第一个重点是智能问数。因为 Aloudata CAN 本身已经对数据语义进行了加工,沉淀了丰富的语义库。基于此,南航希望通过对接大语言模型,实现从自然语言到语义层再到数据查询层(NL to Semantic to SQL)的翻译和转换,从而为用户提供更便捷的数据查询和分析体验。

第二个重点是对外输出服务。南航还提出将工具市场化,即将其推广到遍布全国的分公司和子公司,供其调用平台内的指标,并按调用次数收费。通过这种商业模式,南航希望推动集团内部数据建设的标准化,提升整体数据管理效率和效益。

第三个重点是乘机体验分析。南航希望通过将自有的各类智能设备对接指标平台,如登机口面板和服务区域设备等,实时查看其产生的动态数据趋势和变化。基于这些数据,为一线业务人员提供实时反馈,帮助他们采取措施改善服务,提升用户的乘机体验。

第四个重点是系统使用效能分析。利用 Aloudata AIR 对数据中台进行数据校验和治理,例如检查每天的 ETL 任务是否出错、数据总量是否一致等;利用 Aloudata CAN,监控标签的使用效能、产生的效益等。如此,对整体系统的建设提供效能分析支持。

Part 5. 一个小故事

在去年系统上线后,我向南航领导汇报了 Aloudata AIR 和 Aloudata CAN 产品及其价值理念,并进行了 Demo 演示。领导听完后很兴奋,问我这两个产品是否为南航量身定制。

我内心一紧,担心他希望我们做深度定制开发,于是赶忙解释说,我们提供的是标准产品,包含数据治理规范、标准、管理方法和输出模型,旨在推动南航数据治理和标准化建设。领导听后表示理解,并解释说他问这个问题,是因为产品名字与南航内部体系高度契合。南航内部很多产品命名都包含“AIR”,它的官网就是 CSAIR,而“CAN”是广州白云机场的三字码。所以他认为这两个名字非常契合南航的产品体系,仿佛是为南航量身定制的。

此后,我在与南航同事交流时都会强调,Aloudata AIR 和 Aloudata CAN 并非特指航空器或广州白云机场,而是代表一种 NoETL 的产品价值理念和在数据治理与使用方面的实践经验。通过这两个产品,我们希望向客户传递这些理念。

以上是我今天分享的全部内容,谢谢大家。

来源:Aloudata大应科技

相关推荐