客户说|光云科技 X AnalyticDB:构建AI时代下的云原生企业级数仓

B站影视 2024-11-27 10:48 1

摘要:阿里云AnalyticDB承载了光云海量数据的实时在线分析,为各个业务线的商家提供了丝滑的数据服务,支持实时物化视图、租户资源隔离、冷热分离等企业级特性,很好地解决了SaaS场景下的业务痛点,也平衡了成本。同时也基于通义+AnalyticDB研发了企业级智能客

阿里云AnalyticDB承载了光云海量数据的实时在线分析,为各个业务线的商家提供了丝滑的数据服务,支持实时物化视图、租户资源隔离、冷热分离等企业级特性,很好地解决了SaaS场景下的业务痛点,也平衡了成本。同时也基于通义+AnalyticDB研发了企业级智能客服、智能导购等行业解决方案,借助大模型和云计算为商家赋能。

—— 光云科技CTO 王祎

光云科技是中国首批电商SaaS服务商,是互联网SaaS模式的软件技术创新型企业。光云科技秉承“让企业经营更卓越”的使命,专注于为企业提供电商运营的全链路解决方案,致力于成为全球企业软件服务领域的领跑者。光云科技累计服务包括海澜集团、慕尚集团、地素集团、百丽集团、森马集团在内的数十家上市集团以及超过2000家大型国内知名电商及零售企业,服务范围涵盖服装、鞋靴、箱包、运动品类、配饰等泛时尚类目。

在Data+AI技术发展驱动下,电商软件服务正在发生变革,在线数据处理、实时分析和智能化决策成为新的业务趋势。

随着海量数据在线处理、实时分析、智能化成为客户刚性需求,现有的数据仓库技术面临五大挑战。

挑战一:复杂自定义配置

业务上开放了自定义配置能力,商家修改配置后想要立马看到配置之后的数据。数据仓库引擎需要具备丰富的函数支持、事务以及复杂逻辑处理能力,能够根据配置在线重算历史数据并且对客提供分析服务。

挑战二:实时计算能力

海量数据需要数仓具备处理复杂逻辑的能力,并支持长周期窗口实时分析和与历史同环比分析的能力。

挑战三:长周期数据应用

长周期数据分析对商家来说很有价值,数据仓库引擎需要支持冷/热数据分层来控制长周期数据存储成本,引擎自动实现归档和路由,同时在开发和使用上对业务是无感的。

挑战四:混合业务负载

在业务高峰期同时存在高吞吐写入、批处理、实时计算和在线查询混合业务负载的需求。

挑战五:高可用和高可靠

由于对外提供服务,因为需要保障业务的连续性。发生单节点宕机时需要保障集群性能不降级。

应对业务发展对技术的挑战,光云科技基于阿里云瑶池旗下的云原生数据仓库 AnalyticDB PostgreSQL 版实现了架构升级,打造新一代的在线数仓,同时构建AI原生的仓内智能能力,并且在AI创造场景上进行了探索。

动态资源弹升

数据产品对外提供付费服务,因为需要时刻保障业务连续性。开源MPP架构产品虽然能提供高可用能力,但在计算节点依赖的宿主机发生宕机情况下会影响整个集群的性能。为了保障集群性能不降级,AnalyticDB for PostgreSQL提供了动态资源弹升的能力。

流批一体实现商品分析

AnalyticDB for PostgreSQL提供增量实时物化视图,经过验证后符合生产的功能与性能要求:语法支持丰富,多表关联、嵌套子查询、窗口函数等复杂语法都可以支持。支持行级数据刷新和级联刷新,不需要业务上来实现数据任务的调度依赖。在Upsert下通过分布式直写计算节点能力可达到10W+ RPS的写入吞吐,目前在商品分析、利润分析、物流预警等场景上已实现落地。

混合负载与资源隔离

集群同时存在高吞吐写入、历史数据重算、实时计算和在线分析服务需求,因此需要支持混合业务的数仓负载。AnalyticDB for PostgreSQL基于CGroup、共享内存等实现资源组技术,支持对并发数、CPU资源、内存资源等进行管理;构建不同的资源组,根据业务在不同时间段的重要性动态地分配资源,比如在早上需要保障在线分析服务和实时计算的业务连续性,在数据刷新的资源可以调低一些。在凌晨则相反,批处理加工的资源最大,同时也保留一部分资源保障KA客户的分析服务。通过资源配置,在保证业务资源权重的基础上,充分利用其他租户业务的闲置资源。

冷热数据分层存储

AnalyticDB for PostgreSQL基于ESSD+OSS实现数据冷热分层,降低数据存储成本。基于TTL/HPN进行自动化冷热调度,无需手动干预;基于保留时间TTL或热分区数HPN进行自动冷热调度,无需定制业务逻辑。同时保障业务灵活性,支持分区级别冷热调度及字段值冷热调度,非时间字段分区表也可进行冷热分层。

实时数据集成

AnalyticDB for PostgreSQL提供Zero-ETL、Kafka订阅、写入能力扩展和实时数据集成能力。

Zero-ETL:提供Zero-ETL服务,将分散、零乱、标准不统一的数据整合到一起,实现数据平滑“无感”的流动,为企业的决策提供分析依据,并降低建仓资源成本。

Kafka订阅:提供Streaming Server服务,支持订阅Kafka数据直接入库,将数据直接并行写入Segment节点,实现高性能流式数据写入。

写入能力扩展:支持横向及纵向扩展Streaming Server资源及节点数量,实现更高吞吐写入。

实时数据集成:提供Flink Connector和ClientSDK等,支持Flink及应用直接对接Streaming Server。

光云科技在数据仓库之上进行了AI场景化探索,主要是企业级智能客服解决方案的实践。

大模型服务拥有强大的意图理解和人性化表达能力,并基于AnalyticDB for PostgreSQL引入私域知识,通过RAG能力调优提升知识匹配精准性、提高问答准确率,为客户提供严谨的智能导购服务。光云科技支持将各类ERP、OMS等外部系统集成到快麦小智,并支持前端淘宝、天猫等各类电商平台的交互,提供客服机器人、人工客服、自动化订单任务等多样化服务。

光云科技和AnalyticDB for PostgreSQL一起打造了最适合电商行业的数据仓库及最佳实践,针对五大挑战提供了创新的技术解决方案,单一引擎同时满足离在线处理、实时数据分析和智能化场景,大大降低了开发和运维成本。同时,在业务上为商家提供灵活、敏捷、实时和智能的数据分析服务。通过这次的架构升级,光云科技完成了Data+AI升级和转型,对外能提供AI原生能力,让AI应用的开发和应用更普惠,通过循序渐进的探索和落地,未来在ERP上一定会实现全面智能化。

光云科技在核心交易场景同时使用了阿里云数据库PolarDB,搭配Serverless实现无感动态弹升,用于承载电商大促交易。阿里云瑶池数据库助力光云科技业务稳定运行。

来源:总有无能为力的不愉

相关推荐