摘要:数据湖时代,数据分析人员面临多重挑战:数据量庞大,查询速度得不到保障;数据源众多,跨数据源查询困难;分析人员需要具备集群管理、运维各项专业的能力,使用门槛高;临时性探索查询,需求即来即用;数据的迅速增长,计算资源无法根据数据增长,快速弹性扩容等。
数据湖时代,数据分析人员面临多重挑战:数据量庞大,查询速度得不到保障;数据源众多,跨数据源查询困难;分析人员需要具备集群管理、运维各项专业的能力,使用门槛高;临时性探索查询,需求即来即用;数据的迅速增长,计算资源无法根据数据增长,快速弹性扩容等。
华为云数据湖探索(Data Lake Insight,简称DLI)是兼容Apache Spark、Apache Flink、HetuEngine生态,提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务。用户不需要管理任何服务器,即开即用。
DLI支持标准SQL/Spark SQL/Flink SQL,支持多种接入方式,并兼容主流数据格式。数据无需复杂的抽取、转换、加载,使用SQL或程序就可以对云上CloudTable、RDS、DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索。
五大优势,让数据处理更便捷
1.即来即用
完全托管,用户无需运维任何基础设施,数秒开通服务,即来即用。
2.简单易用,低门槛上手
兼容主流数据格式,支持多种接入方式,同时保持用户使用习惯。
3.支持跨源联邦查询能力
用户直接使用SQL查询海量明细数据、过程缓存数据、高阶加工数据。
4.企业多租户
资源隔离、数据权限控制。
5.秒级查询性能
采用Hudi存储技术,本地存储加速,提供秒级查询性能。
四大使用场景,满足多项业务需求
1.历史数据源联合分析
直接查询海量原始数据,数据时间范围跨度大,查询维度不固定,灵活多变。
典型应用:流水审计、车辆驾驶行为分析、轨迹回放等。
2.异构数据源联合分析
数据存在不同存储系统中,业务复杂,需要对数据做关联分析。
典型应用:冷热数据同比分析,对云上OBS、CloudTable、RDS、DWS的数据做联合分析。
3.交互式多维分析
查询维度相对固定,数据查询时延低,支撑产品数据化运营决策。
典型应用:BI分析,用户留存率,用户分类偏好分析,商品好评率分析等。
4.海量行为日志分析
直接查询海量原始数据,数据时间范围跨度大,查询维度不固定,灵活多变。
典型应用:车辆驾驶行为分析、广告运营数据分析、金融行情分析等。
注:本文素材参考华为云官方,版权归作者所有
来源:晓晨看科技