摘要:在企业中,由于开发时间或开发部门的不同,往往有多个异构的、运行在不同的软硬件平台上的信息系统同时运行,这些系统的数据源彼此独立、相互封闭,使得数据难以在系统之间交流、共享和融合,从而形成了“信息孤岛”。
在企业中,由于开发时间或开发部门的不同,往往有多个异构的、运行在不同的软硬件平台上的信息系统同时运行,这些系统的数据源彼此独立、相互封闭,使得数据难以在系统之间交流、共享和融合,从而形成了“信息孤岛”。
而随着信息化应用的不断深入,企业内部、企业与外部信息交互的需求日益强烈,急切需要对已有的信息进行整合,连通“信息孤岛”,共享信息。许多行业提出将企业内外部数据进行统一治理及高效利用辅助决策分析的需求,在这种背景下以互联网、云计算等为代表的新一代信息技术被广泛应用,数据分析相关产品成为解决此类问题的重要工具。
DAP数据分析平台是一款专门用于企业大数据平台构建的产品,它可以对从业务系统或者ODS中抽取来的海量数据进行高效存储、计算、分析并处理。最终将有价值的数据以可视化的形式进行展现,能够有效地帮助企业清晰地分析优劣势,从而调整企业策略,加快企业的信息化发展与整体竞争力。
1.产品方案
DAP数据分析平台主要是处理企业的数据分析以及数据治理的去修,像刚刚说到的可以结合MDM基础数据平台,ESB数据服务总线和Portal统一门户平台构建成数据中台方案,方案的主要内容为基础数据治理、数据仓库建设、数据分析展现等,通过平台建设实现企业数据的整合汇聚,构建数据中心,基于数据进行分析展现、透视业务、价值挖掘,有效支撑企业的业务发展。整体架构图如下:
2.功能架构
DAP数据分析平台中预置了丰富的组件,饼状图、条形图、散点图、折线图等满足企业的真实所需。它可以对从业务系统或者ODS中抽取来的海量数据进行高效存储、计算、分析并处理。最终将有价值的数据以可视化的形式进行展现,能够有效地帮助企业清晰地分析优劣势,从而调整企业策略,加快企业的信息化发展与整体竞争力。
1.数仓建设:包括ODS建设、数仓建设等内容,通过数据采集、加工、转换、汇总的过程实现从源头系统到数仓的建设;
2.数据分析:基于数仓构建数据集、立方体、指标集等分析模型,通过DAP预置的可视化组件实现可视化分析与联动穿透,从而支持企业数据的查看以及业务管理;
3.数据挖掘:通过平台预置的各类算法对数据进行训练与模拟,构建算法模型对象,从而实现数据的预测与价值挖掘,支持业务层面的数据应用;
4.数据服务:根据配置的各类分析模型自动构建数据服务接口,实现对外进行数据提供和应用;
5.数据资产:基于数仓数据构建数据资产体系,将企业数据构建成数据资产,用于企业数据的管理、价值分析以及数据共享;
6.质量安全:通过数据加密、脱敏策略实现对关键数据、敏感数据的加密、脱敏处理,保证数据使用过程中的数据安全性。
3.体系架构
DAP数据分析平台的可视化体系采用三层架构设计,逐层递进满足不同用户的数据需求。
其中主要分为数据操作层,分析洞察层,全局看板层。其中数据操作层基于报表、表单和画像页面。分析洞察层通过分析页和检索页进行数据的检索展示。全局看板层以看板为核心,支撑战略决策与高效运营。三层协同实现了从明细操作到宏观决策的数据价值闭环,全面提升组织数据驱动能力。
在企业数据可视化与分析实践中,传统方式与基于DAP的现代化三层架构存在显著差异。以下从业务、数据和技术三个角度对传统痛点进行剖析,并对比新架构的解决思路。
1.业务痛点
传统的可视化方式基于不同的业务系统分别进行可视化分析,存在着显著数据孤岛的现象,缺乏联动:业务报表多为静态、分散的文件或单一页面,各报表间数据隔离。业务人员需在不同系统间手动交叉核对数据。而结合DAP数据分析平台的三级分析体系可以实现分析闭环,让业务分析流程自然流畅。
2.数据痛点
传统的可视化方式中的数据散落在不同部门的报表中,缺乏统一治理,存在着口径不一的现象,并且价值挖掘不足,数据价值未能充分发挥。一旦数据变化,业务人员需在修改大量报表代码,维护成本较高。而结合DAP数据分析平台可以实现所有可视化内容基于同一套经过治理的数据仓库,保障了数据来源和计算口径的一致性,并且基于此深度挖掘数据价值。
3.技术痛点
传统的可视化方式开发周期长,成本高:从业务提需求到前端报表开发,整个过程链路长、沟通成本高,一张新报表的开发上线往往以“周”为单位。而且还需要大量汇总表实现数据的汇总,导致数据的冗余。而在DAP数据分析平台中无论是可视化内容(如看板、分析页、报表),还是数仓的配置生成,都可以通过配置方式快速生成,大幅缩短交付周期,并且基于视图实现数据的高效查询,保证了性能和响应速度。
DAP数据分析平台的展现体系致力于将分析结果以直观、高效的方式呈现给用户。该体系分为数据操作、分析洞察和全局看板三个层次,分别面向不同的业务人员,提供与其需求相匹配的信息和数据。
1.数据操作
数据操作层主要提供全面、可视化的数据接入与检索能力,使用户能够高效完成数据的获取和查询,其主要表现为报表,画像,以及数据的明细表单页面。
数据操作层的具体说明如下:
1.报表页面:作为数据操作层的首层,主要是对数据进行简单的查询以及进行数据的筛选,完成对数据的初步整理查看。
2.画像页面:作为和明细页面同级的页面,用于展示数据实体的特征信息,并且结合不同特征展示对应的业务信息。
3.明细页面:作为展现体系中数据最详细的页面,是数据穿透分析的终点,用于展示数据的全部属性和详细信息。
2.分析洞察
与数据操作层不同的是,分析洞察层提供多维分析与数据筛选能力,缩短从提问到获取洞察的路径,提升分析的敏捷性与深度,推动数据驱动业务优化。
分析洞察层的价值和作用如下:
1.数据筛选:用户可通过点选字段、过滤条件自定义分析数据集,无需依赖IT人员重新开发数据模型。
2.自定义分析:在分析洞察层可以配置丰富的可视化图表,如折线图、柱状图、散点图、饼图等,满足不同业务场景的分析需求。
3.全局看板
全局看板层面向管理决策者,提供一站式、可视化的业务监控与决策支持环境,通过高度浓缩的视觉元素呈现企业核心运营状态与战略指标。该层级根据展示媒介和目的的不同,分为看板页面和大屏页面。
全局看板层的构成和作用如下:
1.看板页面:看板页面是日常管理与业务监控的数字化工作台,其核心价值在于为用户等提供一种高效、实时、个性化的数据消费方式,将关键信息集中呈现,赋能日常决策与快速响应。
2.大屏页面:在看板基础上,引入了“轮播列表”、“仪表盘”等更适用于指挥监控场景的动态强视觉组件,通过实时数据渲染,在指挥中心、监控大厅等场景下,呈现宏观业务态势,用于战略决策、实时预警和成果展示。
下面结合DAP数据分析平台产品进行分析导航配置的说明,从数仓的搭建开始,到具体数据分析页面的配置,以及配置页面的效果展现。
1.数仓搭建
数仓搭建是从ODS转换到数仓过程中,通过数据集成进行数据清洗、加工、汇总处理,使业务数据变的准确无误,这样保障后续数据分析的正确性,建立数仓模型,用于后续创建分析模型的数据来源。
其中ODS转换到数仓中,汇总事实加工与ESB结合调用DAP接口创建ESB预置的集成流程,并且生成对应的数据调动,通过数据集成结合DAP功能进行数据治理,生成数仓模型,通过模型生成调动任务,通过调动任务来进行数据的采集、转换、加工汇总。而通过标准化的数据模型和灵活的配置功能,累哦帮助用户快速建立高效、可靠的数据仓库模型,从而实现数据的整合、管理和分析。这里以事实表为例进行具体配置的描述。
1.事实表配置如下:
(1)选择来源表,数据库等信息后,保存后即可进入如上所示页面。与配置ODS表类似也可以对字段进行选择。
(2)配置事实表字段:对刚刚创建的事实表字段进行配置。
(3)事实表生成:配置好字段信息后点击创建表即可创建好维表。
2.汇总事实表分为横向汇总和纵向汇总,纵向汇总是通过SQL计算出指标值,横向汇总是通过表达式进行二次计算。
2.数据分析
数据分析是通过数仓模型构建分析模型后,进行可视化展现的配置。数据分析的配置流程如下如所示:
1.导航配置:选中对应的导航后双击即可进入到我们的页面配置功能,我们可以在这里配置导航的菜单和可视化页面的具体布局配置。。
2.页面布局:在页面布局中,可以对基本信息以及容器的布局进行配置。
3.组件配置:完成对容器配置后,可通过拖拽将组件放到容器中进行配置。
4.实例配置:通过分析模型完成数据的绑定,也可以通过组件属性标签对组件的高度,颜色,数据单位等进行配置。
5.完成配置后,可以通过导航管理功能配置不同端(WEB端、大屏、移动端)的可视化展现。通过切换不同主题展现不同主题看板,通过不同的组件展现不同分析图表,让客户能够直观地看到企业运营的情况
3.效果展示
WEB看板效果:
WEB二级明细效果:
WEB三级报表效果:
大屏演示效果:
画像效果:
明细效果:
在实战项目中,由于不同系统的数据杂乱无章,这会对最终数据的呈现效果造成影响,通过DAP数据分析平台进行数据的采集,治理以及可视化的展现,可以提高数据的可用性,进一步挖掘数据价值。
1.注意事项
在实际项目中,,在DAP平台的配置过程中,以下几点需特别注意:
整个过程可总结为以下几个关键阶段:
1.汇总表业务逻辑:在配置汇总事实表时,需要和业务确定业务逻辑,避免配置错误,导致结果失真,配置错误后后期排查成本较高。
2.组件数据的绑定:在配置可视化组件时,未正确绑定分析模型(如数据集、立方体),或绑定了模型的字段,从而导致数据错误或联动穿透失效,使整个分析页面失去价值,以及页面无数据等。
3.数据质量处理:当上游数据源结构变更(如字段删除、类型修改)时,需要确认影响范围,避免导致数仓数据、数仓模型、分析报表等结果异常。
2.方案拓展
DAP数据平台是我们数通数据中台方案的一部分,数通数据中台方案是由MDM+DAP+ESB组合成的解决方案, 数据中台能打通企业的数据环节,实现全生命周期的数据管理,通过数据中台建设数据管理体系,实现各个业务系统数据的有效整合,通过基础数据治理确保底层基础数据的一致性,基于业务指标进行前端的动态展现,结合数据指标的多维度穿透,实现不同形式、不同维度的分析展现。
3.说在最后
DAP数据分析平台作为企业数据中台解决方案的核心组成部分,与MDM主数据管理平台、ESB企业服务总线等系统协同,构建起完整的企业级数据治理与服务体系。该平台不仅解决了传统数据分散、口径不一、开发周期长等痛点,更通过配置化、可视化的方式,显著提升了数据应用的敏捷性与深度。
在未来,随着企业数据规模的持续增长与分析需求的不断深化,DAP平台将进一步推动企业数字化转型,实现数据驱动的智能决策与业务创新。我们相信,通过持续的数据治理与技术迭代,企业将能更高效地挖掘数据价值,提升核心竞争力,迎接数字经济时代的挑战与机遇。
本文由@数通畅联原创,欢迎转发,仅供学习交流使用,引用请注明出处!谢谢~
来源:数通畅联