一、什么是数据中台
**数据中台是指通过数据技术,对海量数据进行采集、计算、存储、加工,同时统一标准和口径。**数据中台的目标是让数据持续用起来,通过数据中台提供的工具、方法和运行机制,把数据变为一种服务能力,让数据更方便地被业务所使用。
数据中台把数据统一之后,会形成标准数据,再进行存储,形成大数据资产层,进而为客户提供高效服务。这些服务跟企业的业务有较强的关联性,是这个企业独有的且能复用的,它是企业业务和数据的沉淀,其不仅能降低重复建设、减少烟囱式协作的成本,也是差异化竞争优势所在。
在传统IT架构中,不同部门,不同业务系统和不同的数据中心会产生大量数据。这些数据如果烟囱一样是垂直划分的,彼此之间无法连接。数据彼此独立,无法很好的支撑企业的经营决策,也无法很好地应对快速变化的前端业务。
数据中台可以整合这些分散的数据,为企业经营决策、精细化运营提供支撑。数据中台具备4个核心能力:数据汇聚整合、数据提纯加工、数据资产化,数据服务化。
二、从数据仓库发展到数据中台
传统的数据仓库已不能完全满足企业数据分析的需求。企业已从原来的统计分析转变为预测分析并提供标签、推荐等算法,从被动分析转变为主动分析,从非实时分析转变为实时分析,并且从结构化数据转变为结构化、半结构化和非结构化的多元化数据。
【数据中台的优势:】
1、数据中台强调数据业务化,让数据用起来,满足企业数据分析和应用的需求;
2、数据中台梳理的流程比数据仓库建设更加复杂和全面。数据中台增加了以企业的全局视角来梳理数据域的环节,这是数据中台建设中很重要的一环。数据域的梳理正好体现了中台化的能力;
3、数据中台建设除了完成数据仓库的建模,还需要制定完善的数据治理方案,在数据中台的规划阶段就需要去主动迎合业务,需要全面梳理哪些业务场景需要利用数据的赋能才能形成业务闭环;
4、数据中台是为了企业能更好的运营数据,注重系统解决方案,比数仓的功能更加完善。
三、数据采集管理平台
数据加工:统一采集、清洗、管理方法
数据采集痛点:
1、埋点信息维护不易
2、数据使用质量难以保证
3、数据上报不符合业务需求
4、数据上报缺失或者异常
5、测试无法快校验数据
6、数据口径不好追溯
【解决方案】
四、中台数据治理
企业中常见的问题汇总:
1、缺乏数据指标体系
2、数据的接入与输出没有规范
3、缺少数据工具化管理平台
4、缺失数据元数据
5、数据查找成本大
6、数据缺乏监控机制
8、数据重复存储
9、数据上线下线无管理
五、中台数据服务
实现的功能
1、支持多源数据的导入导出,实时数据的消费与写入
2、数据支持支持数据透明
3、可视化报表,支持自定义报表
4、计算服务,支持批量计算,实时计算,即席查询
5、任务系统,支持任务调度,数据周期配置等
6、支持各种数据的导出,并提供接口进行访问
【总结】
为数据服务,整合企业所有数据,解决数据孤岛,实现数据治理的整合数据解决方式。