【华为数据之道学习笔记】2-建立企业级数据综合治理体系

        数据作为一种新的生产要素,在企业构筑竞争优势的过程中起着重要作用,企业应将数据作为一种战略资产进行管理。数据从业务中产生,在IT系统中承载,要对数据进行有效治理,需要业务充分参与,IT系统确保遵从,这是一个非常复杂的系统工程。
         华为公司经过十多年的实践证明,只有构筑一套企业级的数据综合治理体系,才能确保关键数据资产有清晰的业务管理责任,IT建设有稳定的原则和依据,作业人员有规范的流程和指导;当面临争议时,有裁决机构和升级处理机制;治理过程所需的人才、组织、预算有充足的保障。综合上述因素,最终建立有效的数据治理环境,数据的质量和安全得到保障,数据的价值才能真正发挥出来。

2.1 建立公司级的数据治理政策

数据治理政策是华为数据治理的顶层设计,该政策在华为公司EMT(经营管理团队)汇报通过后,由总裁签发,该政策明确了数据工作在华为公司治理体系中的地位,体现了公司管理层对数据工作重要性的统一认知。

2.1.1 华为数据管理总纲

华为数据管理总纲明确了数据治理最基本的原则,包括信息架构、数据产生、数据应用及数据质量的职责和分工等,确保数据治理环境的有效构建。
(1)信息架构管理原则
第一条:建立企业级信息架构,统一数据语言。
第二条:所有变革项目须遵从数据管控要求。对于不遵从管控要求的变革项目,数据管控组织拥有一票否决权。
第三条:应用系统设计和开发应遵从企业级信息架构。关键应用系统必须通过应用系统认证。
(2)数据产生管理原则
第一条:数据规划对齐业务战略,业务战略规划必须包含关键数据举措及其路标规划。
第二条:公司数据Owner拥有公司数据管理的最高决策权,依托ESC(变革指导委员会)决策平台议事。各数据Owner承担数据工作路标、信息架构、数据责任机制和数据质量的管理责任。
第三条:关键数据须定义单一数据源,一点录入,多点调用。数据质量问题应在源头解决。
第四条:谁产生数据,谁对数据质量负责。数据Owner负责基于使用要求制定数据质量标准,且须征得关键使用部门的同意。
(3)数据应用管理原则
第一条:数据应在满足信息安全的前提下充分共享,数据产生部门不得拒绝跨领域的、合理的数据共享需求。
第二条:信息披露、数据安全管理、数据保管和个人数据隐私保护等必须遵守法律法规和道德规范的要求。公司保护员工、客户、商业伙伴和其他可识别个体的数据。
(4)数据问责与奖惩管理原则
各数据Owner应建立数据问题回溯和奖惩机制。对不遵从信息架构或存在严重数据质量问题的责任人进行问责。

2.1.2 信息架构管理政策

信息架构是公司统一的数据语言,是业务流打通、消除信息孤岛和提升业务流集成效率的关键要素。华为公司通过明确对信息架构的管理要求,规范信息架构的建设和遵从原则,使公司的信息资产得到有效管理和重用。
(1)管理信息架构的角色与职责
第一条:公司数据Owner负责批准企业级信息架构,裁决重大信息架构问题和争议。
第二条:各数据Owner负责其所辖数据的信息架构建设和维护,承接及落实公司的数据规划要求。
第三条:公司的数据管理专业组织作为公司数据工作的支撑组织,负责组织信息架构的建设、维护、落地及遵从管控,负责协调跨领域的信息架构冲突。各领域各事业群(BG)数据管理专业组织协助完成本领域信息架构建设和维护工作。
第四条:数据管控组织作为信息架构专业评审机构,确保信息架构的质量和集成。
(2)信息架构建设要求
第一条:关键数据应被识别、分类、定义及标准化,数据的定义在公司范围内应唯一,数据标准制定要考虑跨流程要求。
第二条:数据资产目录必须承接公司各业务环节的使用需求和报告分析最小粒度的要求。
第三条:信息架构驱动应用架构设计,合理规划数据分布。
第四条:应用系统数据库的设计和开发要遵循信息架构,减少数据冗余,实现接口标准化。
(3)信息架构遵从管控
第一条:变革项目必须遵从已发布的信息架构,变革项目的交付件须包含信息架构内容。对现有架构的遵从是关键评审要素,对于不满足要求的变革项目,数据管控组织拥有一票否决权。
第二条:业务流程设计必须遵从已发布的信息架构,在流程说明文件、操作指导书或模板类文件中体现。对于不满足要求的流程,不予发布。
第三条:应用系统设计必须遵从已发布的信息架构。在应用架构交付件和应用系统设计交付件中体现。对于不满足要求的应用系统,不予上线。

2.1.3 数据源管理政策

数据同源是华为数据治理的核心观点之一。 数据源是指业务上首次正式发布某项数据的应用系统,经过数据管理专业组织认证,作为唯一数据源头被周边系统调用。本政策通过明确华为公司在数据源建设和数据源使用方面的总体原则和要求,确保数据源头的统一,以及跨流程、跨系统数据的唯一性和一致性。
(1)数据源管理原则
第一条:所有关键数据必须认证数据源。关键数据是指影响公司经营、运营报告的数据,在公司范围内统一发布。
第二条:数据管理专业组织为关键数据指定源头,数据源必须遵从信息架构和标准,经信息架构专家委员会认证后成为数据源。
第三条:所有关键数据仅能在数据源录入、修改,全流程共享,其他调用系统不能修改。下游环节发现的数据源质量问题,应当在数据源进行修正。
第四条:所有应用系统必须从数据源或数据源镜像获取关键数据。
第五条:数据Owner确保数据源的数据质量,对不符合数据质量标准的数据源,必须限期整改。
(2)数据源认证标准
数据的源头通过认证成为数据源,在遵从公司相关政策和规定的前提下,还必须符合以下标准。
第一条:数据源是在信息链上正式发布数据的第一个数据存储系统。
第二条:数据源是某项数据唯一的录入点。
第三条:数据源必须是数据维护最为及时、正确、完整的数据存储系统。
第四条:数据源所在系统的性能和可用性应当满足其他调用系统的数据访问需求。

2.1.4 数据质量管理政策

数据质量的持续提升是华为数据治理的核心目标。 通过制定数据质量管理政策,明确数据在创建、维护、应用过程中的规则及质量要求,确保数据真实可靠。
(1)数据质量管理职责及要求
第一条:各数据Owner负责保障所辖数据的质量,承接公司数据Owner设定的数据质量目标,制定数据质量标准及测评指标,持续度量与改进。
第二条:公司全员在业务执行的过程中应确保业务记录满足数据质量要求。
第三条:财经各级CFO组织应遵循职业道德准则,诚实记录和报告财经数据,承担财务监控和及时报告责任。
理专业支撑。
第四条:公司各级数据管理专业组织为数据Owner提供数据质量管理专业支撑。
第五条:内控组织应将数据质量管控要素的执行情况纳入SACA(Semi-Annual Control Assessment,半年度控制评估)评估范围,推动数据质量问题的闭环管理。
第六条:内审部门作为独立机构,负责重大数据问题的审计和责任回溯。
(2)数据质量管理的业务规则和管理要求
数据创建、维护、应用是数据生命周期管理的关键活动,应遵循以下规则及要求。
第一条:流程建设应考虑数据质量要求,将数据的关键质量控制要素纳入关键控制点。
第二条:数据Owner负责基于使用要求制定数据质量标准,且须征得关键使用部门的同意。
第三条:数据创建应确保录入正确,关键数据应进行复核或审批。录入、复核和审批人员应掌握数据质量要求才能上岗。
第四条:对影响关键经营指标的数据造假行为(如伪造文档、提供与业务实质不符的信息等)采取零容忍态度。
第五条:上游环节应保证数据的真实、完整并及时传递到下游环节。下游环节为核实数据质量问题可调阅所需的上游环节的数据。
第六条:因外部原因频繁变化的基础数据(如汇率、税率等),数据Owner应及时维护并统一发布最新数据,各环节应适时刷新或引用。
第七条:数据质量应持续进行度量。数据Owner应主动解决长期影响业务运营和经营管理的数据问题。
第八条:报告与分析的层级和最小粒度应适度,能与最小业务信息单元相匹配。数据加工规则应相对稳定,报告加工过程可检视,数据可回溯、可解释。

2.2 融入变革、运营与IT的数据治理

华为公司依托变革管理体系,进行流程、数据与应用系统建设,同时持续优化运营体系。数据从业务中产生,在IT系统中落地,决定了数据治理工作必须充分融入业务运营与IT系统建设中。

2.2.1 建立管理数据流程

为了支撑企业数据资产从架构设计、质量管理到数据分析应用的全生命周期管理,需要在企业的流程架构中建立一个管理数据流程,明确数据管理的关键活动、角色,以及与周边组织的协作关系。华为将“管理数据”流程定位为“管理BT&IT”流程下的一个L2流程,下设“管理信息架构”“管理数据质量”“管理数据分析”3个子流程。

2.2.2 管理数据流程与管理变革项目、管理质量与运营之间的关系

企业在运营过程中,能力的提升和架构的调整依托于变革项目和改进项目的实施。变革项目和改进项目需要交付业务解决方案、数据解决方案、IT解决方案,其中数据解决方案包含信息架构设计、数据质量度量、改进方案和数据分析方案。支撑数据解决方案的角色为数据经理,数据经理统筹管理信息架构工程师、数据治理工程师、数据分析师和数据科学家,共同完成项目数据解决方案的交付和验证。

2.2.3 通过变革体系和运营体系进行决策

在华为的数据治理实践中,数据相关的重大决议由企业变革指导委员会决策,通过变革管理体系和流程运营体系实现落地。
其中,信息架构的设计和变更分两层评审决策,在信息架构专家组进行专业评审,在企业架构委员会进行流程、数据与IT集成评审和争议裁决。

2.2.4 数据治理融入IT实施

业务人员通过使用IT产品提供的功能和服务提升作业效率,因此,对业务数据的管理要求,必然要落实到IT产品的操作界面和数据库设计中,这样才能落实数据治理的要求。在华为的数据治理实践中,在IT产品团队中设置系统架构师和数据架构师角色,负责界面设计、数据库设计、数据集成方案设计,向上承接信息架构的设计要求。同时,在管理IT流程的设计规范中,明确界面的字段要遵从数据标准的定义,数据库表和字段的设计要承接信息架构的设计要求,从而达到数据治理融入IT实施流程的目标。

2.2.5 通过内控体系赋能数据治理

要对华为这样的大型企业实施数据治理是件非常复杂的事情,涉及上千个业务对象、上百个变革和优化改进项目的协同,仅仅通过数据管理部门对各个项目和部门的培训、指导、人员支持,不足以确保公司的治理目标和要求有效地贯彻到位。因此,华为通过内控体系,每年实施SACA评估和数据专项内部审计,揭示数据治理过程的问题,确定改进目标和责任人,从而保证数据治理机制的有效运作。

2.3 建立业务负责制的数据管理责任体系

业务即行为,行为即记录,记录即数据。华为公司的每一个数据,必须由对应的业务部门承担管理责任,且必须有唯一的数据Owner。 业务负责制的数据管理责任体系,是华为数据治理体系多年实 践经验的结晶,是确保体系发挥作用的基石。

2.3.1 任命数据Owner和数据管家

华为按分层分级原则任命数据Owner,在公司层面设置公司数据Owner,在各业务领域设置领域数据Owner,这样既能确保公司数据工作统筹规划,也能同时兼顾各业务领域灵活多变的特征。公司数据Owner是公司数据战略的制定者、数据文化的营造者、数据资产的所有者和数据争议的裁决者,拥有公司数据日常管理的最高决策权。
第一条:制定数据管理体系的愿景和路标。
第二条:传播数据管理理念,营造数据文化氛围。
第三条:建设和优化数据管理体系,包括组织与任命、授权与问责等。
第四条:批准公司数据管理的政策和法规。
第五条:裁决跨领域的数据及管理争议,解决跨领域的重大数据及管理问题。
各级流程Owner就是该流程域的数据Owner,在公司数据Owner的统筹下负责所管理流程域的数据管理体系的建设和优化。各业务部门是执行规则,保证数据质量,进而推动规则优化的关键环节。通过主管机构正式任命各数据主题域和业务对象的数据Owner和数据管家,数据Owner的职责可以归纳为以下五条。
第一条:负责数据管理体系建设。数据Owner要负责所辖领域的数据管理体系建设和优化,传播数据管理理念,营造数据文化氛围。
第二条:负责信息架构建设。数据Owner要负责所辖领域的信息架构建设和维护,确保关键数据被识别、分类、定义及标准化,数据的定义在公司范围内唯一,数据标准制定要考虑跨流程要求。
第三条:负责数据质量管理。数据Owner要负责保障所辖领域的数据质量,承接公司设定的数据质量目标,制定数据质量标准及测评指标,持续度量与改进。
第四条:负责数据底座和数据服务建设。数据Owner要负责所辖领域数据入湖,建设数据服务,满足公司各个部门对本领域数据的需求。
第五条:负责数据争议裁决。数据Owner要建立数据问题回溯和奖惩机制,对所辖领域的数据问题及争议进行裁决,对不遵从信息架构或存在严重数据质量问题的责任人进行问责。
数据管家是数据Owner的助手,是数据Owner在数据管理方面的具体执行者。

2.3.2 建立公司层面的数据管理组织

为支撑公司实施数据治理,华为在企业范围内建立了一个公司级数据管理部,代表公司制定数据管理相关的政策、流程、方法和支撑系统,制定公司数据管理的战略规划和年度计划并监控落实。建立并维护企业信息架构,监控数据质量,披露重大数据问题,建立专业任职资格管理体系,提升企业数据管理能力,推动企业数据文化的建立和传播。
为落实公司制定的数据管理目标,在各业务领域要建立实体化的数据管理专业组织,实线向GPO(各业务领域的全球流程Owner,通常是业务领域的最高主管)汇报,承接并落实GPO的数据管理责任;虚线向公司数据管理部汇报,遵从公司统一的数据管理政策、流程和规则要求。
华为虚实结合的数据组织设置,是确保数据工作能充分融入业务,同时能够在应用系统中有效落地的关键。数据管理组织中各个组织的职责和分工如下所示。
1)体系建设者
第一条:负责数据管理的战略、规划、政策、规则的制定。
第二条:负责数据管理体系建设。
第三条:数据架构及核心数据资产管理。
第四条:确保公司数据质量水平
2)能力中心
第一条:构建数据管理的方法、工具、平台。
第二条:负责专业能力的开发和建设,包括数据架构、数据分析、信息管理、数据质量管理。
3)业务的数据伙伴
第一条:面向业务,提供数据解决方案,解决业务数据痛点。
第二条:支撑业务数据需求。
第三条:向业务提供标准化的主数据或基础数据服务。
4)文化倡导者
第一条:在公司范围建设追求卓越、“谁创建(录入)数据,谁对数据质量负责”的文化。
第二条:用数据支撑业务决策的文化。
同时,在数据工作的不同阶段,分场景组建了不同的虚拟数据团队,如信息架构建设工作组、数据质量执行组、元数据工作组等,以保障跨领域数据工作的有序开展。
当面对数字化转型这一时代挑战时,华为建立的一整套数据治理体系,使得华为公司拥有从容面对的底气。2017年华为启动数字化转型后,也极大提升了华为的数据治理能力,在实践中形成了数据全生命周期的治理规范与方案。
华为自2007年建立数据实体组织以来,走过了13年的数据治理历程。从最初的数据管理体系搭建,到目前主干业务流全场景覆盖,确保了各个业务流程产生的数据准确。华为数据治理一方面实现了业务运作效率的提升,一方面夯实了企业有效内控的基础,数据文化与价值深入人心。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/214131.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

mmdetection里的测速脚本

由于大论文里需要对各个算法进行测速,因此抛开官方文档的使用说明,记录一下我是怎么使用mmdetection里的脚本进行测速的。 mmdetection版本:2.23.0 一、新版本benchmark.py(需要分布式) 打开tools/analysis_tools/b…

xml文本转Java对象

Java对象转String public static String toData(Object object) throws Exception {JAXBContext jc JAXBContext.newInstance(object.getClass());Marshaller m jc.createMarshaller();StringWriter output new StringWriter(2048);m.marshal(object, output);String data …

C# 任务并行类库Parallel调用示例

写在前面 Task Parallel Library 是微软.NET框架基础类库(BCL)中的一个,主要目的是为了简化并行编程,可以实现在不同的处理器上并行处理不同任务,以提升运行效率。Parallel常用的方法有For/ForEach/Invoke三个静态方法…

如何确认网站是否有漏洞,如何找出网站存在的漏洞,找到漏洞该如何处理

如何确认网站或者服务器是否有漏洞 判断一个网站是否是存在漏洞的方法: 1.可以借助德迅云安全漏洞扫描功能来检查漏洞。 2.打开德迅云安全首页,点击最上面导航栏中的“安全产品”。 3.滑到“漏洞扫描”,选择“产品价格”服务。 4.选择您需…

python源码,在线读取传奇列表,并解析为需要的JSON格式

python源码,在线读取传奇列表,并解析为需要的JSON格式 [Server] ; 使用“/”字符分开颜色,也可以不使用颜色,支持以前的旧格式,只有标题和服务器标题支持颜色 ; 标题/颜色代码(0-255)|服务器标题/颜色代码(0-255)|服务…

ThinkPHP如何讲链接多个数据库

为什么要使用多个数据库 数据分片: 当数据量非常大时,可能需要将数据分布在不同的数据库中,以提高查询性能。这被称为数据分片,其中不同的数据库负责存储不同范围的数据。 业务分离: 有时,一个大型项目可…

GPT-Crawler一键爬虫构建GPTs知识库

GPT-Crawler一键爬虫构建GPTs知识库 写在最前面安装node.js安装GPT-Crawler启动爬虫结合 OpenAI自定义 assistant自定义 GPTs(笔者用的这个) 总结 写在最前面 GPT-Crawler一键爬虫构建GPTs知识库 能够爬取网站数据,构建GPTs的知识库&#xf…

nginx多端口部署

1.配置nginx.conf文件 有几个端口需要部署就写几个server,我这里只部署了两个端口分别为80和81端口,所以有两个server文件。80端口项目入口在根目录的test文件中,81端口项目入口在根目录的test1文件夹中。 2.准备项目文件html文件 在/test1…

电脑出现这些现象,说明你的固态硬盘要坏了

与传统机械硬盘(HDD)相比,固态硬盘(SSD)速度更快、更稳定、功耗更低。但固态硬盘并不是完美无瑕的,由于颗粒写入机制,可能会在七到十年的预期寿命之前出现故障。所以用户最好为最终故障做好准备…

SQL之string的使用与模拟实现

SQL之string的使用与模拟实现 1.官方库中string类的使用接口1.1 工具网站搜索string类的使用2.2string类的常用接口说明 2.模拟实现重要/常用的成员函数接口2.1 准备工作2.1.1. 解决命名冲突2.1.2. 成员变量2.1.3. 默认成员函数——构造函数/拷贝构造函数/析构函数2.1.4赋值运算…

12.9_黑马数据结构与算法笔记Java

目录 057 多路递归 e03 杨辉三角2 057 多路递归 e03 杨辉三角3 058 链表 e01 反转单向链表1 058 链表 e01 反转单向链表2 058 链表 e01 反转单向链表3 递归 058 链表 e01 反转单向链表4 058 链表 e01 反转单向链表5 058 链表 e02 根据值删除节点1 058 链表 e02 根据值…

【动手学深度学习】(十一)池化层+LeNet

文章目录 一、池化层1.理论知识2.代码 二、LeNet1.理论知识2.代码实现 【相关总结】nn.MaxPool2d() 卷积层对位置比较敏感 一、池化层 1.理论知识 二维最大池化 填充、步幅和多个通道 池化层与卷积层类似,都具有填充和步幅没有可学习的参数在每个输入通道应用池…

【Kubernetes】四层代理Service

Service四层代理 一、Service概念原理1.1、为什么要有Service1.2、Service概述1.3、工作原理1.4、三类IP地址【1】Node Network(节点网络)【2】Pod network(pod 网络)【3】Cluster Network(服务网络) 二、S…

基于Springboot的校园失物招领系统(有报告)。Javaee项目,springboot项目。

演示视频: 基于Springboot的校园失物招领系统(有报告)。Javaee项目,springboot项目。 项目介绍: 采用M(model)V(view)C(controller)三层体系结构…

微信小程序 -- ios 底部小黑条样式问题

问题&#xff1a; 如图&#xff0c;ios有的机型底部伪home键会显示在按钮之上&#xff0c;导致点击按钮的时候误触 解决&#xff1a; App.vue <script>export default {wx.getSystemInfo({success: res > {let bottomHeight res.screenHeight - res.safeArea.bott…

准确!!!在 CentOS 8 上配置 PostgreSQL 14 的主从复制

在 CentOS 8 上配置 PostgreSQL 14 的主从复制&#xff0c;并设置 WAL 归档到特定路径 /home/postgres/archive 的步骤如下&#xff1a; 主服务器配置&#xff08;主机&#xff09; 配置 PostgreSQL&#xff1a; 编辑 postgresql.conf 文件&#xff1a; vim /data/postgres/p…

什么是呼叫中心的语音通道?呼叫中心语音线路有几种?

什么是呼叫中心的语音通道&#xff1f; 呼叫中心的语音通道是指在呼叫中心中使用的语音信号传输通道&#xff0c;它是呼叫中心中至关重要的一部分&#xff0c;负责将客户的语音信息传递给客服代表&#xff0c;以及将客服代表的语音信息传递给客户。在呼叫中心的运营中&#xf…

C语言——字符函数和字符串函数(一)

&#x1f4dd;前言&#xff1a; 这篇文章对我最近学习的有关字符串的函数做一个总结和整理&#xff0c;主要讲解字符函数和字符串函数&#xff08;strlen&#xff0c;strcpy和strncpy&#xff0c;strcat和strncat&#xff09;的使用方法&#xff0c;使用场景和一些注意事项&…

记录 | vscode pyhton c++调试launch.json配置

下面提供 vscode 中 python 和 c 调试配置的 launch.json (好用&#xff0c;已用好几年&#xff0c;建议收藏) {// 使用 IntelliSense 了解相关属性。 // 悬停以查看现有属性的描述。// 欲了解更多信息&#xff0c;请访问: https://go.microsoft.com/fwlink/?linkid830387&qu…

Python开发运维:Python垃圾回收机制

目录 一、理论 1.Python垃圾回收机制 一、理论 1.Python垃圾回收机制 &#xff08;1&#xff09;引⽤计数器 1&#xff09;环状双向链表 refchain 在python程序中创建的任何对象都会放在refchain链表中。 name "david" age 20 hobby ["篮球",游泳…