大数据相关职位介绍之二（数据治理，数据库管理员， 数据资产管理师，数据质量专员）

---

数据治理工程师/专家（Data Governance Engineer/Expert）

职位概述：

数据治理工程师/专家负责确保企业的数据质量、合规性和安全性，管理数据生命周期，并制定数据治理策略和流程。他们需要确保公司所有的数据在整个生命周期中都是一致、可用、安全且高效的。该职位通常涉及到跨部门合作，以确保数据治理的标准和政策得以执行。这个职位在这里插入代码片2020 以后比较流程的职位 i

职责：

• 数据治理策略和框架设计：

设计和实施公司数据治理策略，确保数据管理符合行业最佳实践。
参与制定数据管理政策、标准和流程，确保数据的规范化、标准化管理。

• 数据质量管理：

负责数据质量的监控与提升，确保数据的准确性、一致性、完整性、时效性和可用性。
设计和实施数据质量控制程序和检查机制。

• 数据安全与合规性管理：

监督数据的安全性，确保公司数据符合相关法律法规（如GDPR、CCPA等）。
管理和优化数据隐私保护措施，确保敏感数据得到适当保护。

• 数据生命周期管：

负责数据的采集、存储、访问、使用、备份、归档和销毁等整个生命周期的管理。
促进数据的分类和标识，保证数据的可追溯性。

• 跨部门协调与支持：

与IT、法务、业务等部门合作，确保数据治理政策的实施。
提供数据治理方面的咨询和支持，推动数据治理的文化在公司内的普及。

• 工具和平台管理：

选择和管理数据治理工具和平台，确保有效实施数据治理策略。
监控和报告数据治理平台的使用情况，评估工具的有效性。

• 技术要求：

数据治理框架和方法论：
深入了解常见的数据治理框架（如DAMA、GDPR、ISO 8000等），能够设计并实施适合组织的数据治理策略。
数据质量管理：
熟悉数据质量管理工具（如Informatica、kettle 等）和数据质量评估方法。
数据安全和隐私保护：
理解数据安全和隐私保护相关的法规和技术要求（如加密、访问控制、数据脱敏等）。
熟悉数据安全工具和技术（如数据泄露防护DLP、身份管理IAM等）。
数据库和数据管理技术：
熟悉数据库技术（如mysql 、Orcale 、NoSQL），了解数据存储、数据整合和数据管理的相关技术。
掌握数据仓库、大数据平台、数据湖等技术架构。
ETL和数据集成工具：
熟悉ETL工具和流程，能够设计和优化数据集成与流动流程。
常见工具：Informatica、Talend、Microsoft SSIS等。
云计算平台：
熟悉云平台上的数据管理（如AWS、Azure、Google Cloud等）及其数据治理工具。
数据建模和元数据管理：
能够进行数据建模，熟悉数据元数据管理、数据字典和数据目录工具。
编程和自动化技能：
熟练使用Python、R等编程语言，进行数据处理、自动化脚本编写和数据治理任务的自动化。
掌握Shell、PowerShell等脚本语言，能够编写自动化任务。

1.元数据管理师（Metadata Manager）

职位描述：
元数据管理师负责组织、维护和优化企业的数据资产，确保数据标准化、可追溯性和可用性。该角色通常涉及数据治理、数据质量管理以及支持企业数据架构。

核心职责：

设计和实施元数据管理框架，建立企业级元数据目录。
维护和优化数据字典、数据血缘（Data Lineage）和数据映射。
负责数据标准、数据分类、数据标签的制定和执行。
确保数据的可追溯性，提高数据一致性和可用性。
参与数据治理，协调各业务部门对元数据的需求，推动数据标准化落地。
采用数据管理工具（如Informatica、Collibra、Alation等）进行元数据采集、管理和可视化。
监控和提升数据质量，协助数据治理委员会制定数据策略。
为数据架构师、数据分析师及开发团队提供元数据支持。

2. 主数据管理师（Master Data Manager）

职位描述：
主数据管理师负责主数据（Master Data）的治理和维护，确保数据的一致性、完整性和准确性，为企业的运营、分析和决策提供高质量的数据支持。

核心职责：

设计、执行和优化主数据管理（MDM）策略，推动主数据架构落地。
负责企业核心数据（客户、产品、供应商、员工等）的标准化管理和优化。
维护和管理主数据模型，建立数据字典和数据标准。
监控主数据质量，发现并解决数据冗余、重复、缺失等问题。
负责数据治理政策的实施，协调业务部门的主数据需求，确保跨部门数据一致性。
采用MDM工具（如SAP MDG、Informatica MDM、IBM InfoSphere MDM等）进行主数据管理。
参与数据整合项目，与IT团队、业务团队协作，确保数据在不同系统之间的统一性和可用性。
进行主数据的生命周期管理，建立主数据更新、审核和发布机制。
确保主数据符合行业法规、合规性要求（如GDPR、CCPA等）。

---

两者的主要区别：

对比项	元数据管理师	主数据管理师
关注点	关注数据的定义、血缘、标准和可追溯性	关注企业关键主数据的统一性、准确性
数据对象	数据结构、数据字典、数据标准	具体的业务数据（客户、产品、供应商等）
数据管理方式	维护元数据目录、数据标准和血缘	维护主数据模型、数据质量和唯一性
主要工具	Collibra, Alation, Informatica Metadata Manager	SAP MDG, Informatica MDM, IBM InfoSphere MDM
核心目标	让数据更容易被理解和使用	确保主数据在整个企业范围内的一致性

数据库管理员（DBA -Database Administrator）

数据库管理员(DBA)是从事管理和维护数据库管理系统(DBMS)相关工作人员的统称，
属于运维工程师，主要负责业务数据库从设计、测试直到部署交付的全生命周期管理。 DBA 需要具备的技能如下。

数据库技术:这是DBA最为核心的技能，包括SQL、数据库设计、数据备份与恢复、数据库性能优化等。

·操作系统:DBA需要了解服务器操作系统(如UNIX/Linux等)的基本知识，这些知识能够帮助他们更好地管理数据库.

·网络知识:DBA需要了解基本的网络知识，如IP地址、路由器、交换机等，这些知识能够帮助他们更好地维护数据库的网络环境。

.服务器硬件:DBA需要了解服务器硬件的基本知识，如硬盘、CPU、内存等，这些知识能够帮助他们更好地管理数据库的硬件环境。

.数据备份与恢复:DBA需要了解如何备份和恢复数据，以防止数据丢失或损坏。

数据库性能优化:DBA需要了解如何优化数据库的性能，以提高数据库的响应速度和吞吐量。·安全性:DBA需要了解数据库安全性的基本知识，如加密、防火墙等，这些知识能够帮助他们更好地保护数据库的安全。

根据工作职责的不同，DBA分为以下类型。
·运维 DBA:主要负责数据库的运维管理，包括安装部署、备份恢复、监控报警、工单处理、复制拓扑管理等。
·架构 DBA:主要负责数据库的架构优化,包括高可用架构、分布式架构等以及集群管理(如高可用集群管理和分布式集群管理)。
·开发 DBA:主要负责数据库的开发，包括运维开发(偏向于运维管理侧的自动化运维开发、相关脚本的开发等)和数据库插件开发、内核级开发等。

数据资产管理师

职位描述
数据资产管理师负责企业数据资产的管理、优化和增值，确保数据的高效利用、合规性和安全性。他们的职责涵盖数据治理、数据质量管理、数据存储与访问策略，以及数据资产的价值最大化。

核心职责
1. 数据资产管理与治理
负责制定并执行数据资产管理策略，提升数据的价值与可用性。
识别、分类和管理企业数据资产，包括主数据、交易数据、元数据等。
维护和优化数据目录、数据字典和数据地图，提高数据可发现性。
确保数据资产符合公司政策、法规要求（如GDPR、CCPA、ISO 27001等）。
参与企业数据架构设计，确保数据资产合理分布和优化存储。
2. 数据质量与标准化
监控和评估数据质量，制定数据质量评估指标（如完整性、准确性、一致性）。
推动数据标准化，制定数据命名、存储、访问等标准。
识别并解决数据冗余、重复、缺失等问题，优化数据清洗流程。
采用数据质量管理工具（如Informatica Data Quality、Talend、Collibra等）来支持数据治理。
3. 数据资产的安全与合规
负责数据资产的权限管理，确保数据访问安全和合规性。
监控数据生命周期，制定数据存储、归档和销毁策略。
配合IT安全团队，防范数据泄露、非法访问和数据滥用。
进行数据安全培训，提高企业数据管理意识。

4. 数据资产价值挖掘
通过数据分析和数据管理，提高数据的商业价值。
结合数据湖、数据仓库和大数据平台，优化数据存取和利用效率。
协助数据科学团队、BI团队利用数据资产支持业务决策。
采用数据资产管理工具（如Collibra、Alation、SAP Information Steward）提高数据管理效率。

数据质量专员

职位描述
数据质量专员是对 数据质量进行监控，对数据问题进行分析和解决，并指定数据质量标准和监控计划的专业人员。

核心职责

1. 数据质量管理
   设计并实施数据质量管理策略，建立数据质量标准和规范。
   识别数据中的错误、重复、不一致等问题，并推动改进。
   确保数据的完整性、准确性、一致性和及时性，提高数据可信度。
   采用数据质量管理工具进行质量监控和清理。
2. 数据质量监控与审计
   建立并维护数据质量监控系统，定期评估数据质量指标（如数据完整率、准确率、重复率）。
   进行数据审计，发现并报告数据质量问题，并跟踪改进措施的执行。
   生成数据质量报告，提供数据分析和可视化，支持管理层决策。
   通过数据分析识别数据异常，提出数据质量优化建议。
3. 数据清理与标准化
   负责数据清洗（如去重、数据格式转换、数据补全）以提升数据质量。
   维护和优化数据字典、数据标准和数据模型，提高数据一致性。
   确保数据符合业务规则、行业标准和法规要求（如GDPR、CCPA等）。
   处理历史数据，确保数据存储和归档符合公司要求。
4. 业务支持与跨部门协作
   与IT、数据工程师、业务团队合作，优化数据治理流程。
   参与数据治理项目，推动数据质量改进计划的落地。
   识别业务需求并制定数据质量改进方案，支持数据分析、BI报表等业务应用。
   培训业务人员，提高数据质量意识，推动数据文化建设。

数据治理与管理岗位总结
数据治理相关岗位涉及多个不同方向，涵盖数据质量、合规、安全、资产管理、元数据管理、主数据管理等多个领域。以下是各岗位的核心职责和关键技能总结：

1. 数据治理工程师/专家（Data Governance Engineer/Expert）
   核心职责：

设计和实施数据治理策略、标准和流程，确保数据质量、安全和合规性。
负责数据质量管理、数据生命周期管理、跨部门协调和数据治理工具管理。
监督数据安全，确保符合GDPR、CCPA等法规。
关键技能：

数据治理框架（如DAMA、ISO 8000）。
数据质量管理工具（Informatica、Talend）。
数据安全（加密、DLP、IAM）。
数据库技术（MySQL、Oracle、NoSQL）。
云数据管理（AWS、Azure、GCP）。
ETL、数据建模、Python、Shell 自动化等。
2. 元数据管理师（Metadata Manager）
核心职责：

设计和维护元数据管理框架，建立元数据目录、数据血缘、数据字典。
保障数据可追溯性，提高数据一致性和可用性。
使用工具（如Collibra、Alation）进行元数据采集、管理和可视化。
关键技能：

数据标准、数据分类、数据标签管理。
数据血缘分析、数据映射。
数据治理工具（Collibra、Informatica Metadata Manager）。
3. 主数据管理师（Master Data Manager）
核心职责：

负责企业主数据（客户、产品、供应商等）的治理和维护。
设计主数据模型，制定数据标准，提升数据一致性。
使用SAP MDG、Informatica MDM等工具进行主数据管理。
关键技能：

MDM策略设计与实施。
数据质量监控、数据清理。
主数据管理工具（SAP MDG、IBM InfoSphere MDM）。
4. 数据库管理员（DBA - Database Administrator）
核心职责：

负责数据库设计、运维、优化、备份与恢复。
保障数据库性能、安全性、可扩展性。
参与数据库架构设计，优化查询性能。
关键技能：

SQL、数据库设计、索引优化。
数据库集群管理（MySQL、Oracle、PostgreSQL）。
服务器运维（Linux、UNIX）。
数据库备份、恢复、安全策略。
5. 数据资产管理师（Data Asset Manager）
核心职责：

负责企业数据资产的分类、存储、管理和价值挖掘。
监控数据质量、制定数据存储与访问策略。
保障数据合规性，提高数据利用率。
关键技能：

数据资产分类、数据治理。
数据安全与合规（GDPR、CCPA）。
数据湖、数据仓库管理（AWS S3、BigQuery）。
数据资产管理工具（Collibra、Alation）。
6. 数据质量专员（Data Quality Specialist）
核心职责：

监控数据质量，建立数据质量标准和治理流程。
进行数据清理、数据标准化，确保数据准确性和一致性。
生成数据质量报告，支持业务数据分析。
关键技能：

数据质量监控、数据清理（ETL）。
数据标准制定、数据审计。
数据质量管理工具（Talend、Informatica DQ）。
对比总结
岗位 关注点 核心目标 主要工具
数据治理工程师 数据治理策略、标准、数据质量 保障数据一致性、安全性、合规性 Informatica, Talend, Python
元数据管理师 元数据目录、数据血缘、数据标准 让数据更容易被理解和使用 Collibra, Alation
主数据管理师 业务核心数据（客户、产品等） 确保主数据的一致性、准确性 SAP MDG, Informatica MDM
数据库管理员（DBA） 数据库管理、性能优化 确保数据库稳定高效运行 MySQL, Oracle, PostgreSQL
数据资产管理师 数据资产分类、价值管理 提高数据利用率，保障数据安全 Collibra, Alation, BigQuery
数据质量专员 数据质量监控、数据清理 保障数据的完整性、准确性 Informatica DQ, Talend

总结

数据治理与管理相关职位各有侧重：

数据治理工程师 负责数据治理体系的构建；
元数据管理师 关注数据定义、血缘与标准化；
主数据管理师 负责企业核心主数据的一致性；
数据库管理员（DBA） 保障数据库的稳定性和性能；
数据资产管理师 负责数据的存储、访问和价值挖掘；
数据质量专员 关注数据质量监控与优化。