Apache 首次亚洲在线峰会: Workflow 数据治理专场

背景

大数据发展到今天已有 10 年时间，早已渗透到各个行业，数据需

求越来越多，这使得大数据

业务间的依赖关系也越来越复杂，另外也相信做数据的伙伴肯定对如何治理数据也是痛苦之至，再加上现今云原生时代的要求，怎么能更好、更容易的处理大数据任务关系及更好的实现数据治理呢？

Apache 下与之密切相关的项目有 Apache DolphinScheduler， Apache Atlas， Apache Airflow ， Apache Oozie，和 Apache Griffin 。此外我们也邀请到时下非常火的数据湖框架 Apache Hudi 社区的伙伴来分享《基于 Apache Hudi 数据湖上的 Dolphin 调度器的实践》，敬请关注。首先给大家介绍下 Apache 基金会年度盛会

ApacheCon

@ 官方全球系列大会

ApacheCon 是 Apache 软件基金会（ASF）的官方全球系列大会，每年举办一次。作为久负盛名的开源盛宴，是开源界最具期待的大会之一。

自 1998 年开办以来，ApacheCon 已经吸引了超过 350 个技术项目和不同社区参与其中，汇聚海内外的业内专家与老师，分享全球最新的技术动态与实践，共同探讨 "明天的技术"，让广大的技术爱好者们看到各技术前沿，有哪些最新趋势和进展，更好的升级自己的技术栈。

今年是组委会首次针对亚太地区举办 ApacheCon 在线大会：ApacheCon Asia。Asia 大会将来自中国、日本、印度、美国等海内外的 140+ 议题分为大数据、Incubator、API / Microservice、互联网、集成、开源文化等 14 个论坛。

关于 Workflow/Data Governance工作流和数据治理论坛

工作流和数据治理将复杂的数据处理进行有序调度及处理，并在元数据、血缘关系和数据质量等方面进行管控。在 ASF 有多种个项目提供了多种数据工作流方案，例如Apache DolphinScheduler，Apache Airflow，Apache Oozie，而 Apache Atlas 和Apache Griffin 提供了多种元数据、数据质量的管理。在工作流和数据治理主题中大家不但会了解到一线用户将这些 Apache 项目应用到具体项目当中的实践经验，而且会了解这些 Apache 项目生态的最新进展，同时也将展望数据调度和数据治理方面的愿景。

出品人

郭炜

Apache Member & Apache DolphinScheduler PMC

8月7-8日议程亮点

@ Apache

WORKFLOW/DATA GOVERNANCE

DolphinScheduler 调度工具在运营商的实践

分享嘉宾：王兴杰

时间：8月7日 13:30

议题介绍:

我们选择了 DolphinScheduler，一个更容易扩展、拥有良好容错机制、社区活跃度非常高的开源调度系统。我们将介绍在联通的使用 DolphinScheduler 调度解决办法来面对 >10 万级别日常调度任务。

嘉宾介绍:

王兴杰

14 年毕业后开始从事软件研发工作，7 年研发经验，目前主要负责针对联通大数据的调度系统的研发和迁移工作。

海量复杂任务调度利器 -- Apache DolphinScheduler

分享嘉宾：Qiang Guo

时间：8月7日 14:10

议题介绍:

Apache DolphinScheduler 是海量复杂任务稳定调度的场景需求下顺势而生的一款调度工具，本次议题将围绕其稳定性、易用性等多个方面来介绍 DolphinScheduler。同时，我们也会带来 2.0 - 微内核的架构设计，2.0 后，DolphinScheduler 的各个组件将以 SPI 的形式开放出去，用户可以在这个基础上快速实现自己的特性需求。

嘉宾介绍:

Qiang Guo

Apache DolphinScheduler PMC，高级软件工程师，擅长：网络通信、大数据处理和计算

Airflow 深度实践

分享嘉宾：吴琏

时间：8月7日 14:50

议题介绍:

基于 Airflow 平台在上海数禾科技的真实案例，介绍 Airflow 在复杂场景下应用、运维以及定制开发的实践：

复杂场景的挑战：

跨云分布式部署如何保障高可用；
多类型调度场景如何有效支撑；
ETL 作业如何保障高可用；
调度治理如何开展；
如何做到最大自动化；

同时针对一些业务需求：

数据分析人员有大量的调度需求，DAG Python 脚本开发上手难度大
部门或者个人所属的 DAG 并不想被其他部门人员编辑、查看和手动调度？
DAG 中的作业上线审批效率低、工作量大，如何去提高效率去避免一些非规范化的操作？
消息系统如何触发作业跑批？

分享相应的优化方案：

DAG 配置可视化：界面配置 DAG 参数，后台自动生成 DAG 文件。
DAG 权限控制：分部门分 DAG 赋权，区分读、写、执行。
作业规范化监控：配置检测规则去监控作业是否符合规则，执行相应的提示。
事件触发插件：接收 Sensor 作业和 AMQP 等各类消息，触发相应作业执行。

嘉宾介绍:

吴琏

上海 DataSeed 信息技术大数据开发工程师，2年 airflow 使用、维护和开发经验，对 airflow 有深刻理解，希望我的经验和理解能为 airflow 开源社区贡献一份力量。

基于 Apache Hudi 的数据湖上的 Dolphin 调度器的实践

分享嘉宾：Zhao Yuwei

时间：8 月 7 日 15:30

议题介绍:

数据湖是一个企业级的数据管理平台，用于分析不同类型的数据源。数据湖架构确保了多种数据源的整合，并支持多种数据模式，以确保数据的准确性。它可以满足实时分析的需要，也可以作为数据仓库，满足批量数据挖掘的需要。因此，我们需要一个高效、稳定且易于扩展的任务调度系统来协调数据湖的外部能力，如数据摄取、数据存储、数据探索、数据发现、数据治理等。在这里我将分享我们为什么选择 Apache DolphinScheduler 作为任务调度系统，以及我们如何让数据用户轻松地与数据湖互动，而不必关注太多的技术细节

嘉宾介绍: