Apache Airflow (八) ：DAG任务依赖设置

🏡 个人主页：IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-CSDN博客

 🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。

 🔔 博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频

目录

1. DAG任务依赖设置一

2. DAG任务依赖设置二

3. DAG任务依赖设置三

4. DAG任务依赖设置四

5. DAG任务依赖设置五

1. DAG任务依赖设置一

  • DAG调度流程图

  • task执行依赖
A >> B >>C
  • 完整代码
'''
airflow 任务依赖关系设置一'''
from airflow import DAGfrom airflow.operators.bash import BashOperatorfrom datetime import datetime, timedelta
default_args = {'owner': 'airflow', # 拥有者名称'start_date': datetime(2021, 9, 22),  # 第一次开始执行的时间，为 UTC 时间'retries': 1,  # 失败重试次数'retry_delay': timedelta(minutes=5),  # 失败重试间隔
}dag = DAG(dag_id = 'dag_relation_1', #DAG id ,必须完全由字母、数字、下划线组成default_args = default_args, #外部定义的 dic 格式的参数schedule_interval = timedelta(minutes=1) # 定义DAG运行的频率,可以配置天、周、小时、分钟、秒、毫秒
)A = BashOperator(task_id='A',bash_command='echo "run A task"',dag=dag
)B = BashOperator(task_id='B',bash_command='echo "run B task"',dag=dag
)C = BashOperator(task_id='C',bash_command='echo "run C task"',dag=dag,retries=3
)A >> B >>C

2. DAG任务依赖设置二

  • DAG调度流程图

  • task执行依赖​​​​​​​
[A,B] >>C >>D
  • 完整代码
'''
airflow 任务依赖关系设置二'''
from airflow import DAGfrom airflow.operators.bash import BashOperatorfrom datetime import datetime, timedelta
default_args = {'owner': 'airflow', # 拥有者名称'start_date': datetime(2021, 9, 22),  # 第一次开始执行的时间，为 UTC 时间'retries': 1,  # 失败重试次数'retry_delay': timedelta(minutes=5),  # 失败重试间隔
}dag = DAG(dag_id = 'dag_relation_2', #DAG id ,必须完全由字母、数字、下划线组成default_args = default_args, #外部定义的 dic 格式的参数schedule_interval = timedelta(minutes=1) # 定义DAG运行的频率,可以配置天、周、小时、分钟、秒、毫秒
)A = BashOperator(task_id='A',bash_command='echo "run A task"',dag=dag
)B = BashOperator(task_id='B',bash_command='echo "run B task"',dag=dag
)C = BashOperator(task_id='C',bash_command='echo "run C task"',dag=dag,retries=3
)D = BashOperator(task_id='D',bash_command='echo "run D task"',dag=dag
)[A,B] >>C >>D

3. DAG任务依赖设置三

  • DAG调度流程图

  • task执行依赖
[A,B,C] >>D >>[E,F]
  • 完整代码
'''
airflow 任务依赖关系设置三'''
from airflow import DAGfrom airflow.operators.bash import BashOperatorfrom datetime import datetime, timedelta
default_args = {'owner': 'airflow', # 拥有者名称'start_date': datetime(2021, 9, 22),  # 第一次开始执行的时间，为 UTC 时间'retries': 1,  # 失败重试次数'retry_delay': timedelta(minutes=5),  # 失败重试间隔
}dag = DAG(dag_id = 'dag_relation_3', #DAG id ,必须完全由字母、数字、下划线组成default_args = default_args, #外部定义的 dic 格式的参数schedule_interval = timedelta(minutes=1) # 定义DAG运行的频率,可以配置天、周、小时、分钟、秒、毫秒
)A = BashOperator(task_id='A',bash_command='echo "run A task"',dag=dag
)B = BashOperator(task_id='B',bash_command='echo "run B task"',dag=dag
)C = BashOperator(task_id='C',bash_command='echo "run C task"',dag=dag,retries=3
)D = BashOperator(task_id='D',bash_command='echo "run D task"',dag=dag
)E = BashOperator(task_id='E',bash_command='echo "run E task"',dag=dag
)F = BashOperator(task_id='F',bash_command='echo "run F task"',dag=dag
)[A,B,C] >>D >>[E,F]

​​​​​​​4. DAG任务依赖设置四

  • DAG调度流程图

  • task执行依赖
A >>B>>C>>D
A >>E>>F
  • 完整代码
'''
airflow 任务依赖关系设置四'''
from airflow import DAGfrom airflow.operators.bash import BashOperatorfrom datetime import datetime, timedelta
default_args = {'owner': 'airflow', # 拥有者名称'start_date': datetime(2021, 9, 22),  # 第一次开始执行的时间，为 UTC 时间'retries': 1,  # 失败重试次数'retry_delay': timedelta(minutes=5),  # 失败重试间隔
}dag = DAG(dag_id = 'dag_relation_4', #DAG id ,必须完全由字母、数字、下划线组成default_args = default_args, #外部定义的 dic 格式的参数schedule_interval = timedelta(minutes=1) # 定义DAG运行的频率,可以配置天、周、小时、分钟、秒、毫秒
)A = BashOperator(task_id='A',bash_command='echo "run A task"',dag=dag
)B = BashOperator(task_id='B',bash_command='echo "run B task"',dag=dag
)C = BashOperator(task_id='C',bash_command='echo "run C task"',dag=dag,retries=3
)D = BashOperator(task_id='D',bash_command='echo "run D task"',dag=dag
)E = BashOperator(task_id='E',bash_command='echo "run E task"',dag=dag
)F = BashOperator(task_id='F',bash_command='echo "run F task"',dag=dag
)A >>[B,C,D]
A >>[E,F]

5. DAG任务依赖设置五

  • DAG调度流程图

  • task执行依赖
A >>B>>E
C >>D>>E
  • 完整代码
'''
airflow 任务依赖关系设置五'''
from airflow import DAGfrom airflow.operators.bash import BashOperatorfrom datetime import datetime, timedelta
default_args = {'owner': 'airflow', # 拥有者名称'start_date': datetime(2021, 9, 22),  # 第一次开始执行的时间，为 UTC 时间'retries': 1,  # 失败重试次数'retry_delay': timedelta(minutes=5),  # 失败重试间隔
}dag = DAG(dag_id = 'dag_relation_5', #DAG id ,必须完全由字母、数字、下划线组成default_args = default_args, #外部定义的 dic 格式的参数schedule_interval = timedelta(minutes=1) # 定义DAG运行的频率,可以配置天、周、小时、分钟、秒、毫秒
)A = BashOperator(task_id='A',bash_command='echo "run A task"',dag=dag
)B = BashOperator(task_id='B',bash_command='echo "run B task"',dag=dag
)C = BashOperator(task_id='C',bash_command='echo "run C task"',dag=dag,retries=3
)D = BashOperator(task_id='D',bash_command='echo "run D task"',dag=dag
)E = BashOperator(task_id='E',bash_command='echo "run E task"',dag=dag
)A >>B>>E
C >>D>>E

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/196431.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

nginx学习(1)

nginx学习(1)

一、下载安装NGINX： 先安装gcc-c编译器 yum install gcc-c yum install -y openssl openssl-devel（1）下载pcre-8.3.7.tar.gz 直接访问：http://downloads.sourceforge.net/project/pcre/pcre/8.37/pcre-8.37.tar.gz，就…
阅读更多...
【Windows 开发环境配置——NVIDIA 篇】CUDA、cuDNN、TensorRT 三件套安装

【Windows 开发环境配置——NVIDIA 篇】CUDA、cuDNN、TensorRT 三件套安装

CUDA 从CUDA Toolkit Archive下载相应版本的离线安装包，这里以11.7为例。 打开安装包，在安装选项选择自定义模式，点击下一步。 在自定义安装选项中，仅选择CUDA组件（其中Nsight相关组件用于代码调试与性能分析&#xff…
阅读更多...
JVM bash:jmap:未找到命令 解决

JVM bash:jmap:未找到命令 解决

如果我们在使用JVM的jmap命令时遇到了"bash: jmap: 未找到命令"的错误，这可能是因为jmap命令没有在系统的可执行路径中。 要解决这个问题，可以尝试以下几种方法： 1. 检查Java安装：确保您已正确安装了Java Development …
阅读更多...
stable diffusion十七种controlnet详细使用方法总结

stable diffusion十七种controlnet详细使用方法总结

个人网站：https://tianfeng.space 前言 最近不知道发点什么，做个controlnet 使用方法总结好了，如果你们对所有controlnet用法，可能了解但是有点模糊，希望能对你们有用。 一、SD controlnet 我统一下其他参数&#…
阅读更多...
大数据可视化是什么？

大数据可视化是什么？

大数据可视化是将海量数据通过视觉方式呈现出来，以便于人们理解和分析数据的过程。它可以帮人们发现数据之间的关系、趋势和模式，并制定更明智的决策。大数据可视化通常通过图形、图表、地图和仪表盘等视觉元素来呈现数据。这些元素具有直观、易理解的特…
阅读更多...
【Proteus仿真】【51单片机】拔河游戏设计

【Proteus仿真】【51单片机】拔河游戏设计

文章目录 一、功能简介二、软件设计三、实验现象联系作者 一、功能简介 本项目使用Proteus8仿真51单片机控制器，使用按键、LED、动态数码管模块等。 主要功能： 系统运行后，指示灯处于中间位置，数码管显示得分0，当按下…
阅读更多...
RT-DETR算法优化改进：Inner-IoU基于辅助边框的IoU损失，高效结合 GIoU, DIoU, CIoU，SIoU 等 | 2023.11

RT-DETR算法优化改进：Inner-IoU基于辅助边框的IoU损失，高效结合 GIoU, DIoU, CIoU，SIoU 等 | 2023.11

本文改进：Inner-IoU引入尺度因子 ratio 控制辅助边框的尺度大小用于计算损失，并与现有的基于 IoU （ GIoU, DIoU, CIoU，SIoU ）损失进行有效结合 推荐指数：5颗星 新颖指数：5颗星 RT-DETR魔术师专栏介绍： https://blog.csdn.net/m0_63774211/category_12497375…
阅读更多...
可逆矩阵的性质

可逆矩阵的性质

如果矩阵A可逆，那么它的逆矩阵也可逆，并且如果矩阵A可逆，假设是一个不为0的数，那么也可逆，并且如果矩阵A和都可逆，而且它们的阶数也相同，那么它们的乘积也是可逆的，并且如果矩阵A可逆…
阅读更多...
腾讯云轻量级服务器和云服务器什么区别？轻量服务器是干什么用的

腾讯云轻量级服务器和云服务器什么区别？轻量服务器是干什么用的

随着互联网的迅速发展，服务器成为了许多人必备的工具。然而，面对众多的服务器选择，我们常常会陷入纠结之中。在这篇文章中，我们将探讨轻量服务器和标准云服务器的区别，帮助您选择最适合自己需求的服务器。 腾讯云双十…
阅读更多...
软件工程师参加技术峰会，带来的价值，你想象不到！

软件工程师参加技术峰会，带来的价值，你想象不到！

参加技术大会是软件开发人员了解行业最新技术和未来发展趋势的重要途径。 在技术大会上，来自世界各地的专家、学者和企业代表会分享他们的最新研究成果、技术创新和趋势分析。这对于软件开发人员来说，是一个宝贵的学习机会，可以帮助他们拓宽…
阅读更多...
树莓派Ubuntu20.04设置静态IP后无法联网的问题及解决

树莓派Ubuntu20.04设置静态IP后无法联网的问题及解决

一、问题描述 在使用虚拟机进行ssh远程连接时，需要知道目标机Ubuntu系统的用户名和IP地址，若IP地址是动态的，则每次远程连接前都需要接上显示器查看IP信息，很繁琐，所以需要设置静态的IP。 二、设置步骤 首先&#x…
阅读更多...
深入了解Java 8 新特性：lambda表达式进阶

深入了解Java 8 新特性：lambda表达式进阶

阅读建议 嗨，伙计！刷到这篇文章咱们就是有缘人，在阅读这篇文章前我有一些建议： 本篇文章大概7000多字，预计阅读时间长需要10分钟。本篇文章的实战性、理论性较强，是一篇质量分数较高的技术干货文章&#…
阅读更多...
这个双11，阿里云经历了可能是历史级的大故障！

这个双11，阿里云经历了可能是历史级的大故障！

2023年11月12日17：44开始，阿里云发生严重故障，导致阿里巴巴大量产品无法连接，一时间，“阿里云盘崩了”、“淘宝又崩了”、“闲鱼崩了”、“钉钉崩了”等话题相继登上热搜。 此外，像纳思云充电桩、乐爽coole…
阅读更多...
Os-ByteSec

Os-ByteSec

Os-ByteSec 一、主机发现和端口扫描 主机发现，靶机地址192.168.80.144 端口扫描，开放了80、139、445、2525端口 二、信息收集 访问80端口 路径扫描 dirsearch -u "http://192.168.80.144/" -e *访问扫描出来的路径，没有发现…
阅读更多...
第四代智能井盖传感器：万宾科技智能井盖位移监测方式一览

第四代智能井盖传感器：万宾科技智能井盖位移监测方式一览

现在城市化水平不断提高，每个城市的井盖遍布在城市的街道上，是否能够实现常态化和系统化的管理，反映了一个城市治理现代化水平。而且近些年来住建部曾多次要求全国各个城市加强相关的井盖管理工作，作为基础设施重要的一个组成部分…
阅读更多...
基于Gin+Gorm框架搭建MVC模式的Go语言企业级后端系统

基于Gin+Gorm框架搭建MVC模式的Go语言企业级后端系统

文/朱季谦 环境准备：安装Gin与Gorm 本文搭建准备环境：GinGormMySql。 Gin是Go语言的一套WEB框架，在学习一种陌生语言的陌生框架，最好的方式，就是用我们熟悉的思维去学。作为一名后端Java开发，在最初入门…
阅读更多...
windows Oracle Database 19c 卸载教程

windows Oracle Database 19c 卸载教程

目录 打开任务管理器 停止数据库服务 Universal Installer 卸载Oracle数据库程序 使用Oracle Installer卸载 删除注册表项 重新启动系统 打开任务管理器 ctrlShiftEsc可以快速打开任务管理器，找到oracle所有服务然后停止。 停止数据库服务 在开始卸载之前&a…
阅读更多...
和鲸科技创始人范向伟受邀出席“凌云出海，来中东吧”2023华为云上海路演活动

和鲸科技创始人范向伟受邀出席“凌云出海，来中东吧”2023华为云上海路演活动

11月9日，华为云“凌云出海，来中东吧”系列路演活动第二场在上海正式开启。聚焦“创业全球化”，本次活动由华为云携手阿布扎比投资办公室（ADIO）举办，旨在与渴望出海发展的优秀创业者们共探出海中东新商机。 …
阅读更多...
ogrinfo不是内部或者外部命令

ogrinfo不是内部或者外部命令

这个是GDAL的问题，我是通过OSGeo4w安装的，出来就是这个问题，教程没有仔细看干。 第一次安装，选择express install！！！！ 第一次安装，选择express install！&…
阅读更多...
M系列 Mac使用Homebrew下载配置git和连接GitHub

M系列 Mac使用Homebrew下载配置git和连接GitHub

一、首先我们需要安装Homebrew M系列 Mac安装配置Homebrewhttps://blog.csdn.net/W_Fe5/article/details/134428377?spm1001.2014.3001.5501 二、下载git 1、终端输入一下命令 brew install git 2、这时下载完成 二、配置git 1、创建用户名和邮箱 这里以我自己的邮箱举例…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023

友情链接： 我的编程经验分享 一条长河网 尧图网站开发