ACK One Argo工作流：实现动态 Fan-out/Fan-in 任务编排

作者：庄宇

什么是 Fan-out Fan-in

在工作流编排过程中，为了加快大任务处理的效率，可以使用 Fan-out Fan-in 任务编排，将大任务分解成小任务，然后并行运行小任务，最后聚合结果。

图片

由上图，可以使用 DAG（有向无环图）编排 Fan-out Fan-in 任务，子任务的拆分方式分为静态和动态，分别对应静态 DAG 和动态 DAG。动态 DAG Fan-out Fan-in 也可以理解为 MapReduce。每个子任务为 Map，最后聚合结果为 Reduce。

静态 DAG： 拆分的子任务分类是固定的，例如：在数据收集场景中，同时收集数据库 1 和数据库 2 中的数据，最后聚合结果。

动态 DAG： 拆分的子任务分类是动态的，取决于前一个任务的输出结果，例如：在数据处理场景中，任务 A 可以扫描待处理的数据集，为每个子数据集（例如：一个子目录）启动子任务 Bn 处理，当所有子任务 Bn 运行结束后，在子任务 C 中聚合结果，具体启动多少个子任务 B 取决由任务 A 的输出结果。根据实际的业务场景，可以在任务 A 中自定义子任务的拆分规则。

ACK One 分布式工作流 Argo 集群

在实际的业务场景中，为了加快大任务的执行，提升效率，往往需要将一个大任务分解成数千个子任务，为了保证数千个子任务的同时运行，需要调度数万核的 CPU 资源，叠加多任务需要竞争资源，一般 IDC 的离线任务集群难以满足需求。例如：自动驾驶仿真任务，修改算法后的回归测试，需要对所有驾驶场景仿真，每个小驾驶场景的仿真可以由一个子任务运行，开发团队为加快迭代速度，要求所有子场景测试并行执行。

如果您在数据处理，仿真计算和科学计算等场景中，需要使用动态 DAG 的方式编排任务，或者同时需要调度数万核的 CPU 资源加快任务运行，您可以使用阿里云 ACK One 分布式工作流 Argo 集群 [ 1] 。

ACK One 分布式工作流 Argo 集群，产品化托管 Argo Workflow [ 2] ，提供售后支持，支持动态 DAG Fan-out Fan-in 任务编排，支持按需调度云上算力，利用云上弹性，调度数万核 CPU 资源并行运行大规模子任务，减少运行时间，运行完成后及时回收资源节省成本。支持数据处理，机器学习，仿真计算，科学计算，CICD 等业务场景。

Argo Workflow 是开源 CNCF 毕业项目，聚焦云原生领域下的工作流编排，使用 Kubernetes CRD 编排离线任务和 DAG 工作流，并使用 Kubernetes Pod 在集群中调度运行。

本文介绍使用 Argo Workflow 编排动态 DAG Fan-out Fan-in 任务。

Argo Workflow 编排 Fan-out Fan-in 任务

我们将构建一个动态 DAG Fan-out Fan-in 工作流，读取阿里云 OSS 对象存储中的一个大日志文件，并将其拆分为多个小文件（split），启动多个子任务分别计算每个小文件中的关键词数量（count），最后聚合结果（merge）。

  1. 创建分布式工作流 Argo 集群 [ 3] 。

  2. 挂载阿里云 OSS 存储卷，工作流可以像操作本地文件一样，操作阿里云 OSS 上的文件。参考：工作流使用存储卷 [ 4] 。

  3. 使用以下工作流 YAML 创建一个工作流，参考：创建工作流 [ 5] 。具体说明参见注释。

apiVersion: argoproj.io/v1alpha1
kind: Workflow
metadata:generateName: dynamic-dag-map-reduce-
spec:entrypoint: main# claim a OSS PVC, workflow can read/write file in OSS through PVC. volumes:- name: workdirpersistentVolumeClaim:claimName: pvc-oss# how many tasks to split, default is 5.arguments:parameters:- name: numPartsvalue: "5"templates:- name: main# DAG definition.dag:tasks:# split log files to several small files, based on numParts.- name: splittemplate: splitarguments:parameters:- name: numPartsvalue: "{{workflow.parameters.numParts}}"# multiple map task to count words in each small file.- name: maptemplate: maparguments:parameters:- name: partIdvalue: '{{item}}'depends: "split"# run as a loop, partId from split task json outputs.withParam: '{{tasks.split.outputs.result}}'- name: reducetemplate: reducearguments:parameters:- name: numPartsvalue: "{{workflow.parameters.numParts}}"depends: "map"# The `split` task split the big log file to several small files. Each file has a unique ID (partId).# Finally, it dumps a list of partId to stdout as output parameters- name: splitinputs:parameters:- name: numPartscontainer:image: acr-multiple-clusters-registry.cn-hangzhou.cr.aliyuncs.com/ack-multiple-clusters/python-log-countcommand: [python]args: ["split.py"]env:- name: NUM_PARTSvalue: "{{inputs.parameters.numParts}}"volumeMounts:- name: workdirmountPath: /mnt/vol# One `map` per partID is started. Finds its own "part file" and processes it.- name: mapinputs:parameters:- name: partIdcontainer:image: acr-multiple-clusters-registry.cn-hangzhou.cr.aliyuncs.com/ack-multiple-clusters/python-log-countcommand: [python]args: ["count.py"]env:- name: PART_IDvalue: "{{inputs.parameters.partId}}"volumeMounts:- name: workdirmountPath: /mnt/vol# The `reduce` task takes the "results directory" and returns a single result.- name: reduceinputs:parameters:- name: numPartscontainer:image: acr-multiple-clusters-registry.cn-hangzhou.cr.aliyuncs.com/ack-multiple-clusters/python-log-countcommand: [python]args: ["merge.py"]env:- name: NUM_PARTSvalue: "{{inputs.parameters.numParts}}"volumeMounts:- name: workdirmountPath: /mnt/voloutputs:artifacts:- name: resultpath: /mnt/vol/result.json
  1. 动态 DAG 实现

1）split 任务在拆分大文件后，会在标准输出中输出一个 json 字符串，包含：子任务要处理的 partId，例如：

["0", "1", "2", "3", "4"]

2）map 任务使用 withParam 引用 split 任务的输出，并解析 json 字符串获得所有 {{item}}，并使用每个 {{item}} 作为输入参数启动多个 map 任务。

          - name: maptemplate: maparguments:parameters:- name: partIdvalue: '{{item}}'depends: "split"withParam: '{{tasks.split.outputs.result}}'

更多定义方式，请参考开源 Argo Workflow 文档 [ 6] 。

  1. 工作流运行后，通过分布式工作流 Argo 集群控制台 [ 7] 查看任务 DAG 流程与运行结果。

图片

  1. 阿里云 OSS 文件列表，log-count-data.txt 为输入日志文件，split-output，cout-output 中间结果目录，result.json 为最终结果文件。

图片

  1. 示例中的源代码可以参考：AliyunContainerService GitHub argo-workflow-examples [ 8] 。

总结

Argo Workflow 是开源 CNCF 毕业项目，聚焦云原生领域下的工作流编排，使用 Kubernetes CRD 编排离线任务和 DAG 工作流，并使用 Kubernetes Pod 在集群中调度运行。

阿里云 ACK One 分布式工作流 Argo 集群，产品化托管 Argo Workflow，提供售后支持，加固控制面实现数万子任务（Pod）稳定高效调度运行，数据面支持无服务器方式调度云上大规模算力，无需运维集群或者节点，支持按需调度云上算力，利用云上弹性，调度数万核 CPU 资源并行运行大规模子任务，减少运行时间，支持数据处理，机器学习，仿真计算，科学计算，CICD 等业务场景。

欢迎加入 ACK One 客户交流钉钉群与我们进行交流。（钉钉群号：35688562）

相关链接：

[1] 阿里云 ACK One 分布式工作流 Argo 集群

https://help.aliyun.com/zh/ack/overview-12

[2] Argo Workflow

https://argo-workflows.readthedocs.io/en/latest/

[3] 创建分布式工作流 Argo 集群

https://help.aliyun.com/zh/ack/create-a-workflow-cluster

[4] 工作流使用存储卷

https://help.aliyun.com/zh/ack/use-volumes

[5] 创建工作流

https://help.aliyun.com/zh/ack/create-a-workflow

[6] 开源 Argo Workflow 文档

https://argo-workflows.readthedocs.io/en/latest/walk-through/loops/

[7] 分布式工作流 Argo 集群控制台

https://account.aliyun.com/login/login.htm?oauth_callback=https%3A%2F%2Fcs.console.aliyun.com%2Fone%3Fspm%3Da2c4g.11186623.0.0.7e2f1428OwzMip#/argowf/cluster/detail

[8] AliyunContainerService GitHub argo-workflow-examples

https://github.com/AliyunContainerService/argo-workflow-examples/tree/main/log-count

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/253995.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

13. UE5 RPG限制Attribute的值的范围以及生成结构体

13. UE5 RPG限制Attribute的值的范围以及生成结构体

前面几章，我们实现了通过GameplayEffect对Attribute值的修改，比如血量和蓝量，我们都是有一个最大血量和最大蓝量去限制它的最大值，而且血量和蓝量最小值不会小于零。之前我们是没有实现相关限制的，接下来，我…
阅读更多...
React实例之完善布局菜单（一）

React实例之完善布局菜单（一）

今天我们来用所学的知识来做一个布局菜单的组件, 针对这个组件我之前写过一个教程 React之布局菜单-CSDN博客，那个呢比较基础，这节课算是对那个教程的一个扩展和补充。这个实例讲完，这个系列就算告一段落了。先看效果 这个教程要求对React知识…
阅读更多...
猫头虎分享已解决Bug ‍ || TypeError: Object of type ‘int64‘ is not JSON serializable

猫头虎分享已解决Bug ‍ || TypeError: Object of type ‘int64‘ is not JSON serializable

博主猫头虎的技术世界 🌟 欢迎来到猫头虎的博客 — 探索技术的无限可能！ 专栏链接： 🔗 精选专栏： 《面试题大全》 — 面试准备的宝典！《IDEA开发秘籍》 — 提升你的IDEA技能！《100天精通鸿蒙》 …
阅读更多...
redis特点

redis特点

一、redis线程模型有哪些，单线程为什么快？ 1、IO模型维度的特征 IO模型使用了多路复用器，在linux系统中使用的是EPOLL 类似netty的BOSS,WORKER使用一个EventLoopGroup(threads1) 单线程的Reactor模型，每次循环取socket中的命令…
阅读更多...
一篇文章理解时间复杂度和空间复杂度

一篇文章理解时间复杂度和空间复杂度

今天也是很开心的学到了数据结构，也是打算把我自己对知识的理解给写出来了。第一篇数据结构开始咯。开始之前我们先理解一个概念。 什么是算法效率？ 算法效率是指算法执行的速度或完成任务所需的资源（如时间和空间）的度量。它通…
阅读更多...
字节3面真题，LeetCode上hard难度，极具启发性题解

字节3面真题，LeetCode上hard难度，极具启发性题解

文章目录 🚀前言🚀LeetCode：41. 缺失的第一个正整数🚀思路🚀整个代码思路串一下🚀Code 🚀前言 铁子们好啊！阿辉来讲道题，这道题据说是23年字节3面真题，LeetC…
阅读更多...
jmeter的简单使用

jmeter的简单使用

1、打开jmeter 打开Jmeter 安装包，进入\bin 中，找到“ApacheJMeter.jar”或"jmeter.bat", 双击打开即可 2、建立线程组 如下图所示，右击TestPlan，点击ADD->Threads(Users)->ThreadGroup 线程组页面分析&#xf…
阅读更多...
数字图像处理实验记录六（图像的傅里叶变换和频域处理）

数字图像处理实验记录六（图像的傅里叶变换和频域处理）

前言： 一、基础知识 1，傅里叶变换是什么 傅里叶变换是一种线性积分变换，通俗来说，通过傅里叶变换就是把一段信号分解成若干个简谐波。 二、实验要求 1．产生一幅如图所示亮块图像f(x,y)（256256 大小、…
阅读更多...
【npm】修改npm全局安装包的位置路径

【npm】修改npm全局安装包的位置路径

问题 全局安装的默认安装路径为：C:\Users\admin\AppData\Roaming\npm，缓存路径为：C:\Users\admin\AppData\Roaming\npm_cache（其中admin为自己的用户名）。 由于默认的安装路径在C盘，太浪费C盘内存啦&#…
阅读更多...
网络协议与攻击模拟_15FTP协议

网络协议与攻击模拟_15FTP协议

了解FTP协议 在Windows操作系统上使用serv-U软件搭建FTP服务 分析FTP流量 一、FTP协议 1、FTP概念 FTP（文件传输协议）由两部分组成：客户端/服务端（C/S架构） 应用场景：企业内部存放公司文件、开发网站时利…
阅读更多...
[ChatGPT们】ChatGPT 如何辅助编程初探

[ChatGPT们】ChatGPT 如何辅助编程初探

主页：元存储的博客 全文 9000 字， 原创请勿转载。 我没有写过诗，但有人说我的代码像诗一样优雅 -- 雷军 图片来源：https://www.bilibili.com/video/BV1zL411X7oS/ 1. 引言 作为一个程序员，我们不仅要熟悉各种编程语…
阅读更多...
C语言实现memcpy、memmove库函数

C语言实现memcpy、memmove库函数

目录 引言一、库函数介绍二、库函数详解三、源码实现1.memcpy源码实现2.memmove源码实现 四、测试1.memcpy函数2.memmove函数 五、源码1.memcpy源码2.memmove源码 六、参考文献 引言 关于memcpy和memmove这两个函数，不论是算法竞赛还是找工作面试笔试，对…
阅读更多...
百卓Smart管理平台 uploadfile.php 文件上传漏洞【CVE-2024-0939】

百卓Smart管理平台 uploadfile.php 文件上传漏洞【CVE-2024-0939】

百卓Smart管理平台 uploadfile.php 文件上传漏洞【CVE-2024-0939】 一、 产品简介二、 漏洞概述三、 影响范围四、 复现环境五、 漏洞复现手动复现小龙验证Goby验证 免责声明：请勿利用文章内的相关技术从事非法测试，由于传播、利用此文所提供的信息或者工…
阅读更多...
vue3集成bpmn

vue3集成bpmn

文章目录 前言一、依赖二、汉化配置1.引入文件2.样式文件 总结 前言 vue3 集成bpmn 配置工作流 一、依赖 "bpmn-js": "^7.3.1", "bpmn-js-properties-panel": "^0.37.2", "bpmn-moddle": "^6.0.0", "camu…
阅读更多...
【学网攻】 第(23)节 -- PPP协议

【学网攻】 第(23)节 -- PPP协议

系列文章目录 目录 系列文章目录 文章目录 前言 一、PPP协议是什么？ 二、实验 1.引入 实验目的 实验背景你是某公司的网络管理员，现在需要与另一个公司进行通信,需要你配置PPP协议保证双方发送的人是真正的而非黑客 技术原理 实验步骤新建Pack…
阅读更多...
专业排版设计软件：QuarkXPress 2024 for mac中文激活版

专业排版设计软件：QuarkXPress 2024 for mac中文激活版

QuarkXPress 2024 for Mac是一款功能强大、易于使用、高质量输出的专业排版软件。无论您是出版业的专家还是初学者，都可以通过QuarkXPress 2024轻松创建出令人惊叹的出版物。 软件下载：QuarkXPress 2024 for mac中文激活版下载 QuarkXPress 2023 for Mac…
阅读更多...
牛客网SQL264：查询每个日期新用户的次日留存率

牛客网SQL264：查询每个日期新用户的次日留存率

官网链接： 牛客每个人最近的登录日期(五)_牛客题霸_牛客网牛客每天有很多人登录，请你统计一下牛客每个日期新用户的次日留存率。 有一个登录(login。题目来自【牛客题霸】https://www.nowcoder.com/practice/ea0c56cd700344b590182aad03cc61b8?tpId82 …
阅读更多...
前后端数据校验

前后端数据校验

前端校验内容 前端开发中的必要校验，可以保证用户输入的数据的准确性、合法性和安全性。同时，这些校验也有助于提供良好的用户体验和防止不必要的错误提交到后端。 1、必填字段校验： 对于必填的字段，需确保用户输入了有效的数据…
阅读更多...
双非本科准备秋招（19.2）—— 设计模式之保护式暂停

双非本科准备秋招（19.2）—— 设计模式之保护式暂停

一、wait & notify wait能让线程进入waiting状态，这时候就需要比较一下和sleep的区别了。 sleep vs wait 1) sleep 是 Thread 方法，而 wait 是 Object 的方法 2) sleep 不需要强制和 synchronized 配合使用，但 wait 强制和 s…
阅读更多...
Javaweb之SpringBootWeb案例之登录校验功能的详细解析

Javaweb之SpringBootWeb案例之登录校验功能的详细解析

2. 登录校验 2.1 问题分析 我们已经完成了基础登录功能的开发与测试，在我们登录成功后就可以进入到后台管理系统中进行数据的操作。 但是当我们在浏览器中新的页面上输入地址：http://localhost:9528/#/system/dept，发现没有登录仍然可以进…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023

友情链接： 我的编程经验分享 一条长河网 尧图网站开发