使用argo workflow 实现springboot 项目的CI、CD

文章目录

  • 基础镜像制作
    • 基础镜像
    • 设置镜像源并安装工具git
    • 下载和安装 Maven
    • 设置环境变量
    • 设置工作目录
    • 默认命令
    • 最终dockerfile
  • 制作ci argo workflow 模版
    • volumeClaimTemplates
    • templates
    • volumes
    • 完整workflow文件
  • 制作cd argo workflow 模版
    • Workflow 结构
    • Templates 定义
      • 创建 Kubernetes 服务 (create-service)
      • 启动 Spring Boot 容器 (springboot-container)
    • 完整workflow内容

在实现 Spring Boot 项目的 CI/CD 流程时,可以使用 Argo Workflows 来自动化构建、测试和部署过程。Argo Workflows 是一个 Kubernetes 原生的工作流引擎,能够在 Kubernetes 集群中定义、运行、监控和管理复杂的工作流。

基础镜像制作

基础镜像

FROM openjdk:8-jdk-slim

这行指定了构建的基础镜像是 openjdk:8-jdk-slim。这是一个包含了 Java 8 开发工具包(JDK)的精简版镜像,适用于 Java 开发和运行环境。

设置镜像源并安装工具git

RUN echo "deb https://mirrors.aliyun.com/debian/ bullseye main non-free contrib" > /etc/apt/sources.list \&& apt-get update \&& apt-get install -y git wget tar \&& apt-get clean \&& rm -rf /var/lib/apt/lists/*
  • 更改 apt 源:使用阿里云的 Debian 镜像源(bullseye),提高安装软件包时的速度和稳定性,尤其是在中国地区。

  • 更新软件包索引:apt-get update 更新包索引。

  • 安装软件包:通过 apt-get install -y 安装 git(用于版本控制)、wget(用于下载文件)、和 tar(用于解压文件)。

  • 清理缓存:使用 apt-get clean 清理下载缓存,减少镜像体积。然后,rm -rf /var/lib/apt/lists/* 删除 apt 包索引文件,进一步减小镜像体积。

下载和安装 Maven

RUN wget https://maven.aliyun.com/nexus/content/groups/public/org/apache/maven/apache-maven/3.8.6/apache-maven-3.8.6-bin.tar.gz -P /tmp || (echo "Maven download failed!" && exit 1)
  • 下载 Maven:使用 wget 从阿里云镜像站点下载 Maven 3.8.6 的二进制压缩包。如果下载失败,将输出错误消息并终止构建。
RUN tar -xvzf /tmp/apache-maven-3.8.6-bin.tar.gz -C /usr/share/ \&& rm -f /tmp/apache-maven-3.8.6-bin.tar.gz \&& ln -s /usr/share/apache-maven-3.8.6/bin/mvn /usr/bin/mvn
  • 解压 Maven:解压下载的 Maven 压缩包到 /usr/share/目录。

  • 清理临时文件:删除下载的压缩包。

  • 创建符号链接:通过 ln -s 创建一个符号链接,将 Maven 的可执行文件 mvn 链接到 /usr/bin/mvn,使得 Maven 命令可以在任何地方使用。

设置环境变量

ENV MAVEN_HOME=/usr/share/apache-maven-3.8.6
ENV PATH=$MAVEN_HOME/bin:$PATH
  • MAVEN_HOME:设置 Maven 的环境变量,指向解压后的 Maven 目录。
  • 更新 PATH:将 Maven 的 bin 目录添加到 PATH 环境变量中,这样就可以直接在命令行使用 mvn 命令。

设置工作目录

WORKDIR /app

设置容器的工作目录为 /app。所有后续的命令(如构建、运行程序)将会在该目录下执行。这个目录是你在容器中执行应用程序的默认位置。

默认命令

CMD ["bash"]
  • 这个命令指定了容器启动时的默认命令是 bash。也就是说,如果你运行这个容器但没有指定其他命令,它将启动一个交互式的 bash shell。

最终dockerfile

FROM openjdk:8-jdk-slim# 使用 Debian 11 (bullseye) 的镜像源
RUN echo "deb https://mirrors.aliyun.com/debian/ bullseye main non-free contrib" > /etc/apt/sources.list \&& apt-get update \&& apt-get install -y git wget tar \&& apt-get clean \&& rm -rf /var/lib/apt/lists/*# 下载 Maven
RUN wget https://maven.aliyun.com/nexus/content/groups/public/org/apache/maven/apache-maven/3.8.6/apache-maven-3.8.6-bin.tar.gz -P /tmp || (echo "Maven download failed!" && exit 1)# 解压 Maven 并创建符号链接
RUN tar -xvzf /tmp/apache-maven-3.8.6-bin.tar.gz -C /usr/share/ \&& rm -f /tmp/apache-maven-3.8.6-bin.tar.gz \&& ln -s /usr/share/apache-maven-3.8.6/bin/mvn /usr/bin/mvn# 设置环境变量
ENV MAVEN_HOME=/usr/share/apache-maven-3.8.6
ENV PATH=$MAVEN_HOME/bin:$PATH# 设置工作目录
WORKDIR /app# 默认命令
CMD ["bash"]

执行构建:

docker build -t git-maven-base:v1 . -f Dockerfile

制作ci argo workflow 模版

volumeClaimTemplates

volumeClaimTemplates:- metadata:name: shared-workdirspec:accessModes: ["ReadWriteMany"]resources:requests:storage: 1Gi- metadata:name: maven-repo-cachespec:accessModes: [ "ReadWriteMany" ]resources:requests:storage: 2Gi
  • shared-workdir: 这个 PVC 用于在工作流中的不同任务之间共享数据。它的存储请求为 1 GiB,并且支持 ReadWriteMany,意味着多个 pod 可以同时读写该存储。

  • maven-repo-cache : 用于缓存 Maven 本地仓库的数据。它的存储请求为 2 GiB,同样支持 ReadWriteMany可以在不同的 pod 之间共享缓存数据,避免每次构建时都重新下载依赖

templates

在 templates 部分定义了多个步骤的模板,每个步骤会在不同的容器中执行。

main 模板

- name: maindag:tasks:- name: git-clonetemplate: git-clone- name: docker-buildtemplate: docker-builddependencies: [git-clone]
  • dag:这里使用的是 DAG(有向无环图) 结构,git-clone 任务是 docker-build 的前置依赖(即 docker-build 需要在 git-clone 完成后才开始执行)。

git-clone 模板

- name: git-clonecontainer:image: git-maven-base:v1command: [sh, -c]args:- |git clone https://gitee.com/qfxcoffee/shield.git /srccd /src/arthas-study && mvn clean package -DskipTestscd /src/arthas-study/targetmv arthas-study.jar /src/arthas-study.jarmv /src/arthas-study/docker/Dockerfile /src/cp -r /src/. /mnt/  # 将文件复制到挂载的 PVC 中volumeMounts:- name: shared-workdirmountPath: /mnt  # 挂载到容器的 /mnt 目录- name: maven-repo-cachemountPath: /root/.m2/repository  # 挂载到 Maven 本地仓库路径

git-clone 任务使用一个 git-maven-base:v1 的镜像来执行 Git 克隆操作,并且使用 Maven 构建项目。

构建过程中,Maven 会将依赖缓存到 /root/.m2/repository,并且将源码和构建产物(如 arthas-study.jarDockerfile)复制到 /mnt,这个路径会映射到共享的 PVC (shared-workdir),保证不同任务之间的数据共享。

docker-build 模板

- name: docker-buildcontainer:image: docker:19.03.12-dindcommand: [ "/bin/sh", "-c" ]args: ["docker info && cd /mnt && docker build -t my-image:v1 ."]volumeMounts:- name: shared-workdirmountPath: /mnt  # 挂载到容器的 /mnt 目录- name: docker-socketmountPath: /var/run/docker.sock- name: maven-repo-cachemountPath: /root/.m2/repository  # 挂载到 Maven 本地仓库路径
  • docker-build 任务使用 docker:19.03.12-dind 镜像(Docker-in-Docker),这意味着可以在容器内执行 Docker 命令。它会进入挂载的 /mnt 目录,执行 docker build 来构建 Docker 镜像。

  • 挂载了 docker-socket,这样容器可以与宿主机上的 Docker 服务进行通信,执行构建命令。

volumes

volumes:- name: docker-sockethostPath:path: /var/run/docker.socktype: Socket- name: maven-repo-cachehostPath:path: /root/.m2/repositorytype: Directory
  • docker-socket: 宿主机上的 Docker 套接字 (/var/run/docker.sock) 被挂载到容器中,使得容器能够访问宿主机的 Docker 引擎,从而执行 Docker 命令。

  • maven-repo-cache: 这里挂载了宿主机上的 /root/.m2/repository 目录到容器中,用于缓存 Maven 本地仓库。这意味着 Maven 任务在执行时会使用这个缓存,而不必每次都从远程仓库下载依赖,减少了构建时间。

hostPathvolumeClaimTemplates 中的 PVC 用法:

hostPath 通过指定宿主机上的目录或套接字,让容器能够访问宿主机的资源。
volumeClaimTemplates 则是在 Kubernetes 中动态创建 PVC,并在 Pod 内部挂载这些 PVC,使得多个任务之间可以共享文件和数据。

这两种挂载方式在某些场景下配合使用,可以提供灵活的数据共享和存储策略。

完整workflow文件

apiVersion: argoproj.io/v1alpha1
kind: Workflow
metadata:generateName: pvs-demo-
spec:entrypoint: mainvolumeClaimTemplates:- metadata:name: shared-workdir  # 共享的 PVC 名称spec:accessModes: ["ReadWriteMany"]  # 多个 Pod 可以同时读取和写入resources:requests:storage: 1Gi- metadata:name: maven-repo-cache  # 用于缓存 Maven 本地仓库spec:accessModes: [ "ReadWriteMany" ]resources:requests:storage: 2Gitemplates:- name: maindag:tasks:- name: git-clonetemplate: git-clone- name: docker-buildtemplate: docker-builddependencies: [git-clone]- name: git-clonecontainer:image: git-maven-base:v1command: [sh, -c]args:- |git clone https://gitee.com/qfxcoffee/shield.git /srccd /src/arthas-study && mvn clean package -DskipTestscd /src/arthas-study/targetmv arthas-study.jar /src/arthas-study.jarmv /src/arthas-study/docker/Dockerfile /src/cp -r /src/. /mnt/  # 将文件复制到挂载的 PVC 中volumeMounts:- name: shared-workdir  # 挂载 PVCmountPath: /mnt  # 挂载到容器的 /mnt 目录- name: maven-repo-cachemountPath: /root/.m2/repository  # 将 PVC 挂载到 Maven 本地仓库路径- name: docker-buildcontainer:image: docker:19.03.12-dindcommand: [ "/bin/sh", "-c" ]args: ["docker info && cd /mnt && docker build -t my-image:v1 ."]volumeMounts:- name: shared-workdir  # 挂载共享 PVC,确保构建上下文可用mountPath: /mnt  # 挂载到容器的 /mnt 目录- name: docker-socketmountPath: /var/run/docker.sock- name: maven-repo-cachemountPath: /root/.m2/repository  # 将 PVC 挂载到 Maven 本地仓库路径volumes:- name: docker-sockethostPath:path: /var/run/docker.socktype: Socket- name: maven-repo-cachehostPath:path: /root/.m2/repository  # 宿主机上的目录路径type: Directory  # 可以是 Directory 或 File,取决于你的需求

在这里插入图片描述

在这里插入图片描述

可以看到maven构建及docker构建镜像成功

制作cd argo workflow 模版

Workflow 结构

apiVersion: argoproj.io/v1alpha1
kind: Workflow
metadata:generateName: springboot-service-workflow-
spec:entrypoint: springboot-workflow
  • apiVersion: argoproj.io/v1alpha1kind: Workflow:这定义了这是一个 Argo Workflow 类型的资源,表示这个文件用于定义一个工作流。

  • metadata.generateName: springboot-service-workflow-:这个字段为工作流生成一个唯一的名称。generateName 表示 Argo 会在每次创建工作流时,为该工作流添加一个随机的后缀,以确保工作流名称的唯一性。

  • spec.entrypoint: springboot-workflow:指定工作流的入口点,即从哪个模板开始执行。在这个例子中,工作流会从 springboot-workflow 模板开始执行。

Templates 定义

接下来的部分定义了工作流中的多个步骤 (steps),这些步骤会按顺序执行。

创建 Kubernetes 服务 (create-service)

- name: create-serviceresource:action: applymanifest: |apiVersion: v1kind: Servicemetadata:name: springboot-servicespec:selector:app: springboot-appports:- protocol: TCPport: 8080targetPort: 8080type: NodePort  # 可以根据需要修改为 LoadBalancer 或 NodePort
  • name: create-service:这个步骤的名称。
  • resource:
    • action: apply:表示使用 kubectl apply 命令应用 Kubernetes 资源,创建一个服务。
    • manifest: 这是一个 Kubernetes Service 的 YAML 定义,描述了服务的配置。
    • apiVersion: v1 和 kind: Service:表示这个资源是一个 Kubernetes 服务。
    • metadata.name: springboot-service:服务的名称是 springboot-service。
      • spec:
        • selector: 用于选择应用的 Pod。这里的选择器选择标签为 app: springboot-app 的 Pod。
        • ports: 定义服务的端口,服务监听 8080 端口,并将请求转发到目标端口 8080。
        • type: NodePort:指定服务类型为 NodePort,这意味着服务将暴露在 Kubernetes 节点的一个端口上,便于从外部访问应用。你可以根据需要将其改为 LoadBalancer 或 ClusterIP,具体取决于你的网络需求。

启动 Spring Boot 容器 (springboot-container)


- name: springboot-containercontainer:name: springboot-appimage: my-image:v1  # 替换成你的 Docker 镜像command: [ "java" ]  # 显式指定命令为 `java`args: [ "-jar", "arthas-study.jar" ]  # 显式指定 `arthas-study.jar` 文件作为参数ports:- containerPort: 8080env:- name: SPRING_PROFILES_ACTIVEvalue: "prod"metadata:labels:app: springboot-app

完整workflow内容

apiVersion: argoproj.io/v1alpha1
kind: Workflow
metadata:generateName: springboot-service-workflow-
spec:entrypoint: springboot-workflowtemplates:- name: springboot-workflowsteps:- - name: create-servicetemplate: create-service- - name: start-springboot-containertemplate: springboot-container- name: create-serviceresource:action: applymanifest: |apiVersion: v1kind: Servicemetadata:name: springboot-servicespec:selector:app: springboot-appports:- protocol: TCPport: 8080targetPort: 8080type: NodePort  # 可以根据需要修改为 LoadBalancer 或 NodePort- name: springboot-containercontainer:name: springboot-appimage: my-image:v1  # 替换成你的 Docker 镜像command: [ "java" ]  # 显式指定命令为 `java`args: [ "-jar", "arthas-study.jar" ]  # 显式指定 `arthas-study.jar` 文件作为参数ports:- containerPort: 8080env:- name: SPRING_PROFILES_ACTIVEvalue: "prod"metadata:labels:app: springboot-app

在这里插入图片描述

可以看到springboot项目已经运行成功。

kubectl get svc -n argo

在这里插入图片描述

http://192.168.56.115:32356/user/1

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/479706.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

BUUCTF—Reverse—不一样的flag(7)

是不是做习惯了常规的逆向题目?试试这道题,看你在能不能在程序中找到真正的flag!注意:flag并非是flag{XXX}形式,就是一个’字符串‘,考验眼力的时候到了! 注意:得到的 flag 请包上 f…

insmod一个ko提供基础函数供后insmod的ko使用的方法

一、背景 在内核模块开发时,多个不同的内核模块,有时候可能需要都共用一些公共的函数,比如申请一些平台性的公共资源。但是,这些公共的函数又不方便去加入到内核镜像里,这时候就需要把这些各个内核模块需要用到的一些…

LangGraph中的State管理

本教程将介绍如何使用LangGraph库构建和测试状态图。我们将通过一系列示例代码,逐步解释程序的运行逻辑。 1. 基本状态图构建 首先,我们定义一个状态图的基本结构和节点。 定义状态类 from langgraph.graph import StateGraph, START, END from typi…

MATLAB中Simulink的基础知识

Simulink是MATLAB中的一种可视化仿真工具, 是一种基于MATLAB的框图设计环境,是实现动态系统建模、仿真和分析的一个软件包,被广泛应用于线性系统、非线性系统、数字控制及数字信号处理的建模和仿真中。 Simulink提供一个动态系统建模、仿真和…

最小生成树-Prim与Kruskal算法

文章目录 什么是最小生成树?Prim算法求最小生成树Python实现: Kruskal算法求最小生成树并查集 Python实现: Reference 什么是最小生成树? 在图论中,树是图的一种,无法构成闭合回路的节点-边连接组合称之为…

关闭AWS账号后,服务是否仍会继续运行?

在使用亚马逊网络服务(AWS)时,用户有时可能会考虑关闭自己的AWS账户。这可能是因为项目结束、费用过高,或是转向使用其他云服务平台。然而,许多人对关闭账户后的服务状态感到困惑,我们九河云和大家一起探讨…

Could not locate device support files.

报错信息:Failure Reason: The device may be running a version of iOS (13.6.1 17G80) that is not supported by this version of Xcode.[missing string: 869a8e318f07f3e2f42e11d435502286094f76de] 问题:xcode15升级到xcode16之后,13.…

Linux文件基础

目录 一、文件类型 二、文件权限 三、权限修改 Linux中一切皆文件,文件目录分布呈树状数据结构,/是根目录,目录的源头 一、文件类型 类型字符说明普通-Linux中最多的一种文件类型,包括 纯文本文件(ASCII)、二进制文件(binary…

自然语言处理基础之文本预处理

一. NLP介绍 1957年, 怛特摩斯会议 二. 文本预处理 文本预处理及作用 将文本转换成模型可以识别的数据 文本转化成张量(可以利用GPU计算), 规范张量的尺寸. 科学的文本预处理可以有效的指导模型超参数的选择, 提升模型的评估指标 文本处理形式 分词 词性标注 命名实体识别…

外卖点餐系统小程序

目录 开发前准备 项目展示项目分析项目初始化封装网络请求 任务1 商家首页 任务分析焦点图切换中间区域单击跳转到菜单列表底部商品展示 任务2 菜单列表 任务分析折扣信息区设计菜单列表布局请求数据实现菜单栏联动单品列表功能 任务3 购物车 任务分析设计底部购物车区域添加商…

彻底理解如何保证ElasticSearch和数据库数据一致性问题

一.业务场景举例 需求: 一个卖房业务,双十一前一天,维护楼盘的运营人员突然接到合作开发商的通知,需要上线一批热门的楼盘列表,上传完成后,C端小程序支持按楼盘的名称、户型、面积等产品属性全模糊搜索热门…

单片机将图片数组调出来显示MPU8_8bpp_Memory_Write

界面显示图片是很常见的需求,使用外挂的FLASH是最常用的方法。但是如果图片需求不大,比如说我们只要显示一个小图标,那么为了节省硬件成本,是不需要外挂一颗FLASH芯片的,我们可以将图标转成数组,存在单片机…

VS的安装和配置

目录 概述 安装Visual Studio 下载引导安装包 在线安装(推荐) 使用Visual Studio进行开发 创建项目 配置项目 项目 VS 解决方案(重要) 命名 完成项目创建 创建源文件 编写代码 VS项目目录的说明(补充&…

linux模拟HID USB设备及wireshark USB抓包配置

文章目录 1. 内核配置2. 设备配置附 wireshark USB抓包配置 linux下模拟USB HID设备的简单记录&#xff0c;其他USB设备类似。 1. 内核配置 内核启用USB Gadget&#xff0c;使用fs配置usb device信息。 Device Drivers ---> [*] USB support ---><*> USB …

【C++】vector的使用

1. vector的构造 (constrator)构造函数声明 接口说明 vector(); (重点) 无参构造 vector (const vector& x); &#xff08;重点&#xff09; 拷贝构造 vector (InputIterator first, InputIterator last); 使用迭代器区间进行初始化构造 vector (size_type n, co…

Easy Excel 通过【自定义批注拦截器】实现导出的【批注】功能

目录 Easy Excel 通过 【自定义批注拦截器】实现导出的【批注】功能需求原型&#xff1a;相关数据&#xff1a;要导出的对象字段postman 格式导出对象VO 自定义批注拦截器业务代码&#xff1a; 拦截器代码解释&#xff1a;详细解释&#xff1a;格式优化&#xff1a; Easy Excel…

Qt/C++基于重力模拟的像素点水平堆叠效果

本文将深入解析一个基于 Qt/C 的像素点模拟程序。程序通过 重力作用&#xff0c;将随机分布的像素点下落并水平堆叠&#xff0c;同时支持窗口动态拉伸后重新计算像素点分布。 程序功能概述 随机生成像素点&#xff1a;程序在初始化时随机生成一定数量的像素点&#xff0c;每个…

矩阵重构——sortrows函数

s o r t r o w s sortrows sortrows函数依据某列的属性对其元素所在的行进行排序从而进行矩阵的排序 s o r t r o w s sortrows sortrows函数常用方法&#xff1a; 1. 1. 1. s o r t r o w s ( a , [ c 1 , c 2 ] ) sortrows(a,[c_1,c_2]) sortrows(a,[c1​,c2​])&#xff0c…

Linux之网络基础

网络发展 网络的发展可以从人与人之间的工作模式开始谈起, 人与人的工作模式反应了机器与机器的工作模式: 1. 独立模式: 在网络发展的早期计算机间处于独立模式, 计算机之间相互独立 最开始计算机之间是独立运行的, 数据之间的交互需要人用软盘等存储介质拷贝过去, 一般涉及…

【pyspark学习从入门到精通22】机器学习库_5

训练-验证分割 TrainValidationSplit 模型为了选择最佳模型&#xff0c;会对输入数据集&#xff08;训练数据集&#xff09;进行随机分割&#xff0c;分成两个子集&#xff1a;较小的训练子集和验证子集。分割只执行一次。 在这个例子中&#xff0c;我们还将使用 ChiSqSelect…