《Python实战进阶》No26: CI/CD 流水线：GitHub Actions 与 Jenkins 集成

No26: CI/CD 流水线：GitHub Actions 与 Jenkins 集成

摘要

持续集成（CI）和持续部署（CD）是现代软件开发中不可或缺的实践，能够显著提升开发效率、减少错误并加速交付流程。本文将探讨如何利用 GitHub Actions 和 Jenkins 构建高效的 CI/CD 流水线，并通过实战案例展示如何自动化构建、测试和部署 Python 应用程序。无论你是个人开发者还是团队成员，本文都将帮助你掌握 CI/CD 的核心技能，并优化开发工作流。

在这里插入图片描述

核心概念和知识点

1. CI/CD 的基本概念与工作原理

  • 持续集成（CI）：开发人员频繁地将代码提交到共享仓库，每次提交都会触发自动化构建和测试，以尽早发现集成问题。
  • 持续部署（CD）：在 CI 的基础上，进一步将通过测试的代码自动部署到生产环境或测试环境。
  • 关键组件：
    • 版本控制系统（如 Git）
    • 构建工具（如 Docker、Makefile）
    • 自动化测试框架（如 pytest）
    • 部署工具（如 Ansible、Kubernetes）

2. GitHub Actions 的 YAML 配置文件

GitHub Actions 是一个内置于 GitHub 的 CI/CD 工具，使用 .github/workflows 目录下的 YAML 文件定义流水线。其主要特点包括：

  • 支持多种事件触发（如 push、pull_request）。
  • 提供丰富的预定义操作（Actions），可快速实现复杂功能。
  • 易于与 GitHub 仓库集成。

3. Jenkins 的安装、配置与 Pipeline 构建

Jenkins 是一个开源的 CI/CD 工具，支持高度自定义的流水线构建。其主要特性包括：

  • 基于插件的扩展性（如 Git、Docker 插件）。
  • 使用 Groovy 脚本定义 Pipeline。
  • 支持分布式构建环境。

4. 自动化构建、测试与部署

  • 构建：将源代码编译为可执行文件或容器镜像。
  • 测试：运行单元测试、集成测试等，确保代码质量。
  • 部署：将应用发布到目标环境（如云服务器、Kubernetes 集群）。
    在这里插入图片描述

实战案例

1. 使用 GitHub Actions 自动运行单元测试

以下是一个使用 GitHub Actions 自动运行 pytest 单元测试的示例。

项目结构
my_project/
├── src/
│   ├── math_operations.py
├── tests/
│   ├── test_math_operations.py
├── .github/
│   └── workflows/
│       └── ci.yml
被测函数
# src/math_operations.py
def add(a, b):return a + bdef subtract(a, b):return a - b
测试代码
# tests/test_math_operations.py
import pytest
from src.math_operations import add, subtract@pytest.mark.parametrize("a, b, expected", [(2, 3, 5),(-1, 1, 0),(0, 0, 0)
])
def test_add(a, b, expected):assert add(a, b) == expected@pytest.mark.parametrize("a, b, expected", [(5, 3, 2),(0, 0, 0),(10, 5, 5)
])
def test_subtract(a, b, expected):assert subtract(a, b) == expected
GitHub Actions 配置
# .github/workflows/ci.yml
name: CI Pipelineon:push:branches:- mainpull_request:branches:- mainjobs:test:runs-on: ubuntu-lateststeps:- name: Checkout codeuses: actions/checkout@v3- name: Set up Pythonuses: actions/setup-python@v4with:python-version: '3.9'- name: Install dependenciesrun: |python -m pip install --upgrade pippip install pytest- name: Run testsrun: pytest tests/
运行结果

当代码推送到 main 分支时，GitHub Actions 将自动运行测试并生成报告：

============================= test session starts =============================
collected 6 itemstests/test_math_operations.py ......                                    [100%]============================== 6 passed in 0.03s ==============================

2. 使用 Jenkins 部署 Flask 应用到云服务器

Flask 应用
# app.py
from flask import Flaskapp = Flask(__name__)@app.route('/')
def home():return "Hello, CI/CD!"if __name__ == "__main__":app.run(host="0.0.0.0", port=5000)
Jenkins Pipeline
pipeline {agent anystages {stage('Checkout') {steps {git 'https://github.com/your-repo/flask-app.git'}}stage('Build') {steps {sh 'docker build -t flask-app .'}}stage('Test') {steps {sh 'docker run --rm flask-app pytest'}}stage('Deploy') {steps {sh '''docker stop flask-app || truedocker rm flask-app || truedocker run -d --name flask-app -p 5000:5000 flask-app'''}}}
}
运行结果
  • Jenkins 将拉取代码、构建 Docker 镜像、运行测试并部署应用。
  • 访问 http://<server-ip>:5000 可看到 “Hello, CI/CD!”。

3. 集成 Docker 容器化应用的 CI/CD 流程

Dockerfile
FROM python:3.9-slimWORKDIR /appCOPY requirements.txt .
RUN pip install -r requirements.txtCOPY . .CMD ["python", "app.py"]
完整流程
  1. GitHub Actions 运行单元测试。
  2. Jenkins 构建 Docker 镜像并部署到云服务器。
  3. 通过 Docker 实现跨环境一致性。

部署的细节与详细操作流程

1. Jenkins 安装与配置

步骤 1：在云服务器安装 Jenkins
# 更新包列表
sudo apt update# 安装 Java 运行时环境（Jenkins 依赖）
sudo apt install openjdk-11-jdk -y# 添加 Jenkins 官方仓库
curl -fsSL https://pkg.jenkins.io/debian-stable/jenkins.io.key | sudo tee \/usr/share/keyrings/jenkins-keyring.asc > /dev/null
echo deb [signed-by=/usr/share/keyrings/jenkins-keyring.asc] \https://pkg.jenkins.io/debian-stable binary/ | sudo tee \/etc/apt/sources.list.d/jenkins.list > /dev/null# 安装 Jenkins
sudo apt update
sudo apt install jenkins -y# 启动 Jenkins 服务
sudo systemctl start jenkins# 设置 Jenkins 开机自启
sudo systemctl enable jenkins

访问 http://<云服务器IP>:8080，按照提示完成初始化配置（需从服务器日志获取初始管理员密码）。

步骤 2：安装必要插件

在 Jenkins 控制台依次安装以下插件：

  • Git：用于拉取代码仓库。
  • Docker：支持 Docker 构建与部署。
  • Pipeline：定义流水线任务。

2. 云服务器准备

步骤 1：安装 Docker
# 安装 Docker
sudo apt install docker.io -y# 启动 Docker 服务
sudo systemctl start docker# 设置 Docker 开机自启
sudo systemctl enable docker# 将当前用户加入 Docker 组（避免每次使用 sudo）
sudo usermod -aG docker $USER
newgrp docker  # 立即生效
步骤 2：配置 SSH 无密码登录

在 Jenkins 服务器与目标云服务器之间配置 SSH 免密登录：

# 在 Jenkins 服务器生成 SSH 密钥（如已有可跳过）
ssh-keygen -t rsa -b 4096# 将公钥复制到云服务器
ssh-copy-id user@<云服务器IP>

3. Jenkins 凭据管理

在 Jenkins 控制台添加以下凭据：

  • SSH 用户名与私钥：用于连接云服务器。
  • Docker Hub 凭据（可选）：用于推送镜像到 Docker Hub。

4. Jenkins Pipeline 详细配置

Pipeline 脚本优化
pipeline {agent anyenvironment {SERVER_IP = 'your-server-ip'DOCKER_HUB_REPO = 'your-dockerhub-username/flask-app'}stages {stage('Checkout') {steps {git branch: 'main', url: 'https://github.com/your-repo/flask-app.git'}}stage('Build Docker Image') {steps {script {docker.build("${DOCKER_HUB_REPO}:${env.BUILD_ID}")}}}stage('Push Docker Image') {steps {script {docker.withRegistry('https://registry.hub.docker.com', 'docker-hub-credentials-id') {docker.image("${DOCKER_HUB_REPO}:${env.BUILD_ID}").push()}}}}stage('Deploy to Server') {steps {sshagent(['ssh-credentials-id']) {sh """ssh -o StrictHostKeyChecking=no user@${SERVER_IP} 'docker pull ${DOCKER_HUB_REPO}:${env.BUILD_ID} && \docker stop flask-app || true && \docker rm flask-app || true && \docker run -d --name flask-app -p 5000:5000 ${DOCKER_HUB_REPO}:${env.BUILD_ID}'"""}}}}
}

5. 部署验证

  1. 访问应用
    在浏览器输入 http://<云服务器IP>:5000，应显示 “Hello, CI/CD!”。

  2. 查看容器日志

    docker logs flask-app

6. 常见问题与解决

问题 1：权限不足
  • 现象：Jenkins 无法执行 Docker 命令。
  • 解决：确保 Jenkins 用户已加入 docker 组：
    sudo usermod -aG docker jenkins
sudo systemctl restart jenkins
问题 2：SSH 连接失败
  • 现象：Jenkins 无法连接到云服务器。
  • 解决：
    1. 检查云服务器安全组是否开放 SSH 端口（默认 22）。
    2. 检查 SSH 密钥是否正确配置。

7. 安全加固建议

  • 限制 Jenkins 访问权限：通过 Nginx 反向代理并启用 HTTPS。
  • 定期更新镜像：在 Pipeline 中加入漏洞扫描步骤（如使用 trivy）。
  • 清理旧镜像：定期删除无用的 Docker 镜像以释放空间。

通过以上步骤，您可以实现从代码提交到部署的全自动化流程。如果需要更高级的配置（如蓝绿部署、回滚机制），可进一步探索 Jenkins 的高级特性！

总结

本文通过实战案例展示了如何使用 GitHub Actions 和 Jenkins 构建 CI/CD 流水线。GitHub Actions 适合轻量级的自动化任务，而 Jenkins 提供了更高的灵活性和可扩展性。结合 Docker 容器化技术，可以进一步简化部署流程并提高应用的一致性。
在这里插入图片描述

扩展思考

1. 如何优化 CI/CD 流程以减少资源消耗？

  • 使用缓存机制（如 GitHub Actions 的 cache 功能）避免重复安装依赖。
  • 并行化测试任务以缩短构建时间。
  • 定期清理过期的 Docker 镜像和 Jenkins 构建记录。

2. 探讨多团队协作中的 CI/CD 最佳实践

  • 统一代码风格和测试标准。
  • 使用分支策略（如 GitFlow）管理代码合并。
  • 定期审查 CI/CD 配置文件，确保其适应团队需求。

附录：相关资源

  • GitHub Actions 官方文档
  • Jenkins 官方文档
  • Docker 官方文档

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/35610.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

【css酷炫效果】纯CSS实现3D翻转卡片动画

【css酷炫效果】纯CSS实现3D翻转卡片动画

【css酷炫效果】纯CSS实现3D翻转卡片动画 缘创作背景html结构css样式完整代码效果图 想直接拿走的老板&#xff0c;链接放在这里&#xff1a;https://download.csdn.net/download/u011561335/90490472 缘 创作随缘&#xff0c;不定时更新。 创作背景 刚看到csdn出活动了&am…
阅读更多...
大数据学习（72）-zookeeper选举机制

大数据学习（72）-zookeeper选举机制

&#x1f34b;&#x1f34b;大数据学习&#x1f34b;&#x1f34b; &#x1f525;系列专栏&#xff1a; &#x1f451;哲学语录: 用力所能及&#xff0c;改变世界。 &#x1f496;如果觉得博主的文章还不错的话&#xff0c;请点赞&#x1f44d;收藏⭐️留言&#x1f4dd;支持一…
阅读更多...
Maven | 站在初学者的角度配置

Maven | 站在初学者的角度配置

目录 Maven 是什么 概述 常见错误 创建错误代码示例 正确代码示例 Maven 的下载 Maven 依赖源 Maven 环境 环境变量 CMD测试 Maven 文件配置 本地仓库 远程仓库 Maven 工程创建 IDEA配置Maven IDEA Maven插件 Maven 是什么 概述 Maven是一个项目管理和构建自…
阅读更多...
C/C++模版初阶

C/C++模版初阶

文章目录 C/C模版初阶泛型编程函数模版函数模版概念函数模版格式函数模版的原理函数模版的实例化模版参数的匹配原则 类模版类模版的定义格式类模版的实例化 结语 我们今天又见面了&#xff0c;给生活加点<font colorred>impetus&#xff01;&#xff01;开启今天的编程之…
阅读更多...
c++初阶易错题（选择）

c++初阶易错题（选择）

本节有32道题&#xff0c;讲的是c初阶里边我认为重要的题目&#xff0c;有兴趣可以看看十分详细&#xff0c;欢迎互相交流学习 1~10 1 A.引用必须定义时初始化&#xff0c;指针不初始化其值为随机指向 B.指针可以改变指向&#xff0c;引用不能&#xff0c;故错误 C.空指针没有…
阅读更多...
Java 设计模式之享元模式（Flyweight Pattern）

Java 设计模式之享元模式（Flyweight Pattern）

享元模式&#xff08;Flyweight Pattern&#xff09; 是一种 结构型设计模式&#xff0c;旨在通过共享对象来有效支持大量细粒度对象的复用&#xff0c;从而减少内存占用和提高性能。其核心是 分离内部状态&#xff08;可共享&#xff09;与外部状态&#xff08;不可共享&#…
阅读更多...
【WEB APIs】BOM-操作浏览器

【WEB APIs】BOM-操作浏览器

目录 1. Window对象 1.1 BOM 1.2 定时器-延时函数 1.3 JS执行机制 1.4 location对象 1.5 navigator对象&#xff08;复制&#xff09; 1.6 history对象 2. 本地存储&#xff08;重点&#xff09; 2.1 介绍 2.2 分类 localStorage sessionStorage 存储复杂数据类型…
阅读更多...
数据结构——树与二叉树

数据结构——树与二叉树

树与二叉树 1. 树的基本概念 1.1 树的定义 树(tree)是 n ( n ≥ 0 ) n(n\geq 0) n(n≥0)个结点的有限集T。当n为0时时空树&#xff0c;任意一棵非空树应该满足&#xff1a; 有且仅有一个特定的结点&#xff0c;称为树的根(root)当 n > 1 n>1 n>1时&#xff0c;其余…
阅读更多...
K8S快速部署

K8S快速部署

前置虚拟机环境正式部署BUG解决 前置虚拟机环境 每个虚拟机配置一次就好 #关闭防火墙 systemctl stop firewalld systemctl disable firewalld #关闭 selinux sed -i s/enforcing/disabled/ /etc/selinux/config # 永久 setenforce 0 # 临时 #关闭 swap swapoff -a # 临时 vi…
阅读更多...
Vue生命周期

Vue生命周期

一、Vue的生命周期及其阶段 Vue生命周期&#xff1a;一个Vue实例从 创建 到 销毁 的整个过程。也就是从开始创建、初始化数据、编译模板、挂载Dom→渲染、更新→渲染、卸载等一系列过程&#xff0c;我们称这是 Vue 的生命周期。 生命周期的四个阶段&#xff1a;① 创建 ② 挂…
阅读更多...
Android中的Wifi框架系列

Android中的Wifi框架系列

Android wifi框架图 Android WIFI系统引入了wpa_supplicant&#xff0c;它的整个WIFI系统以wpa_supplicant为核心来定义上层接口和下层驱动接口。 Android WIFI主要分为六大层&#xff0c;分别是WiFi Settings层&#xff0c;Wifi Framework层&#xff0c;Wifi JNI 层&#xff…
阅读更多...
Vue项目搜索引擎优化（SEO）终极指南：从原理到实战

Vue项目搜索引擎优化（SEO）终极指南：从原理到实战

文章目录 1. SEO基础与Vue项目的挑战1.1 为什么Vue项目需要特殊SEO处理&#xff1f;1.2 搜索引擎爬虫工作原理 2. 服务端渲染&#xff08;SSR&#xff09;解决方案2.1 Nuxt.js框架实战原理代码实现流程图 2.2 自定义SSR实现 3. 静态站点生成&#xff08;SSG&#xff09;技术3.1…
阅读更多...
嵌入式八股RTOS与Linux---前言篇

嵌入式八股RTOS与Linux---前言篇

前言 Linux与RTOS是校招八股的时候很喜欢考察的知识,在这里并没有把两个操作系统完全的独立开去讲,放在一起对比或许可能加深印象。我们讲Linux的内核有五部分组成:进程调度、内存管理、文件系统、网络接口、进程间通信,所以我也将从这五方面出发 中断管理去对比和RTOS的不同。…
阅读更多...
centos 8安装及相关操作

centos 8安装及相关操作

安装centos 8 在VMware workstation中安装 UEFI对比BIOS有更快的启动速度、支持更大容量硬盘及 GPT 分区、图形化操作界面更友好、安全性更高、对新操作系统支持更好、硬件兼容性不断增强以及扩展性更好等。 按回车确定 重置root管理员密码 这样进入到紧急救援模式 mount -o r…
阅读更多...
2025最新版Windows通过GoLand远程连接Linux构建Go项目保姆级教学

2025最新版Windows通过GoLand远程连接Linux构建Go项目保姆级教学

以Ubuntu24.04和GoLand2024.1.6为例子&#xff0c;演示如何在Windows上通过GoLand远程连接Linux进行Go编程。 通过go version指令可以发现当前Ubuntu系统没有安装go。 go version 通过指令安装go&#xff0c;其他系统可以通过wget安装&#xff0c;要指定安装的具体go版本&…
阅读更多...
多元时间序列预测的范式革命：从数据异质性到基准重构

多元时间序列预测的范式革命：从数据异质性到基准重构

本推文介绍了一篇来自中国科学院计算技术研究所等机构的论文《Exploring Progress in Multivariate Time Series Forecasting: Comprehensive Benchmarking and Heterogeneity Analysis》&#xff0c;发表在《IEEE Transactions on Intelligent Transportation Systems》。论文…
阅读更多...
开源PACS（dcm4che-arc-light）部署教程，源码方式

开源PACS（dcm4che-arc-light）部署教程，源码方式

目录 文件清单下载地址安装概述OpenLDAP、Apache Directory StudioWildflydcm4che 安装部署MySQL源码编译dcm4cheedcm4chee-arc-light OpenLDAP安装ApacheDirectoryStudio安装配置WildFly服务器 部署完成 文件清单 下载地址 Apache directory studio - linkOpenLDAP - linkdcm…
阅读更多...
PySide(PyQt)，使用types.MethodType动态定义事件

PySide(PyQt)，使用types.MethodType动态定义事件

以PySide(PyQt)的图片项为例&#xff0c;比如一个视窗的场景底图是一个QGraphicsPixmapItem&#xff0c;需要修改它的鼠标滚轮事件&#xff0c;以实现鼠标滚轮缩放显示的功能。为了达到这个目的&#xff0c;可以重新定义一个QGraphicsPixmapItem类&#xff0c;并重写它的wheelE…
阅读更多...
深度学习 Deep Learning 第1章 深度学习简介

深度学习 Deep Learning 第1章 深度学习简介

第1章 深度学习简介 概述 本章介绍人工智能&#xff08;AI&#xff09;和深度学习领域&#xff0c;讨论其历史发展、关键概念和应用。解释深度学习如何从早期的AI和机器学习方法演变而来&#xff0c;以及如何有效解决之前方法无法应对的挑战。 关键概念 1. 人工智能的演变 …
阅读更多...
简述下npm，cnpm，yarn和pnpm的区别，以及跟在后面的-g，--save, --save-dev代表着什么

简述下npm，cnpm，yarn和pnpm的区别，以及跟在后面的-g，--save, --save-dev代表着什么

文章目录 前言一、npm&#xff0c;cnpm&#xff0c;yarn和pnpm的基本介绍和特点1.npm (Node Package Manager)2. Yarn3. cnpm (China npm)4. pnpm 二、简述npm和pnpm 的存储方式和依赖数1.存储方式2.依赖树 三、两者依赖树的差异导致结果的对比四、简单说说-g&#xff0c;--sav…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023