通过 GitHub Actions 执行数据库 Schema 变更工作流

原文地址 https://www.bytebase.com/docs/tutorials/github-ci/

教程库:https://github.com/bytebase/github-action-example

开发者们喜欢将 Schema 变更脚本与应用程序代码一起保存在 Git 中,这样变更脚本就能像应用程序代码一样接受审核和版本控制,但仍需将变更脚本手动粘贴到 SQL 客户端,或要求 DBA 针对目标数据库运行该脚本。这样做既效率低下,又容易出错:

  • 如果错贴 / 漏贴脚本怎么办?
  • 如果对错误的数据库运行了脚本怎么办?

本教程教你使用 GitHub Actions 和 Bytebase API 实现数据库 Schema 变更的自动化。

在这里插入图片描述

以上是一个典型的工作流:

  1. 开发者创建包含变更脚本的 PR 后,触发 GitHub 调用 Bytebase SQL Review API。
  2. TL 批准 PR。
  3. GitHub 创建 Bytebase 的发布实例,该实例包含迁移脚本的变化。
  4. 根据所配置的策略,可能需要 DBA 手动批准和发布。GitHub 先阻止 PR 合并,直到 Bytebase 发布 Schema 变更。这种设置可确保 PR 同时包含代码和 Schema 变更时,在代码部署之前应用 Schema 变更。
  5. Bytebase 部署 Schema 变更,并将问题标记为「完成」。
  6. PR 重新运行变更状态检查。
  7. 检查后出现绿色标记,表示 PR 可以合并。

(一)准备 Bytebase

假设 Bytebase 运行于 https://bytebase.example.com/。首先,我们将设置必要的数据,以支持我们的 API 交互。

服务账户: 作为管理员,添加一个具有 Workspace DBA 角色的服务账户 ci@service.bytebase.com,用于验证 API 调用。

为限制服务账户的权限,可以选择授予工作区成员而非工作区 DBA,再在特定项目中,授予该账户创建实例的权限。

项目中的数据库:我们有一个项目 Example 和一个数据库 example。

在这里插入图片描述

(二)准备 GitHub 操作

可在 https://github.com/bytebase/ci-example 查看示例。该库包含多个 GitHub Action 工作流,可前往 .github/workflows 查看。

在这里插入图片描述

我们将使用以下工作流:

  • bytebase-sql-review.yml:在 PR 更改时触发。因此任何违反 SQL 审查的行为都会阻止 PR。
  • bytebase-upsert-migration.yml:在 PR 批准时触发。批准后创建 Bytebase 变更实例。只要变更脚本变化,变更实例也会相应更新。
  • bytebase-check-migration-status.yml:在 PR 变化时触发。PR 将被阻止,直到变更完成。

(三)工作流样例 - 四个阶段

阶段一:未在 GitHub 上通过 SQL 审核

先在 Bytebase 中设置 SQL 审核策略。在示例数据库所在的 Prod 环境中配置。审核策略中有一个是检查 NOT NULL 约束,而我们将在 PR 中违反该约束。

在这里插入图片描述
在这里插入图片描述

PR 变更时会触发 bytebase-sql-review.yml 工作流。它会扫描 PR 中以 **.up.sql 模式命名的 SQL 文件,并报告任何违反 SQL 审核策略的情况。

配置环境。

bytebase-sql-review:runs-on: ubuntu-latestenv:BYTEBASE_URL: "https://bytebase-ci.zeabur.app"BYTEBASE_SERVICE_ACCOUNT: "ci@service.bytebase.com"DATABASE: "instances/prod-instance/databases/example"...

通过身份验证后,我们会调用 Bytebase API / sql / check 来检查变更文件。我们会解析响应,并为每条建议生成 GitHub 内嵌注释。如果发现任何 ERROR 或 WARNING,则将检查标记为失败。

name: SQL Reviewsteps:- name: Checkoutuses: actions/checkout@v4- name: Login to Bytebase...- name: Reviewid: reviewuses: ./.github/actions/sql-reviewwith:github-token: ${{ secrets.GITHUB_TOKEN }}pattern: "**/*.up.sql"url: ${{ env.BYTEBASE_URL }}token: ${{ steps.login.outputs.token }}headers: '{"Accept-Encoding": "deflate, gzip"}'database: ${{ env.DATABASE }}...

我们创建了一个包含多个 SQL 文件的 PR,同时触发了 bytebase-sql-review.yml 和 bytebase-check-migration-status.yml。这些检查完成后,PR 会因故障而被阻止。

在这里插入图片描述

单击「详情」查看 SQL 审核。

在这里插入图片描述

也可以访问「文件更改」页面来查看注释。

在这里插入图片描述

阶段二:通过 SQL 审核,等待 TL 在 GitHub 上批准

修复 SQL 文件并推送。完成这些检查后,PR 仍会因故障而受阻,但这次 SQL 审核已经通过。

实际应用中,PR 还包括应用程序代码。由于 SQL 变更已经通过了基本的 SQL 审核检查,现在就需要技术负责人批准此 PR 了。

在这里插入图片描述

创建 PR 的开发者会指派技术负责人在 GitHub 上进行审核。

在这里插入图片描述

阶段三:TL 在 GitHub 上批准,在 Bytebase 中创建变更实例

指定的技术负责人批准 PR,并触发另一个工作流 bytebase-upsert-migration.yml。

在这里插入图片描述

它会检查 PR 中命名为 **.up.sql 的 SQL 文件,并在 Bytebase 中创建一个发布实例。

bytebase-upsert-migration:runs-on: ubuntu-latest# Runs only if PR is approved and target branch is mainif: github.event.review.state == 'approved' && github.event.pull_request.base.ref == 'main'env:BYTEBASE_URL: "https://bytebase-ci.zeabur.app"BYTEBASE_SERVICE_ACCOUNT: "ci@service.bytebase.com"PROJECT: "example"DATABASE: "instances/prod-instance/databases/example"ISSUE_TITLE: "[${{ github.repository }}#${{ github.event.pull_request.number }}] ${{ github.event.pull_request.title }}"DESCRIPTION: "Triggered by ${{ github.event.repository.html_url }}/pull/${{ github.event.pull_request.number }} ${{ github.event.pull_request.title }}"name: Upsert Migrationsteps:...

转到 Bytebase 并查看创建的实例,该实例由两个任务组成,与 PR 中存在的两个 **.up.sql 文件相对应。

在这里插入图片描述

注意到创建的实例上附有审批流程,这是因为我们为 DDL 设置了默认的自定义审批流程。

在这里插入图片描述

阶段四:变更成功,PR 在 GitHub 上合并

在 DBA 批准并启动变更后,实例状态将变为「完成」。

在这里插入图片描述

返回 GitHub,点击失败的 bytebase-check-migration-status.yml 工作流的详细信息,然后点击「重新运行所有作业」。

在这里插入图片描述
在这里插入图片描述

它会检查 Bytebase 中的变更状态,如果是「完成」,则返回「通过」,表示数据库变更已经完成。现在,PR 可以合并了,即应用程序代码可以部署了。

在这里插入图片描述
在这里插入图片描述

(四)总结

请注意,工作流可以根据企业的需求调整:

  • 可以根据分支策略(如是否基于主干)将工作流附加到不同的分支。
  • 可以使用不同的变更文件格式和结构。
  • 可以决定何时创建变更实例,是在 PR 批准时还是创建时。

无论选择哪种工作流,在 GitHub Actions 和 Bytebase API 的帮助下,你都可以将变更脚本保存在库中,让它们通过相同的代码审查流程,并自动进行 Schema 变更部署。


💡 更多资讯,请关注 Bytebase 公号:Bytebase

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/415422.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

哪款直流电能表可在电信基站、直流充电桩、太阳能光伏用

安科瑞徐赟杰18706165067 在电信基站、直流充电桩、太阳能光伏等应用场合中,可使用DJSF1352-RN导轨式直流电能表,此表带有双路直流输入,该系列仪表可测量直流系统中的电压、电流、功率以及正反向电能等。可计量总电能,又可计量规…

ev录屏损坏修复

ev录屏应该不正常关闭,录屏损坏 淘宝买了一个软件,修复成功,需找一个当时时间段的正常录屏学习,然后高级修复。整体花费5毛钱

记录一下idea的一些使用技巧和遇到的异常(持续更新)

技巧 自己的模板——live template 有些代码在项目中通常会被用到或会被重复使用,可以自己写一个模板存起来,要用的时候用快捷键生成就可以了。 在这里选择生效范围 现在,就有我们自己的模板了,一回车就自动生成 idea的全局配置…

人工智能 | 结对编程助手GithubCopilot

简介 GitHub Copilot 是一款 AI 结对程序员,可帮助您更快、更少地编写代码。它从注释和代码中提取上下文,以立即建议单独的行和整个函数。GitHub Copilot 由 GitHub、OpenAI 和 Microsoft 开发的生成式 AI 模型提供支持。它可作为 Visual Studio Code、…

win系统安装mysql,使用mysqldump,pycharm使用mysqldump,避坑

文章目录 下载mysql的win客户端设置系统环境变量验证是否可用pycharm使用mysqldump异常问题排查 下载mysql的win客户端 官网下载地址如果下载旧版本,需自行到Archives里面找 本人使用的是mysql5.7,找到相应版本后,点击Download下载 设置系统…

[Java]SpringBoot登录认证流程详解

登录认证 登录接口 1.查看原型 2.查看接口 3.思路分析 登录核心就是根据用户名和密码查询用户信息,存在则登录成功, 不存在则登录失败 4.Controller Slf4j RestController public class LoginController {Autowiredprivate EmpService empService;/*** 登录的方法** param …

数仓基础(七):离线与实时数仓区别和建设思路

文章目录 离线与实时数仓区别和建设思路 一、离线数仓与实时数仓区别 二、实时数仓建设思路 离线与实时数仓区别和建设思路 一、离线数仓与实时数仓区别 离线数据与实时数仓区别如下: 对比方面 离线数仓 实时数仓 架构选择 传统大数据架构 Kappa架构 建设…

数据结构(Java)实现:栈和队列

文章目录 1. 栈的模拟实现1.1 普通栈的模拟实现1.2 泛型栈的模拟实现 2. 栈的介绍3. 栈的使用4. 栈的应用场景4.1 改变元素的序列4.2 将递归转换为循环4.3 使用栈解题 5. 栈的链表实现6. 队列概念7. 队列的使用8. 模拟队列的实现8.1 链式队列8.2 顺序队列 9. 双端队列 1. 栈的模…

Python编码系列—Python中的安全密码存储与验证:实战指南

🌟🌟 欢迎来到我的技术小筑,一个专为技术探索者打造的交流空间。在这里,我们不仅分享代码的智慧,还探讨技术的深度与广度。无论您是资深开发者还是技术新手,这里都有一片属于您的天空。让我们在知识的海洋中…

livox MID-360调试(解决ip设置问题)

整体的调试思路参考大疆Livox Mid360 使用指南_mid360中的imu内参-CSDN博客这篇博客。 但是在调试过程中出现了ip地址设置不对导致的报错: 1.livox viewer中看不到点云数据 2.livox SDK2 bind error。 joeyjoey:~/slam/Livox-SDK2/build/samples/livox_lidar_qu…

基于PLC的电热水器的水箱水位控制系统(论文+源码)

1总体方案设计 本设计基于PLC的电热水器的水箱水位控制系统的整体结构如图2.1所示,系统采用S7-1200 PLC为控制器,可以实现电热水器水箱中的水位、水温检测,并且用户可以设定目标水位和水温,在自动模式下,当水位低于低水…

mysql 8.0 的 建表 和八种 建表引擎实例

文章目录 MySQL 8.0 中,主要有以下四种常见的建表引擎一、InnoDB 引擎建表注意点建表知识点 二、MyISAM 引擎建表使用场景 三、Memory 引擎使用场景 四、Archive 引擎五、BLACKHOLE 引擎一、特点二、适用场景三、注意事项 六、MRG_MyISAM 引擎MRG_MyISAM 和 MyISAM …

uniapp组件中的emit声明触发事件

emit解析 在 uniapp 中,emit 主要用于组件间通信,特别是在子组件需要向父组件或者其他组件发送消息的时候。具体用途包括: 子传父数据:子组件通过 $emit 触发一个事件,并携带参数,父组件监听这个事件并对参…

Oracle 网络安全产品安全认证检索

自2023年7月1日起,国家网信办、工业和信息化部、公安部、国家认证认可监督管理委员会统一公布和更新网络关键设备和网络安全专用产品清单。列入《网络关键设备和网络安全专用产品目录》的网络安全专用产品应当按照《信息安全技术网络安全专用产品安全技术要求》等相…

笔记:应用Visual Studio Profiler分析CPU使用情况

一、目的:应用Visual Studio Profiler分析CPU使用情况 使用 Visual Studio Profiler 分析 CPU 使用情况可以帮助你识别性能瓶颈,优化代码,提高应用程序的响应速度。 二、实现 以下是如何使用 Visual Studio Profiler 分析 CPU 使用情况的详…

保存json时,保存成自己喜欢的格式的方法(而不是直接保存成格式化的json文档)

保存json时,不是直接保存成格式化的json文档的格式的方法 前言,博主是如何把格式话的json格式保存成自己喜欢的json格式的保存成格式化的json文档的格式:带缩进格式全部保存成一行每条数据保存成一行: 保存成自己喜欢的格式碎碎念…

Hadoop之HDFS的原理和常用命令及API(java)

1、简介 书接上回,上篇博文中介绍如何安装Hadoop和基本配置,本文介绍Hadoop中分布式文件组件--HDFS,在HDFS中,有namenode、datanode、secondnamenode这三个角色,本文将详细介绍这几个组件是如何进行协作的,…

【数据结构 | 每日一题】图的概念辨析

图的概念辨析 考点分析:我们学习数据结构图的第一小节就是:图的基本概念,我们会发现图的概念非常多且有些概念之间又很像,而对于初学者来说,相比树的概念是不好理解的,很容易搞混,因此做了这么…

传输层(TCP、UDP、RDT详解)

目录 1.无连接传输:UDP UDP:User Datagram Protocol(用户数据报协议) UDP:校验和 Internet校验和的例子 2.可靠数据传输(Rdt)的原理 可靠数据传输:问题描述 1.Rdt1.0&#xff…

【hot100篇-python刷题记录】【在排序数组中查找元素的第一个和最后一个位置】

R7-二分查找篇 目录 双指针 二分优化 ps: 思路&#xff1a; 双指针 直接用双指针回缩啊 class Solution:def searchRange(self, nums: List[int], target: int) -> List[int]:ret[-1,-1]left,right0,len(nums)-1while left<len(nums):if nums[left]target:ret[0]…