背景
在现代软件开发实践中,持续集成(Continuous Integration, CI)是确保代码质量和快速响应软件缺陷的关键策略。GitLab 提供了强大的 CI/CD 功能,允许开发者自动化测试和部署流程。本文将介绍如何设置 GitLab 流水线计划任务,以实现对 dev
分支每小时的自动测试。
需求: GitLab 流水线计划任务(pipeline-schedules):实现每小时自动测试 dev
分支的更新
环境
Gitlab企业版本:v16.9.2-ee
GitLab 流水线是一系列作业(jobs)的集合,这些作业可以并行或顺序执行,以完成构建、测试、部署等任务。流水线可以由代码提交、定时计划或其他事件触发。
计划任务是 GitLab 流水线的一个特性,它允许你按计划执行流水线,而不需要代码提交或其他触发条件。这对于定期运行测试、备份或其他维护任务特别有用。
每小时自动测试 dev
分支的步骤
创建 .gitlab-ci.yml
配置文件
在项目的根目录下,创建或编辑 .gitlab-ci.yml
文件,这是 GitLab 流水线的配置文件。我们将定义两个作业:一个是常规的测试作业,另一个是计划任务作业。
stages:- test- alert- jarbefore_script:- export PATH=/usr/lib/jvm/java-21/bin:${PATH} # 将java路径添加到PATH路径中。如果是java 11,使用/usr/lib/jvm/java-11/bin。ci_test:stage: testscript:- |if [ "$(git log origin/dev --since='1 hour ago' --pretty=format:'%h')" != "" ]; thenmvn clean testelseecho "No changes in the last hour"fi- exportrules:- if: '$CI_PIPELINE_SOURCE == "schedule" && $CI_COMMIT_BRANCH == "dev"'dingTalk_fail_alert:stage: alertscript:- /bin/bash /opt/k8s/dingtalk/ding_ci_alert.sh failwhen: on_failureallow_failure: truerules:- if: '$CI_PIPELINE_SOURCE == "schedule" && $CI_COMMIT_BRANCH == "dev"'dingTalk_succes_alert:stage: alertscript:- /bin/bash /opt/k8s/dingtalk/ding_ci_alert.sh successwhen: on_successallow_failure: truerules:- if: '$CI_PIPELINE_SOURCE == "schedule" && $CI_COMMIT_BRANCH == "dev"'jar:stage: jartags:- pddcache:paths:- manage-analysis/target/*.jar- manage-listener/target/*.jar- manage-backend/target/*.jarpolicy: pushkey: ${CI_BUILD_REF_NAME}script:- mvn clean install -Dmaven.test.skip=truerules:- if: '$CI_PIPELINE_SOURCE != "schedule" && $CI_COMMIT_BRANCH == "dev"'
配置钉钉告警机器人
配置钉钉告警机器人:关键字认证 “告警”
配置告警脚本脚本模板
在GitLab CI/CD 管道中,我们设计了一个名为 ding_ci_alert.sh
的Shell脚本,用于对接钉钉机器人发送构建状态的通知。针对不同的构建结果,我们有如下需求:
- 当Maven测试任务失败时,我们会向脚本传递一个参数
"fail"
,表示构建失败。此时,脚本不仅会调用钉钉机器人发送一条包含失败详情的告警消息,还会将此次失败的构建ID写入一个专门记录失败构建的文件中。 - 当后续的Maven测试任务成功时,我们将向脚本传递一个参数
"success"
,以标识构建成功。这时,脚本首先会检查记录失败构建的文件中是否存在当前构建ID。如果存在,则调用钉钉机器人发送一条成功恢复的消息,并从记录文件中移除此构建ID;反之,若当前构建ID未在文件中找到,则不发送成功告警信息。
这样,我们通过灵活调用和智能判断,确保了在构建失败时及时通知相关人员,并在问题得到解决后发送成功通知,既避免了不必要的通知干扰,又保证了团队能够及时了解到构建状态的变化。在实际的博客文章中,您可以插入示例代码和详细说明,让读者更直观地理解这一过程。
vim
/opt/k8s/dingtalk/ding_ci_alert.sh
#!/bin/bashWEBHOOK_URL="https://oapi.dingtalk.com/robot/send?access_token=xxxxx"
# 检查是否提供了参数
if [ "$#" -ne 1 ]; thenecho "Usage: $0 <success|fail>"exit 1
fi# 定义记录文件路径
RECORD_FILE="/tmp/build_records.txt"# 根据传入的参数执行相应操作
case $1 infail)# 构建失败,发送告警并记录echo "构建失败,发送告警..."# 准备告警消息JSON_DATA=$(printf '{"msgtype": "markdown","markdown": {"title": "告警:构建失败通知","text": "#### **[%s 的 Maven 测试未通过构建失败](%s/pipelines/%s)**\n\n> - **提交信息**: %s\n> - **提交者名称**: %s\n> - **提交时间**: %s\n\n请及时处理,更多详情可点击项目名称。"},"at": {"isAtAll": false}}' "$CI_PROJECT_NAME" "$CI_PROJECT_URL" "$CI_PIPELINE_ID" "$CI_COMMIT_MESSAGE" "$CI_COMMIT_AUTHOR" "$CI_COMMIT_TIMESTAMP")# 发送告警curl "$WEBHOOK_URL" -X POST -H 'Content-Type: application/json;charset=utf-8' -d "$JSON_DATA"# 记录失败的构建echo "$CI_PROJECT_NAME failed" >> "$RECORD_FILE";;success)# 构建成功,检查记录文件if grep -q "$CI_PROJECT_NAME failed" "$RECORD_FILE"; thenecho "构建成功,发送告警..."# 准备成功告警消息SUCCESS_JSON_DATA=$(printf '{"msgtype": "markdown","markdown": {"title": "告警:构建成功通知","text": "#### **[%s 的 Maven 测试已通过构建成功]**\n\n> - **提交信息**: %s\n> - **提交者名称**: %s\n> - **提交时间**: %s\n\n构建成功,可以进行下一步操作。"},"at": {"isAtAll": false}}' "$CI_PROJECT_NAME" "$CI_COMMIT_MESSAGE" "$CI_COMMIT_AUTHOR" "$CI_COMMIT_TIMESTAMP")# 发送成功告警curl "$WEBHOOK_URL" -X POST -H 'Content-Type: application/json;charset=utf-8' -d "$SUCCESS_JSON_DATA"# 清除记录sed -i "/$CI_PROJECT_NAME failed/d" "$RECORD_FILE"elseecho "没有找到构建失败的记录,不发送成功告警。"fi;;*)echo "Invalid argument: $1. Expected 'success' or 'fail'."exit 1;;
esacexit 0
设置流水线计划
步骤1:登录GitLab并进入项目
- 登录到您的GitLab账号。
- 导航到您想要设置流水线计划的项目。
步骤2:进入CI/CD设置
- 在项目主页,点击左侧面板中的“CI/CD”选项卡。
- 在CI/CD设置区域,点击“Schedules”(调度)。
步骤3:创建新的流水线计划
- 在“Schedules”页面,点击“New schedule”按钮以创建一个新的流水线计划。
步骤4:配置流水线计划详细信息
- 描述:为您的流水线计划提供一个易于理解的描述,以便日后识别。
- CRON 表达式:输入一个cron表达式来定义计划执行的时间规律。例如,每天凌晨1点执行,可以输入
0 1 * * *
。请参考cron表达式文档以获取更多信息。 - 分支/标签:可以选择流水线将在哪个分支或标签上执行,默认通常是当前项目的默认分支(如master/main)。
- 额外变量(可选):如果需要,您可以为流水线提供额外的环境变量,这将在计划执行时注入到环境中。
- 保护(可选):如有必要,您可以勾选“Protect this pipeline”,这样只有具有适当权限的用户才能执行或修改该流水线计划。
步骤5:保存流水线计划
- 配置完所有选项后,滚动到底部并点击“Save changes”。
步骤6:验证流水线计划
- 在指定的时间,GitLab将根据您设置的cron表达式自动触发流水线。您可以在项目的历史流水线记录中查看流水线计划的执行情况。
注意事项
- 确保您的项目中有
.gitlab-ci.yml
文件,并且文件中定义了适当的CI/CD流水线配置,这样才能在计划时间到来时执行预定的任务。 - 如果流水线涉及到敏感信息,您可能需要预先配置好变量并通过密钥管理或GitLab的受保护变量功能来安全地传递这些信息。
- 某些高级设置,如运行特定job,需要在
.gitlab-ci.yml
文件中通过rules
或only/except
关键字进行定义。
验证流水线自动化