在K8s上运行GitHub Actions的自托管运行器

1:添加Actions Runner Controller的Helm仓库

helm repo add actions-runner-controller https://actions-runner-controller.github.io/actions-runner-controller
helm repo update

2:创建GitHub Personal Access Token (PAT)

  1. 登录到你的GitHub账户。
  2. 访问设置页面,找到“Developer settings”部分。
  3. 在“Personal access tokens”中生成一个新的访问令牌,赋予它repo和admin:org的权限。

3:创建Kubernetes Secret

使用你的GitHub PAT创建一个Kubernetes Secret,以便Actions Runner Controller可以访问GitHub API。

# 创建命名空间
kubectl create namespace actions-runner-system
kubectl create secret generic actions-runner-controller-manager   -n actions-runner-system   --from-literal=github_token=<YOUR_GITHUB_TOKEN>
kubectl create secret generic controller-manager \-n actions-runner-system \--from-literal=github_token=<YOUR_GITHUB_TOKEN> # <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>

4:配置Helm values

下载Actions Runner Controller的默认配置文件,并根据需要进行修改,特别是添加Docker Pull Secret。

helm show values actions-runner-controller/actions-runner-controller --version 0.23.7 > values.yaml
# 目前只查看了下不知道配啥

5:安装Actions Runner Controller

使用Helm安装Actions Runner Controller到你的Kubernetes集群。

helm upgrade -i actions-runner-controller actions-runner-controller/actions-runner-controller \--version 0.23.7 \-n actions-runner-system

输出:

Release "actions-runner-controller" does not exist. Installing it now.
NAME: actions-runner-controller
LAST DEPLOYED: Mon Aug 26 16:14:06 2024
NAMESPACE: actions-runner-system
STATUS: deployed
REVISION: 1
TEST SUITE: None
NOTES:
1. Get the application URL by running these commands:export POD_NAME=$(kubectl get pods --namespace actions-runner-system -l "app.kubernetes.io/name=actions-runner-controller,app.kubernetes.io/instance=actions-runner-controller" -o jsonpath="{.items[0].metadata.name}")export CONTAINER_PORT=$(kubectl get pod --namespace actions-runner-system $POD_NAME -o jsonpath="{.spec.containers[0].ports[0].containerPort}")echo "Visit http://127.0.0.1:8080 to use your application"kubectl --namespace actions-runner-system port-forward $POD_NAME 8080:$CONTAINER_PORT

(X) 6:创建 Runner(不推荐)

不推荐原因:使用下面这种方式创建的runner,一次作业后就会销毁。我在Rancher中发现deploy-web-dev-runner的状态是notReady并找了很久的原因,因此最好不要用这种方式创建Runner。需要创建可以去看看步骤8
Rancher deploy-web-dev-runner截图
执行下面的命令,创建一个名为 deploy-web-dev-runner 的 Runner CR。

kubectl apply -f - <<EOF                 
apiVersion: actions.summerwind.dev/v1alpha1
kind: Runner
metadata:name: deploy-web-dev-runnernamespace: actions-runner-system
spec:repository: mingchangge/deployWebenv: []
EOF

查看Runner

kubectl get runner -n actions-runner-system deploy-web-dev-runner

输出:

NAME                    ENTERPRISE   ORGANIZATION   REPOSITORY              GROUP   LABELS   STATUS    MESSAGE   WF REPO   WF RUN   AGE
deploy-web-dev-runner                               mingchangge/deployWeb                    Running                                15s

在项目仓库的 Settings/Actions/Runners 中可以看到同名的 Runner,处于 idle 状态。
github项目Runner截图

deploy-web-dev-runner没有指定namespace,则Runner建立在默认命名空间即default。
删除建立在默认命名空间资源的命令: kubectl delete runner deploy-web-dev-runner

7:项目推送

在你的GitHub Actions workflow中,将 runs-on 指定为 [self-hosted, linux, X64]后推送项目,Runner运行。
runs-on修改截图
最后runner运行成功
只是作业运行结果结果失败,报错如下:(Runner执行的机器中缺少node所以不识别npm命令,整个docker私有镜像安装node或许可以解决,目前不想直接在服务器中安装node。这个问题我目前一脑门子浆糊,往后稍稍。)

...
Run echo "npm install"
npm install
/runner/_work/_temp/aadcc564-e286-4996-8f54-5e0824cc9863.sh: line 3: npm: command not found
Error: Process completed with exit code 127.

7.1:排错

runner运行完2天后再次修改前端项目,推送github后,忽然发现作业找不到机器执行,github settings/Actions的Runner列表也没有之前部署的Runner了,截图如下:
Runner执行作业:
Runner执行作业
github项目settings/Actions/runners:
github项目settings/Actions
查看pod状态
kubectl get pods -n actions-runner-system
输出:

NAME                                         READY   STATUS     RESTARTS   AGE
actions-runner-controller-5c996cd9c7-gqm5g   2/2     Running    0          2d19h
deploy-web-dev-runner                        1/2     NotReady   0          2d1h

kubectl describe pod deploy-web-dev-runner -n actions-runner-system
kubectl logs deploy-web-dev-runner -n actions-runner-system
kubectl get pods deploy-web-dev-runner -n actions-runner-system -o jsonpath='{.status.containerStatuses[*].ready}'
get pods deploy-web-dev-runner -n actions-runner-system -o jsonpath='{.status.containerStatuses[*].name}'
kubectl get pods deploy-web-dev-runner -n actions-runner-system -o yaml
以上命令均没有输出什么有价值的错误信息导致的Runner notReady,再根据 kubectl describe pod 命令的输出,deploy-web-dev-runner Pod 中的 runner 容器已经终止,状态为 Terminated,并且其退出状态是 Completed 退出码为 0。这表明容器已经成功执行并正常退出。但是,由于容器已经终止,它不会对 Ready 探针做出响应,因此 Kubernetes 报告该容器状态为 NotReady。从执行上来看runner 容器是个一次性任务执行器,NotReady 状态可能不是一个问题,而只是容器生命周期的一个正常部分。

8:创建可重用 Runner

根据网上的参考资料进行下一步创建可重用 Runner

kubectl apply -f - <<EOF
apiVersion: actions.summerwind.dev/v1alpha1
kind: RunnerDeployment
metadata:name: deploy-web-dev-runnernamespace: actions-runner-system
spec:template:spec:repository: mingchangge/deployWebenv: []
EOF

参考文章有言在先,怪我自己没有耐心看完。

actions-runner-controller 提供了三种 CRD:

  • Runner:可以理解为 Pod,该 Runner 只能执行一次作业。
  • RunnerDeployments:可以理解为Deployment,可以设置要创建的 Runner 数量。Runner 在执行完作业后会销毁,然后 Controller 会创建新的Runner 等待作业调度。
  • RunnerSets:可以理解为 StatefulSet,也是基于 StatefulSet 来创建 Pod(即Runner),提供 StatefulSet 的特性。
    更多用法,可以参考 actions-runner-controller 官方文档。

创建完可重用Runner,推送项目,发现创建的runner比之前多了一些后缀。
可重用Runner
之前的推送处理完成后,本次推送才开始进行处理。
runner运行情况
多个请求推送去 Actions 列表会发现,只有一个作业在运行,其他都是 queued 的等待状态。只有等前面的作业执行完成后,后一个作业才会被执行。
Actions 作业列表
由上图可知执行多个任务时,任务需要排队等候不支持并发。但是actions-runner-controller 在 3 个 Runner 的 CRD 之外,还提供了类似 HPA(水平 pod 自动扩缩容) 的 CRD HorizontalRunnerAutoscaler,简称 HRA。
HRA 可以根据指标 PercentageRunnersBusy 或者 TotalNumberOfQueuedAndInProgressWorkflowRuns 来对 runner 进行扩缩容,或者基于 GitHub Events(webhook)来进行扩缩容。这两种都各有优缺点,前者指标是通过 GitHub API 轮训等待的作业数,实现简单,但时效性差;后者基于事件触发时效性更佳,但是实现复杂,需要对外暴露访问端点接收 GitHub Event。
下面的参考的文章是使用前一项的,所以我准备试试Webhook 驱动扩展,成不成功的先做个记录。

(X)9:Webhook 驱动扩展

失败原因:转来转去又回到了原点,我的服务器连接不了外网,webhook timeout。目前两种解决方式可行:一、使用内网穿透工具如Ngrok,将内网的服务暴露到公网上,从而允许外部访问,不太好的方案;二、开个ssh隧道连接,但又一时找不到可用的服务器,此操作搁置。暂时不扩容了已经卡了很久很久,还是继续往下进行吧。

使用自定义 Kubernetes 入口控制器:

在actions-runner-system命名空间上创建一个新的部署和一个用于接收 Github Webhooks 的服务

helm upgrade --install --namespace actions-runner-system --create-namespace \--wait actions-runner-controller actions-runner-controller/actions-runner-controller \--set "githubWebhookServer.enabled=true"

输出:

Release "actions-runner-controller" has been upgraded. Happy Helming!
NAME: actions-runner-controller
LAST DEPLOYED: Fri Aug 30 10:48:23 2024
NAMESPACE: actions-runner-system
STATUS: deployed
REVISION: 2
TEST SUITE: None
NOTES:
1. Get the application URL by running these commands:export POD_NAME=$(kubectl get pods --namespace actions-runner-system -l "app.kubernetes.io/name=actions-runner-controller,app.kubernetes.io/instance=actions-runner-controller" -o jsonpath="{.items[0].metadata.name}")export CONTAINER_PORT=$(kubectl get pod --namespace actions-runner-system $POD_NAME -o jsonpath="{.spec.containers[0].ports[0].containerPort}")echo "Visit http://127.0.0.1:8080 to use your application"kubectl --namespace actions-runner-system port-forward $POD_NAME 8080:$CONTAINER_PORT

创建名为arc-webhook-server.yaml的Ingress 文件

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:name: actions-runner-controller-github-webhook-servernamespace: actions-runner-systemannotations:nginx.ingress.kubernetes.io/backend-protocol: "HTTP"
spec:ingressClassName: nginx # 使用这个字段来指定Ingress控制器tls:- hosts:- rancher.lxq.comsecretName: tls-rancher-ingressrules:- http:paths:- path: /actions-runner-controller-github-webhook-serverpathType: Prefixbackend:service:name: actions-runner-controller-github-webhook-serverport:number: 8090
kubectl apply -n actions-runner-system -f arc-webhook-server.yaml

GitHub新增webhook

  1. 配置 GitHub 开始向您发送 webhook,请转到您的存储库或组织的设置(Settings)页面,单击Webhooks后单击Add webhook。
  2. 使用您刚刚创建的 webhook URL 设置“Payload URL”字段,如果您遵循上面的示例,则 URL :
    https://${您自己的域名}/actions-runner-controller-github-webhook-server
  3. 点击“内容类型”并选择application/json。
  4. 点击“让我选择单个事件”并选择Workflow Jobs(我还选了几个其他的)。
  5. 点击Add Webhook。
    GitHub新增webhook
    创建完成后发现webhooke不能正常工作
    webhooke
    无效尝试
    创建一个针对节点端口的外部负载均衡器,该service一直是Pending状态。
  • vi webhook-service.yaml
    apiVersion: v1
    kind: Service
    metadata:name: webhook-servicenamespace: actions-runner-system # 或者是你的命名空间
    spec:type: LoadBalancerexternalIPs:- 192.168.XX.XXXselector:app.kubernetes.io/instance: actions-runner-controller-github-webhook-serverapp.kubernetes.io/name: actions-runner-controllerpod-template-hash: 6b4f5cf858ports:- appProtocol: httpname: httpnodePort: 30080port: 8090protocol: TCPtargetPort: http
    
  • kubectl apply -f webhook-service.yaml
    kubectl get service webhook-service -n actions-runner-system
    # 输出:
    NAME              TYPE           CLUSTER-IP     EXTERNAL-IP      PORT(S)          AGE
    webhook-service   LoadBalancer   10.96.127.64   <pending>   8090:30080/TCP   95m
    

参考

在 Kubernetes 上运行 GitHub Actions Self-hosted Runner
在 Kubernetes 上执行 GitHub Actions 流水线作业
automatically-scaling-runners.md

补充内容:

k8s小白使用命令记录:

查看 ingress配置

kubectl describe ingress -n cattle-system

查看secret

kubectl get secret tls-rancher-ingress -n cattle-system -o yaml

查看使用`kubectl apply -f 命令创建Kubernetes资源的命名空间

当你使用kubectl apply -f命令创建Kubernetes资源时,资源的命名空间通常在YAML文件中指定。要查看或确认通过这种方式创建的资源的命名空间,你可以:

  1. 直接查看YAML文件:
    在YAML文件中查找metadata部分,看是否有namespace字段。例如:

    metadata:name: my-resourcenamespace: my-namespace
    

    如果namespace字段存在,那么资源就被创建在了这个命名空间内。如果namespace字段不存在,那么资源将被创建在当前的kubectl上下文中所设置的命名空间内,通常这会是default命名空间。

  2. 使用kubectl get命令:
    你也可以使用kubectl get命令并指定-A--all-namespaces参数来查看所有命名空间中的资源。例如,要查看所有命名空间中的所有资源,可以运行:

    kubectl get all --all-namespaces
    

    从输出中,你可以找到你创建的资源,并看到它所在的命名空间。

  3. 使用kubectl config命令:
    如果你想要知道当前kubectl上下文的命名空间,可以使用:

    kubectl config current-context
    

    然后查看你的.kube/config文件中当前上下文的namespace字段。但是,这方法只能确认当前默认的命名空间,对于直接在YAML文件中指定的命名空间,还是需要查看YAML文件。

删除使用`kubectl apply -f 命令创建Kubernetes资源

使用kubectl apply -f命令创建的Kubernetes资源,可以通过kubectl delete命令或者再次使用apply命令来删除。下面是两种删除资源的方法:

1. 使用kubectl delete

如果已知资源类型和名称,可以直接使用delete命令:

kubectl delete <resource-type> <resource-name> --namespace=<namespace>

这里,你需要将<resource-type>替换为资源的类型(如deployment, service, pod等),<resource-name>替换为资源的名称,<namespace>替换为资源所在的命名空间。如果资源在默认命名空间中,可以省略--namespace=<namespace>部分。

例如,删除名为my-service的服务:

kubectl delete service my-service

如果删除的是由YAML文件创建的资源,而你不知道资源的确切类型或名称,可以通过YAML文件来删除:

kubectl delete -f <path-to-file>

<path-to-file>替换为YAML文件的路径。

2. 使用kubectl apply--delete-collection

如果你使用的是kubectl apply,并且你的YAML文件中包含多个资源定义,你可以通过添加--delete-collection标志来删除由该文件创建的所有资源。但要注意,这通常用于清理整个资源集合,并且可能不保留状态数据,所以在生产环境中使用时要格外小心。

kubectl apply -f <path-to-file> --delete-collection --force

这里,--delete-collection选项告诉kubectl删除与YAML文件匹配的所有资源,--force则确保即使有运行中的Pod也会被强制删除。

--delete-collection并不是kubectl apply的标准行为,它用于清理不再存在的资源。如果你的YAML文件只定义了一个资源,或者你只是想要删除一个特定的资源,使用kubectl delete会更直接和安全。

示例

假设你有一个名为deployment.yaml的文件,其中定义了一个名为web的deployment和一个名为web-service的服务。

要删除由这个文件创建的所有资源,可以使用:

kubectl delete -f deployment.yaml

或者,如果你想使用apply来删除:

kubectl apply -f deployment.yaml --delete-collection --force

但请注意,--delete-collection--force的使用要谨慎,确保你理解其行为和可能的后果。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/415354.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

文献阅读(218)EHP

题目&#xff1a;A Research Retrospective on the AMD Exascale Computing Journey时间&#xff1a;2023会议&#xff1a;ISCA研究机构&#xff1a;AMD 题目&#xff1a;Realizing the AMD Exascale Heterogeneous Processor Vision时间&#xff1a;2024会议&#xff1a;ISCA研…

Ps:颜色模型、色彩空间及配置文件

颜色模型、色彩空间和配置文件是处理颜色的核心概念。它们虽然互相关联&#xff0c;但各自有不同的功能和作用。 通过理解这些概念及其关系&#xff0c;Photoshop 用户可以更好地管理和优化图像处理流程&#xff0c;确保颜色在不同设备和应用中的一致性和准确性。 颜色模型 Col…

LDR6023:革新手机转接器体验,快充与OTG并存的科技杰作

在智能设备日益普及的今天&#xff0c;手机已经成为我们日常生活中不可或缺的一部分。然而&#xff0c;随着功能的不断增加&#xff0c;手机对于电力和数据传输的需求也日益提升。为了应对这一挑战&#xff0c;深圳市乐得瑞科技有限公司凭借其深厚的科技积累和创新精神&#xf…

科研论文必须要了解的25个学术网址

各位同学大家好&#xff0c;我是Toby老师&#xff0c;今天介绍一下科研论文必须要了解的25个学术网站。下述论文网站收藏内容有差异&#xff0c;大家可以检索比较。 1.SCI SCI&#xff08;Science Citation Index&#xff09;是一个学术引文数据库&#xff0c;收录了全球多个学…

YOLOv5改进 | 模块缝合 | C3融合PKINet提升遥感图像的检测性能【完整代码】

秋招面试专栏推荐 &#xff1a;深度学习算法工程师面试问题总结【百面算法工程师】——点击即可跳转 &#x1f4a1;&#x1f4a1;&#x1f4a1;本专栏所有程序均经过测试&#xff0c;可成功执行&#x1f4a1;&#x1f4a1;&#x1f4a1; 专栏目录&#xff1a; 《YOLOv5入门 改…

【论文阅读】语义通信安全研究综述(2024)

摘要 语义通信系统架构 笔记 内容概述 引言&#xff1a;介绍了语义通信技术的背景、发展和重要性&#xff0c;以及它在无线通信系统中面临的安全挑战。 语义通信系统架构及安全攻击&#xff1a;描述了一个端到端的深度学习语义通信系统的基本架构&#xff0c;包括语义编解码…

VM Workstation虚拟机AlmaLinux 9.4操作系统安装(桌面版安装详细教程)(宝塔面板的安装),填补CentOS终止支持维护的空白

目录 AlmaLinux介绍 AlmaLinux操作系统的安装 1、下载镜像文件 2、新建虚拟机 &#xff08;1&#xff09;点击创建新的虚拟机 &#xff08;2&#xff09;打开虚拟机向导后&#xff0c;选择“自定义”安装&#xff0c;然后点击“下一步” &#xff08;3&#xff09;选择虚…

OpenCV颜色空间转换(1)颜色空间转换函数cvtColor()的使用

操作系统&#xff1a;ubuntu22.04 OpenCV版本&#xff1a;OpenCV4.9 IDE:Visual Studio Code 编程语言&#xff1a;C11 算法描述 将图像从一个颜色空间转换到另一个颜色空间。 此函数将输入图像从一个颜色空间转换到另一个颜色空间。在进行 RGB 颜色空间之间的转换时&#x…

opencv车道偏离系统-代码+原理-人工智能-自动驾驶

车道偏离预警系统&#xff08;Lane Departure Warning System, LDWS&#xff09;是一种主动安全技术&#xff0c;旨在帮助驾驶员避免因无意中偏离车道而引发的事故。从原理到实战应用&#xff0c;其工作流程大致如下&#xff1a; 传感器采集 &#xff1a;系统通常配备有一个或…

蜂信物联 FastBee 开源物联网平台 download 任意文件读取漏洞复现

0x01 产品简介 蜂信物联(FastBee)开源物联网平台是一个专为物联网应用设计的综合性平台,它集成了硬件接入、数据管理、应用开发等一系列功能,为用户提供了一个完整、便捷的物联网解决方案。平台以其简单易用、功能强大、高度可扩展和安全性高的特点,为物联网应用的发展提…

四层神经网络,反向传播计算过程;四层神经网络中:y的函数公式是什么

目录 四层神经网络,反向传播计算过程 网络结构 前向传播 损失函数 反向传播 1. 计算输出层到隐藏层 2 的梯度 2. 计算隐藏层 2 到隐藏层 1 的梯度 3. 计算输入层到隐藏层 1 的梯度 梯度下降更新 四层神经网络,反向传播计算过程 在四层神经网络中,使用均方差损失函数…

赞奇科技与华为云共襄828 B2B企业节,激活数字内容“云”创作

8月28日&#xff0c;在2024中国国际大数据产业博览会上&#xff0c;第三届828 B2B企业节正式开幕&#xff0c;旨在融通数智供需&#xff0c;加速企业智改数转&#xff0c;助推中国数智产业实力再升级。 828 B2B企业节是全国首个基于数字化赋能的企业节&#xff0c;由华为联合上…

关于前端布局的基础知识

float 横向布局 float 实现横向布局&#xff0c;需要向横着布局的元素添加float 其值left right 存在问题 如果使用float 所在父级五高度&#xff0c;会导致下方的元素上移 top的高度被吞了 解决方法&#xff1a; 给父级元素设置高度&#xff1a;不推荐&#xff0c;需要给父级…

2024最新最全:信息安全风险评估服务,零基础入门到精通,收藏这一篇就够了

基本概念 根据有关信息安全技术与管理标准&#xff0c;对信息系统及其处理、传输和存储的信息的机密性、完整性和可用性等安全属性进行评价&#xff0c;同时评估资产面临的威胁以及威胁利用脆弱性导致安全事件的可能性&#xff0c;并结合安全事件所涉及的资产价值来判断安全事件…

苹果微信卸载了怎么恢复聊天记录?学会这4招,惊艳所有人!

如果我们不小心卸载了微信应用&#xff0c;那手机里的聊天记录怎么恢复呢&#xff1f;通常情况下&#xff0c;微信卸载了再重新安装&#xff0c;之前的聊天记录一般都不会保存在聊天框中。那么&#xff0c;苹果手机用户面对微信卸载了怎么恢复聊天记录的情况时&#xff0c;该怎…

机械学习—零基础学习日志(概率论总笔记2)

正态分布 高斯分布也叫做正态分布。假定事件A经过n次试验后发生了k次&#xff0c;把k的概率分布图画一下&#xff0c;就得到了一个中间鼓起&#xff0c;像倒扣的钟一样的对称图形。 18世纪&#xff0c;数学家棣莫弗和拉普拉斯把这种中间大&#xff0c;两头小的分布称为正态分布…

ArcGIS Pro 发布松散型切片

使用ArcGIS Pro发布松散型切片问题&#xff0c;有时候会出现切片方案写了松散型&#xff0c;但是自动切片完成后依然是紧凑型的问题&#xff0c;这时候可以采用手动修改然后再切片的方式。 1. 发布切片服务 选择手动切片方式 2. 手动修改服务的切片方案文件 修改cache服务…

使用Aqua进行WebUI测试(Pytest)——介绍篇(附汉化教程)

一、在创建时选择Selenium with Pytest 如果选择的是Selenium&#xff0c;则只能选择Java类语言 选择selenium with Pytest&#xff0c;则可以选择Python类语言 Environment 其中的【Environment】可选New 和 Existing New &#xff1a;选择这个选项意味着你希望工具为你创…

大模型隐私泄露攻击技巧分析与复现

前言 大型语言模型&#xff0c;尤其是像ChatGPT这样的模型&#xff0c;尽管在自然语言处理领域展现了强大的能力&#xff0c;但也伴随着隐私泄露的潜在风险。在模型的训练过程中&#xff0c;可能会接触到大量的用户数据&#xff0c;其中包括敏感的个人信息&#xff0c;进而带来…

500元内蓝牙耳机推荐哪款好?四大百元终极蓝牙耳机推荐

在如今日益繁荣的蓝牙耳机市场中&#xff0c;消费者面对众多品牌和型号时常常感到迷茫。特别是预算限定在500元以内时&#xff0c;选择一款性价比高、音质出色且功能全面的蓝牙耳机显得尤为重要&#xff0c;那么500元内蓝牙耳机推荐哪款好&#xff1f;下面我就为大家带来了四大…