（三）k8s实战-资源调度

一、Label 和 Selector

1、标签（Label）

有两种设置方式：配置文件、kubectl命令

1）配置文件
在各类资源的 metadata.labels 中进行配置

2）kubectl

1）临时创建 label
kubectl label po <资源名称> app=hello	2）修改已经存在的标签
kubectl label po <资源名称> app=hello2 --overwrite3）查看 label
# selector 按照 label 单值查找节点
kubectl get po -A -l app=hello# 查看所有节点的 labels
kubectl get po --show-labels

2、选择器（Selector）

有两种设置方式：配置文件、kubectl命令

1）配置文件
在各对象的配置 spec.selector 或其他可以写 selector 的属性中编写

2）kubectl

# 匹配单个值，查找 app=hello 的 pod
kubectl get po -A -l app=hello# 匹配多个值
kubectl get po -A -l 'k8s-app in (metrics-server, kubernetes-dashboard)'
或 # 查找 version!=1 and app=nginx 的 pod 信息
kubectl get po -l version!=1,app=nginx# 不等值 + 语句
kubectl get po -A -l version!=1,'app in (busybox, nginx)'

二、Deployment

Deployment：用于管理无状态应用

1、配置文件样例

apiVersion: apps/v1 # deployment api 版本
kind: Deployment # 资源类型为 deployment
metadata: # 元信息labels: # 标签app: nginx-deploy # 具体的 key: value 配置形式name: nginx-deploy # deployment 的名字namespace: default # 所在的命名空间
spec:replicas: 1 # 期望副本数revisionHistoryLimit: 10 # 进行滚动更新后，保留的历史版本数selector: # 选择器，用于找到匹配的 RSmatchLabels: # 按照标签匹配app: nginx-deploy # 匹配的标签key/valuestrategy: # 更新策略rollingUpdate: # 滚动更新配置maxSurge: 25% # 进行滚动更新时，更新的个数最多可以超过期望副本数的个数/比例maxUnavailable: 25% # 进行滚动更新时，最大不可用比例更新比例，表示在所有副本数中，最多可以有多少个不更新成功type: RollingUpdate # 更新类型，采用滚动更新template: # pod 模板metadata: # pod 的元信息labels: # pod 的标签app: nginx-deployspec: # pod 期望信息containers: # pod 的容器- image: nginx:1.7.9 # 镜像imagePullPolicy: IfNotPresent # 拉取策略name: nginx # 容器名称restartPolicy: Always # 重启策略terminationGracePeriodSeconds: 30 # 删除操作最多宽限多长时间

2、创建

1.创建一个 deployment
kubectl create deploy nginx-deploy --image=nginx:1.7.9或执行
kubectl create -f xxx.yaml --record
# --record 会在 annotation 中记录当前命令创建或升级了资源，后续可以查看做过哪些变动操作(回滚版本中可以看到变动描述)。2.查看部署信息
kubectl get deployments3.查看 rs
kubectl get rs4.查看 pod 以及展示标签，可以看到是关联的那个 rs
kubectl get pods --show-labels

3、滚动更新

# 修改deploy的yaml配置（修改后就会滚动更新）
kubectl edit deployment/nginx-deploy
# 查看滚动更新的过程
kubectl rollout status deploy <deployment_name>

案例：

#只有修改了 deployment 配置文件中的 template 中的属性后，才会触发更新操作1.修改 nginx 版本号
kubectl set image deployment/nginx-deploy nginx=nginx:1.9.1
或者通过 kubectl edit deployment/nginx-deploy 进行修改2.查看滚动更新的过程
kubectl rollout status deploy <deployment_name>3.查看部署描述，最后展示发生的事件列表也可以看到滚动更新过程
kubectl describe deploy <deployment_name>4.通过 kubectl get deployments 获取部署信息，UP-TO-DATE 表示已经有多少副本达到了配置中要求的数目5.通过 kubectl get rs 可以看到增加了一个新的 rs6.通过 kubectl get pods 可以看到所有 pod 关联的 rs 变成了新的

假设当前有 5 个 nginx:1.7.9 版本，你想将版本更新为 1.9.1，当更新成功第三个以后，你马上又将期望更新的版本改为 1.9.2，那么此时会立马删除之前的三个，并且立马开启更新 1.9.2 的任务

4、回滚

有时候你可能想回退一个Deployment，例如，当Deployment不稳定时，比如一直crash looping。

默认情况下，kubernetes会在系统中保存前两次的Deployment的rollout历史记录，以便你可以随时会退（你可以修改revisionHistoryLimit来更改保存的revision数）。

# 查看 revison 的列表
kubectl rollout history deployment/nginx-deploy
# 查看指定revison的详细信息
kubectl rollout history deployment/nginx-deploy --revision=2
# 回退到上一个版本
kubectl rollout undo deployment/nginx-deploy
# 回退到指定的 revision
kubectl rollout undo deployment/nginx-deploy --to-revision=2

案例：

更新 deployment 时参数不小心写错，如 nginx:1.9.1 写成了 nginx:1.91
kubectl set image deployment/nginx-deploy nginx=nginx:1.91监控滚动升级状态，由于镜像名称错误，下载镜像失败，因此更新过程会卡住
kubectl rollout status deployments nginx-deploy结束监听后，获取 rs 信息，我们可以看到新增的 rs 副本数是 2 个
kubectl get rs通过 kubectl get pods 获取 pods 信息，我们可以看到关联到新的 rs 的 pod，状态处于 ImagePullBackOff 状态为了修复这个问题，我们需要找到需要回退的 revision 进行回退
通过 kubectl rollout history deployment/nginx-deploy 可以获取 revison 的列表通过 kubectl rollout history deployment/nginx-deploy --revision=2 可以查看详细信息确认要回退的版本后，可以通过 kubectl rollout undo deployment/nginx-deploy 可以回退到上一个版本也可以回退到指定的 revision
kubectl rollout undo deployment/nginx-deploy --to-revision=2再次通过 kubectl get deployment 和 kubectl describe deployment 可以看到，我们的版本已经回退到对应的 revison 上了# 可以通过设置 .spec.revisonHistoryLimit 来指定 deployment 保留多少 revison，如果设置为 0，则不允许 deployment 回退了。

5、扩容缩容

# 通过 kube scale 命令可以进行自动扩容/缩容，以及通过 kube edit 编辑 replcas 也可以实现扩容/缩容
kubectl scale --replicas=6 deploy nginx-deploy#扩容与缩容只是直接创建副本数，没有更新 pod template 因此不会创建新的 rs

6、暂停与恢复

由于每次对 pod template 中的信息发生修改后，都会触发更新 deployment 操作，那么此时如果频繁修改信息，就会产生多次更新，而实际上只需要执行最后一次更新即可，当出现此类情况时我们就可以暂停 deployment 的 rollout

# 暂停滚动更新
kubectl rollout pause deployment <name>
# 恢复滚动更新
kubectl rollout resume deploy <name>

案例：

通过 kubectl rollout pause deployment <name> 就可以实现暂停，直到你下次恢复后才会继续进行滚动更新尝试对容器进行修改，然后查看是否发生更新操作了
kubectl set image deploy <name> nginx=nginx:1.17.9
kubectl get po 通过以上操作可以看到实际并没有发生修改，此时我们再次进行修改一些属性，如限制 nginx 容器的最大cpu为 0.2 核，最大内存为 128M，最小内存为 64M，最小 cpu 为 0.1 核
kubectl set resources deploy <deploy_name> -c <container_name> --limits=cpu=200m,memory=128Mi --requests=cpu100m,memory=64Mi通过格式化输出 kubectl get deploy <name> -oyaml，可以看到配置确实发生了修改，再通过 kubectl get po 可以看到 pod 没有被更新那么此时我们再恢复 rollout，通过命令 kubectl rollout resume deploy <name>恢复后，我们再次查看 rs 和 po 信息，我们可以看到就开始进行滚动更新操作了
kubectl get rs
kubectl get po

三、StatefulSet

StatefulSet：用于管理有状态应用

1、配置文件

---
apiVersion: v1
kind: Service
metadata:name: nginxlabels:app: nginx
spec:ports:- port: 80name: webclusterIP: Noneselector:app: nginx
---
apiVersion: apps/v1
kind: StatefulSet # statefuelSet类型的资源
metadata: name: web # StatefulSet的名字
spec:serviceName: "nginx" # 使用哪个service来管理dnsreplicas: 2selector:matchLabels:app: nginx # 配置选择器template:metadata:labels:app: nginxspec:containers:- name: nginximage: arm64v8/nginx:latestports: # 容器内部需要暴露的端口- containerPort: 80 # 暴露的端口name: web # 端口配置的名字
#        volumeMounts: # 加载数据卷
#        - name: www # 指定加载哪个数据卷
#          mountPath: /usr/share/nginx/html # 加载到容器的哪个目录
#  volumeClaimTemplates: # 存储卷模板
#  - metadata: # 存储卷的元数据
#      name: www # 存储卷的名称
#      annotations: # 存储卷的注解
#        volume.alpha.kubernetes.io/storage-class: anything
#    spec: # 存储卷的规约
#      accessModes: [ "ReadWriteOnce" ] # 访问模式
#      resources:
#        requests:
#          storage: 1Gi # 需要1G的存储资源

2、创建

kubectl create -f web.yaml# 查看 service(svc) 和 statefulset(sts)
kubectl get service nginx
kubectl get statefulset web# 查看 PVC 信息
kubectl get pvc# 查看创建的 pod，这些 pod 是有序的
kubectl get pods -l app=nginx# 查看这些 pod 的 dns
# 运行一个 pod，基础镜像为 busybox 工具包，利用里面的 nslookup 可以看到 dns 信息
kubectl run -it --image arm64v8/busybox dns-test --restart=Never --rm /bin/sh
nslookup web-0.nginx

3、扩容缩容

# 方式一：kubectl命令
$ kubectl scale statefulset web --replicas=5# 方式二：打补丁修改yaml
$ kubectl patch statefulset web -p '{"spec":{"replicas":3}}'

4、镜像更新

镜像更新（目前还不支持直接更新 image，需要 patch 来间接实现）

kubectl patch sts web --type='json' -p='[{"op": "replace", "path": "/spec/template/spec/containers/0/image", "value":"arm64v8/nginx:1.9.1"}]'

两种更新策略：
RollingUpdate滚动更新、OnDelete删除更新

1）更新策略：RollingUpdate 滚动更新
StatefulSet 也可以采用滚动更新策略，同样是修改 pod template 属性后会触发更新，但是由于 pod 是有序的，在 StatefulSet 中更新时是基于 pod 的顺序倒序更新的

灰度发布：
利用滚动更新中的 partition 属性，可以实现简易的灰度发布的效果例如我们有 5 个 pod，如果当前
partition 设置为 3，那么此时滚动更新时，只会更新那些序号 >= 3 的 pod 利用该机制，我们可以通过控制
partition 的值，来决定只更新其中一部分 pod，确认没有问题后再主键增大更新的 pod 数量，最终实现全部 pod 更新

  updateStrategy:rollingUpdate:partition: 0type: RollingUpdate

2）更新策略：OnDelete 删除更新
只有在 pod 被删除时会进行更新操作

  updateStrategy:type: OnDelete

5、删除

需要删除 StatefulSet 、 Headless Service 和 PVC


# 1）级联删除：删除 statefulset 时会同时删除 pods
kubectl delete statefulset web# 或 非级联删除：删除 statefulset 时不会删除 pods，删除 sts 后，pods 就没人管了，此时再删除 pod 不会重建的
kubectl deelte sts web --cascade=false# 2）删除 service
kubectl delete service nginx# 3）StatefulSet删除后PVC还会保留着，数据不再使用的话也需要删除
kubectl delete pvc www-web-0 www-web-1

四、DaemonSet

1、配置文件

apiVersion: apps/v1
kind: DaemonSet # 创建DaemonSet资源
metadata:name: fluentd # 名字
spec:template:metadata:labels:app: loggingid: fluentdname: fluentd # pod的名字spec:nodeSelector: # 节点选择器type: microservices #匹配的节点labelcontainers:- name: fluentd-esimage: agilestacks/fluentd-elasticsearch:v1.3.0env: # 环境变量配置- name: FLUENTD_ARGS # 环境变量的keyvalue: -qq # 环境变量的valuevolumeMounts: # 加载数据卷，避免数据丢失- name: containers # 数据卷的名字mountPath: /var/lib/docker/containers # 将数据卷挂载到容器内的哪个目录- name: varlog mountPath: /varlogvolumes: # 定义数据卷- hostPath: # 数据卷类型，主机路径的模式，也就是与node共享目录path: /var/lib/docker/containers # node中的共享目录name: containers # 定义的数据卷名称- hostPath:path: /var/logname: varlogupdateStrategy:type: OnDelete # 建议使用OnDelete，删除后更新

2、指定 Node 节点

DaemonSet 会忽略 Node 的 unschedulable 状态，有两种方式来指定 Pod 只运行在指定的 Node 节点上：

nodeSelector：只调度到匹配指定 label 的 Node 上
nodeAffinity：功能更丰富的 Node 选择器，比如支持集合操作
podAffinity：调度到满足条件的 Pod 所在的 Node 上

1）nodeSelector

先为 Node 打上标签

kubectl label nodes k8s-node1 svc_type=microsvc

然后再 daemonset 配置中设置 nodeSelector

spec:template:spec:nodeSelector:svc_type: microsvc

2）nodeAffinity
nodeAffinity 目前支持两种：requiredDuringSchedulingIgnoredDuringExecution 和 preferredDuringSchedulingIgnoredDuringExecution，分别代表必须满足条件和优选条件。

比如下面的例子代表调度到包含标签 wolfcode.cn/framework-name 并且值为 spring 或 springboot 的 Node 上，并且优选还带有标签 another-node-label-key=another-node-label-value 的Node。

apiVersion: v1
kind: Pod
metadata:name: with-node-affinity
spec:affinity:nodeAffinity:requiredDuringSchedulingIgnoredDuringExecution:nodeSelectorTerms:- matchExpressions:- key: wolfcode.cn/framework-nameoperator: Invalues:- spring- springbootpreferredDuringSchedulingIgnoredDuringExecution:- weight: 1preference:matchExpressions:- key: another-node-label-keyoperator: Invalues:- another-node-label-valuecontainers:- name: with-node-affinityimage: pauseyyf/pause

3）podAffinity
podAffinity 基于 Pod 的标签来选择 Node，仅调度到满足条件Pod 所在的 Node 上，支持 podAffinity 和 podAntiAffinity。这个功能比较绕，以下面的例子为例：
如果一个 “Node 所在空间中包含至少一个带有 auth=oauth2 标签且运行中的 Pod”，那么可以调度到该 Node
不调度到 “包含至少一个带有 auth=jwt 标签且运行中 Pod”的 Node 上

apiVersion: v1
kind: Pod
metadata:name: with-pod-affinity
spec:affinity:podAffinity:requiredDuringSchedulingIgnoredDuringExecution:- labelSelector:matchExpressions:- key: authoperator: Invalues:- oauth2topologyKey: failure-domain.beta.kubernetes.io/zonepodAntiAffinity:preferredDuringSchedulingIgnoredDuringExecution:- weight: 100podAffinityTerm:labelSelector:matchExpressions:- key: authoperator: Invalues:- jwttopologyKey: kubernetes.io/hostnamecontainers:- name: with-pod-affinityimage: pauseyyf/pause

3、滚动更新

不建议使用 RollingUpdate，建议使用 OnDelete 模式，这样避免频繁更新 ds

五、HPA 自动扩/缩容

通过监测pod的cpu、内存使用率或自定义 metrics 指标进行自动的扩容或缩容 pod 的数量。
可用于Deployment和StatefulSet，通常用于Deployment，不适用于无法扩/缩容的对象，如 DaemonSet
控制管理器每隔30s（可以通过–horizontal-pod-autoscaler-sync-period修改）查询metrics的资源使用情况

1、创建一个 HPA

实现 cpu 或内存的监控，首先有个前提条件是该对象必须配置了 resources.requests.cpu 或 resources.requests.memory 才可以，可以配置当 cpu/memory 达到上述配置的百分比后进行扩容或缩容

# 1）准备一个有做资源限制的 deploymentresources:limits:cpu: 200mmemory: 128Mirequests:cpu: 100mmemory: 128Mi# 2）执行命令  
kubectl autoscale deploy nginx-deploy --cpu-percent=20 --min=2 --max=5# 3）查看HPA信息
kubectl get hpa

2、测试案例

1）找到对应服务的 service，编写循环测试脚本提升内存与 cpu 负载
while true; do wget -q -O- http://ip:port > /dev/null ; done
可以通过多台机器执行上述命令，增加负载

2）当超过负载后可以查看 pods 的扩容情况 kubectl get pods
查看 pods 资源使用情况 kubectl top pods

3）扩容测试完成后，再关闭循环执行的指令，让 cpu 占用率降下来，然后过 5 分钟后查看自动缩容情况

如果无法直接使用kubectl top pods命令，需要安装指标服务组件
开启指标服务：
1）下载 metrics-server 组件配置文件
wget https://github.com/kubernetes-sigs/metrics-server/releases/latest/download/components.yaml -O metrics-server-components.yaml
2）修改镜像地址为国内的地址
sed -i ‘s/k8s.gcr.io/metrics-server/registry.cn-hangzhou.aliyuncs.com/google_containers/g’ metrics-server-components.yaml
3）修改metrics-server-components.yaml的 tls 配置，不验证 tls
在 containers 的 args 参数中增加 --kubelet-insecure-tls 参数
4）安装组件
kubectl apply -f metrics-server-components.yaml
5）查看 pod 状态
kubectl get pods --all-namespaces | grep metrics