Kubernetes精讲之网络通信与调度

目录

一 k8s网络通信

1.1 k8s通信整体架构

1.2 flannel网络插件

1.2.1 flannel跨主机通信原理

1.2.2 flannel支持的后端模式

1.3 calico网络插件

1.3.1 calico简介:

1.3.2 calico网络架构

1.3.3 部署calico

二 k8s调度(Scheduling)

2.1 调度在Kubernetes中的作用

2.2 调度原理:

2.3 调度器种类

2.4 常用调度方法

2.4.1 nodename

2.4.2 Nodeselector(通过标签控制节点)

2.5 affinity(亲和性)

2.5.1 亲和与反亲和

2.5.2 nodeAffinity节点亲和

2.5.3 Podaffinity(pod的亲和)

2.5.4 Podantiaffinity(pod反亲和)

2.6 Taints(污点模式,禁止调度)

Taints示例

tolerations(污点容忍)

污点容忍示例:


一 k8s网络通信

1.1 k8s通信整体架构

  • k8s通过CNI接口接入其他插件来实现网络通讯。目前比较流行的插件有flannel,calico等
  • CNI插件存放位置:# cat /etc/cni/net.d/10-flannel.conflist
  • 插件使用的解决方案如下
    • 虚拟网桥,虚拟网卡,多个容器共用一个虚拟网卡进行通信。
    • 多路复用:MacVLAN,多个容器共用一个物理网卡进行通信。
    • 硬件交换:SR-LOV,一个物理网卡可以虚拟出多个接口,这个性能最好。
  • 容器间通信:
    • 同一个pod内的多个容器间的通信,通过lo即可实现pod之间的通信
    • 同一节点的pod之间通过cni网桥转发数据包。
    • 不同节点的pod之间的通信需要网络插件支持
  • pod和service通信: 通过iptables或ipvs实现通信,ipvs取代不了iptables,因为ipvs只能做负载均衡,而做不了nat转换
  • pod和外网通信:iptables的MASQUERADE
  • Service与集群外部客户端的通信;(ingress、nodeport、loadbalancer)

1.2 flannel网络插件

插件组成:

插件

功能

VXLAN

即Virtual Extensible LAN(虚拟可扩展局域网),是Linux本身支持的一网种网络虚拟化技术。VXLAN可以完全在内核态实现封装和解封装工作,从而通过“隧道”机制,构建出覆盖网络(Overlay Network)

VTEP

VXLAN Tunnel End Point(虚拟隧道端点),在Flannel中 VNI的默认值是1,这也是为什么宿主机的VTEP设备都叫flannel.1的原因

Cni0

网桥设备,每创建一个pod都会创建一对 veth pair。其中一端是pod中的eth0,另一端是Cni0网桥中的端口(网卡)

Flannel.1

TUN设备(虚拟网卡),用来进行 vxlan 报文的处理(封包和解包)。不同node之间的pod数据流量都从overlay设备以隧道的形式发送到对端

Flanneld

flannel在每个主机中运行flanneld作为agent,它会为所在主机从集群的网络地址空间中,获取一个小的网段subnet,本主机内所有容器的IP地址都将从中分配。同时Flanneld监听K8s集群数据库,为flannel.1设备提供封装数据时必要的mac、ip等网络数据信息

1.2.1 flannel跨主机通信原理

  • 当容器发送IP包,通过veth pair 发往cni网桥,再路由到本机的flannel.1设备进行处理。
  • VTEP设备之间通过二层数据帧进行通信,源VTEP设备收到原始IP包后,在上面加上一个目的MAC地址,封装成一个内部数据帧,发送给目的VTEP设备。
  • 内部数据桢,并不能在宿主机的二层网络传输,Linux内核还需要把它进一步封装成为宿主机的一个普通的数据帧,承载着内部数据帧通过宿主机的eth0进行传输。
  • Linux会在内部数据帧前面,加上一个VXLAN头,VXLAN头里有一个重要的标志叫VNI,它是VTEP识别某个数据桢是不是应该归自己处理的重要标识。
  • flannel.1设备只知道另一端flannel.1设备的MAC地址,却不知道对应的宿主机地址是什么。在linux内核里面,网络设备进行转发的依据,来自FDB的转发数据库,这个flannel.1网桥对应的FDB信息,是由flanneld进程维护的。
  • linux内核在IP包前面再加上二层数据帧头,把目标节点的MAC地址填进去,MAC地址从宿主机的ARP表获取。
  • 此时flannel.1设备就可以把这个数据帧从eth0发出去,再经过宿主机网络来到目标节点的eth0设备。目标主机内核网络栈会发现这个数据帧有VXLAN Header,并且VNI为1,Linux内核会对它进行拆包,拿到内部数据帧,根据VNI的值,交给本机flannel.1设备处理,flannel.1拆包,根据路由表发往cni网桥,最后到达目标容器。
#默认网络通信路由
[root@k8s-master ~]# ip r
default via 172.25.254.2 dev eth0 proto static metric 100
10.244.0.0/24 dev cni0 proto kernel scope link src 10.244.0.1
10.244.1.0/24 via 10.244.1.0 dev flannel.1 onlink
10.244.2.0/24 via 10.244.2.0 dev flannel.1 onlink
172.17.0.0/16 dev docker0 proto kernel scope link src 172.17.0.1 linkdown
172.25.254.0/24 dev eth0 proto kernel scope link src 172.25.254.100 metric 100#桥接转发数据库
[root@k8s-master ~]# bridge  fdb
01:00:5e:00:00:01 dev eth0 self permanent
33:33:00:00:00:01 dev eth0 self permanent
01:00:5e:00:00:fb dev eth0 self permanent
33:33:ff:65:cb:fa dev eth0 self permanent
33:33:00:00:00:fb dev eth0 self permanent
33:33:00:00:00:01 dev docker0 self permanent
01:00:5e:00:00:6a dev docker0 self permanent
33:33:00:00:00:6a dev docker0 self permanent
01:00:5e:00:00:01 dev docker0 self permanent
01:00:5e:00:00:fb dev docker0 self permanent
02:42:76:94:aa:bc dev docker0 vlan 1 master docker0 permanent
02:42:76:94:aa:bc dev docker0 master docker0 permanent
33:33:00:00:00:01 dev kube-ipvs0 self permanent
82:14:17:b1:1d:d0 dev flannel.1 dst 172.25.254.20 self permanent
22:7f:e7:fd:33:77 dev flannel.1 dst 172.25.254.10 self permanent
33:33:00:00:00:01 dev cni0 self permanent
01:00:5e:00:00:6a dev cni0 self permanent
33:33:00:00:00:6a dev cni0 self permanent
01:00:5e:00:00:01 dev cni0 self permanent
33:33:ff:aa:13:2f dev cni0 self permanent
01:00:5e:00:00:fb dev cni0 self permanent
33:33:00:00:00:fb dev cni0 self permanent
0e:49:e3:aa:13:2f dev cni0 vlan 1 master cni0 permanent
0e:49:e3:aa:13:2f dev cni0 master cni0 permanent
7a:1c:2d:5d:0e:9e dev vethf29f1523 master cni0
5e:4e:96:a0:eb:db dev vethf29f1523 vlan 1 master cni0 permanent
5e:4e:96:a0:eb:db dev vethf29f1523 master cni0 permanent
33:33:00:00:00:01 dev vethf29f1523 self permanent
01:00:5e:00:00:01 dev vethf29f1523 self permanent
33:33:ff:a0:eb:db dev vethf29f1523 self permanent
33:33:00:00:00:fb dev vethf29f1523 self permanent
b2:f9:14:9f:71:29 dev veth18ece01e master cni0
3a:05:06:21:bf:7f dev veth18ece01e vlan 1 master cni0 permanent
3a:05:06:21:bf:7f dev veth18ece01e master cni0 permanent
33:33:00:00:00:01 dev veth18ece01e self permanent
01:00:5e:00:00:01 dev veth18ece01e self permanent
33:33:ff:21:bf:7f dev veth18ece01e self permanent
33:33:00:00:00:fb dev veth18ece01e self permanent#arp列表
[root@k8s-master ~]# arp -n
Address                  HWtype  HWaddress           Flags Mask            Iface
10.244.0.2               ether   7a:1c:2d:5d:0e:9e   C                     cni0
172.25.254.1             ether   00:50:56:c0:00:08   C                     eth0
10.244.2.0               ether   82:14:17:b1:1d:d0   CM                    flannel.1
10.244.1.0               ether   22:7f:e7:fd:33:77   CM                    flannel.1
172.25.254.20            ether   00:0c:29:6a:a8:61   C                     eth0
172.25.254.10            ether   00:0c:29:ea:52:cb   C                     eth0
10.244.0.3               ether   b2:f9:14:9f:71:29   C                     cni0
172.25.254.2             ether   00:50:56:fc:e0:b9   C                     eth0

1.2.2 flannel支持的后端模式

网络模式

功能

vxlan

报文封装,默认模式

Directrouting

直接路由,跨网段使用vxlan,同网段使用host-gw模式

host-gw

主机网关,性能好,但只能在二层网络中,不支持跨网络 如果有成千上万的Pod,容易产生广播风暴,不推荐

UDP

性能差,不推荐

更改flannel的默认模式

[root@k8s-master ~]# kubectl -n kube-flannel edit cm kube-flannel-cfg
apiVersion: v1
data:cni-conf.json: |{"name": "cbr0","cniVersion": "0.3.1","plugins": [{"type": "flannel","delegate": {"hairpinMode": true,"isDefaultGateway": true}},{"type": "portmap","capabilities": {"portMappings": true}}]}net-conf.json: |{"Network": "10.244.0.0/16","EnableNFTables": false,"Backend": {"Type": "host-gw"           #更改内容}}
#重启pod
[root@k8s-master ~]# kubectl -n kube-flannel delete pod --all
pod "kube-flannel-ds-bk8wp" deleted
pod "kube-flannel-ds-mmftf" deleted
pod "kube-flannel-ds-tmfdn" deleted[root@k8s-master ~]# ip r
default via 172.25.254.2 dev eth0 proto static metric 100
10.244.0.0/24 dev cni0 proto kernel scope link src 10.244.0.1
10.244.1.0/24 via 172.25.254.10 dev eth0
10.244.2.0/24 via 172.25.254.20 dev eth0
172.17.0.0/16 dev docker0 proto kernel scope link src 172.17.0.1 linkdown
172.25.254.0/24 dev eth0 proto kernel scope link src 172.25.254.100 metric 100

1.3 calico网络插件

官网:

Install Calico networking and network policy for on-premises deployments | Calico Documentation

1.3.1 calico简介:

  • 纯三层的转发,中间没有任何的NAT和overlay,转发效率最好。
  • Calico 仅依赖三层路由可达。Calico 较少的依赖性使它能适配所有 VM、Container、白盒或者混合环境场景。

1.3.2 calico网络架构

  • Felix:监听ECTD中心的存储获取事件,用户创建pod后,Felix负责将其网卡、IP、MAC都设置好,然后在内核的路由表里面写一条,注明这个IP应该到这张网卡。同样如果用户制定了隔离策略,Felix同样会将该策略创建到ACL中,以实现隔离。
  • BIRD:一个标准的路由程序,它会从内核里面获取哪一些IP的路由发生了变化,然后通过标准BGP的路由协议扩散到整个其他的宿主机上,让外界都知道这个IP在这里,路由的时候到这里

1.3.3 部署calico

删除flannel插件

[root@K8s-master ~]# kubectl delete  -f kube-flannel.yml

删除所有节点上flannel配置文件,避免冲突

[root@K8s-master ~]# rm -rf /etc/cni/net.d/10-flannel.conflist
[root@K8s-node1 ~]# rm -rf /etc/cni/net.d/10-flannel.conflist
[root@K8s-node2 ~]# rm -rf /etc/cni/net.d/10-flannel.conflist

下载部署文件

[root@k8s-master calico]# curl https://raw.githubusercontent.com/projectcalico/calico/v3.28.1/manifests/calico-typha.yaml -o calico.yaml

下载镜像上传至仓库:

[root@k8s-master ~]# docker pull docker.io/calico/cni:v3.28.1
[root@k8s-master ~]# docker pull docker.io/calico/node:v3.28.1
[root@k8s-master ~]# docker pull docker.io/calico/kube-controllers:v3.28.1
[root@k8s-master ~]# docker pull docker.io/calico/typha:v3.28.1
[root@K8s-master net.d]# docker load -i calico-3.28.1.tar 
Loaded image: calico/cni:v3.28.1
Loaded image: calico/node:v3.28.1
4f27db678727: Loading layer [==================================================>]  75.59MB/75.59MB
Loaded image: calico/kube-controllers:v3.28.1
993f578a98d3: Loading layer [==================================================>]  67.61MB/67.61MB
Loaded image: calico/typha:v3.28.1#上传
[root@K8s-master net.d]# docker tag calico/cni:v3.28.1 reg.harbor.org/calico/cni:v3.28.1
[root@K8s-master net.d]# docker tag calico/node:v3.28.1 reg.harbor.org/calico/node:v3.28.1
[root@K8s-master net.d]# docker tag calico/kube-controllers:v3.28.1 reg.harbor.org/calico/kube-controllers:v3.28.1
[root@K8s-master net.d]# docker tag calico/typha:v3.28.1 reg.harbor.org/calico/typha:v3.28.1[root@K8s-master net.d]# docker push reg.harbor.org/calico/cni:v3.28.1
The push refers to repository [reg.harbor.org/calico/cni]
5f70bf18a086: Mounted from ingress-nginx/controller 
38ba74eb8103: Pushed 
6b2e64a0b556: Pushed 
v3.28.1: digest: sha256:4bf108485f738856b2a56dbcfb3848c8fb9161b97c967a7cd479a60855e13370 size: 946
[root@K8s-master net.d]# docker push reg.harbor.org/calico/node:v3.28.1
The push refers to repository [reg.harbor.org/calico/node]
3831744e3436: Pushed 
v3.28.1: digest: sha256:f72bd42a299e280eed13231cc499b2d9d228ca2f51f6fd599d2f4176049d7880 size: 530
[root@K8s-master net.d]# docker push reg.harbor.org/calico/kube-controllers:v3.28.1
The push refers to repository [reg.harbor.org/calico/kube-controllers]
4f27db678727: Pushed 
6b2e64a0b556: Mounted from calico/cni 
v3.28.1: digest: sha256:8579fad4baca75ce79644db84d6a1e776a3c3f5674521163e960ccebd7206669 size: 740
[root@K8s-master net.d]# docker push reg.harbor.org/calico/typha:v3.28.1
The push refers to repository [reg.harbor.org/calico/typha]
993f578a98d3: Pushed 
6b2e64a0b556: Mounted from calico/kube-controllers 
v3.28.1: digest: sha256:093ee2e785b54c2edb64dc68c6b2186ffa5c47aba32948a35ae88acb4f30108f size: 740

更改yml设置

[root@k8s-master calico]# vim calico.yaml
4835           image: calico/cni:v3.28.1
4835           image: calico/cni:v3.28.1
4906           image: calico/node:v3.28.1
4932           image: calico/node:v3.28.1
5160           image: calico/kube-controllers:v3.28.1
5249         - image: calico/typha:v3.28.14973             - name: CALICO_IPV4POOL_VXLAN
4974               value: "Never"4999             - name: CALICO_IPV4POOL_CIDR
5000               value: "10.244.0.0/16"
5001             - name: CALICO_AUTODETECTION_METHOD
5002               value: "interface=eth0"[root@k8s-master calico]# kubectl apply -f calico.yaml
[root@k8s-master calico]# kubectl -n kube-system get pods
NAME                                       READY   STATUS    RESTARTS       AGE
calico-kube-controllers-6849cb478c-g5h5p   1/1     Running   0              75s
calico-node-dzzjp                          1/1     Running   0              75s
calico-node-ltz7n                          1/1     Running   0              75s
calico-node-wzdnq                          1/1     Running   0              75s
calico-typha-fff9df85f-vm5ks               1/1     Running   0              75s
coredns-647dc95897-nchjr                   1/1     Running   1 (139m ago)   4d7h
coredns-647dc95897-wjbg2                   1/1     Running   1 (139m ago)   4d7h
etcd-k8s-master                            1/1     Running   1 (139m ago)   4d7h
kube-apiserver-k8s-master                  1/1     Running   1 (139m ago)   3d10h
kube-controller-manager-k8s-master         1/1     Running   3 (139m ago)   4d7h
kube-proxy-9g5z2                           1/1     Running   1 (139m ago)   3d10h
kube-proxy-cd5wk                           1/1     Running   1 (139m ago)   3d10h
kube-proxy-mvq4c                           1/1     Running   1 (139m ago)   3d10h
kube-scheduler-k8s-master                  1/1     Running   3 (139m ago)   4d7h

测试:

[root@k8s-master calico]# kubectl run  web --image myapp:v1
pod/web created
[root@K8s-master ~]# kubectl get pods -o wide 
NAME   READY   STATUS    RESTARTS   AGE    IP               NODE        NOMINATED NODE   READINESS GATES
web    1/1     Running   0          7m8s   10.224.169.128   k8s-node2   <none>           <none>
[root@K8s-master ~]# curl 10.224.169.128
Hello MyApp | Version: v1 | <a href="hostname.html">Pod Name</a>

二 k8s调度(Scheduling)

2.1 调度在Kubernetes中的作用

  • 调度是指将未调度的Pod自动分配到集群中的节点的过程
  • 调度器通过 kubernetes 的 watch 机制来发现集群中新创建且尚未被调度到 Node 上的 Pod
  • 调度器会将发现的每一个未调度的 Pod 调度到一个合适的 Node 上来运行

2.2 调度原理:

  • 创建Pod
    • 用户通过Kubernetes API创建Pod对象,并在其中指定Pod的资源需求、容器镜像等信息。
  • 调度器监视Pod
    • Kubernetes调度器监视集群中的未调度Pod对象,并为其选择最佳的节点。
  • 选择节点
    • 调度器通过算法选择最佳的节点,并将Pod绑定到该节点上。调度器选择节点的依据包括节点的资源使用情况、Pod的资源需求、亲和性和反亲和性等。
  • 绑定Pod到节点
    • 调度器将Pod和节点之间的绑定信息保存在etcd数据库中,以便节点可以获取Pod的调度信息。
  • 节点启动Pod
    • 节点定期检查etcd数据库中的Pod调度信息,并启动相应的Pod。如果节点故障或资源不足,调度器会重新调度Pod,并将其绑定到其他节点上运行。

2.3 调度器种类

  • 默认调度器(Default Scheduler):
    • 是Kubernetes中的默认调度器,负责对新创建的Pod进行调度,并将Pod调度到合适的节点上。
  • 自定义调度器(Custom Scheduler):
    • 是一种自定义的调度器实现,可以根据实际需求来定义调度策略和规则,以实现更灵活和多样化的调度功能。
  • 扩展调度器(Extended Scheduler):
    • 是一种支持调度器扩展器的调度器实现,可以通过调度器扩展器来添加自定义的调度规则和策略,以实现更灵活和多样化的调度功能。
  • kube-scheduler是kubernetes中的默认调度器,在kubernetes运行后会自动在控制节点运行

2.4 常用调度方法

2.4.1 nodename

  • nodeName 是节点选择约束的最简单方法,但一般不推荐
  • 如果 nodeName 在 PodSpec 中指定了,则它优先于其他的节点选择方法
  • 使用 nodeName 来选择节点的一些限制
    • 如果指定的节点不存在。
    • 如果指定的节点没有资源来容纳 pod,则pod 调度失败。
    • 云环境中的节点名称并非总是可预测或稳定的

实例:

#建立pod文件
[[root@k8s-master scheduler]# kubectl run  testpod  --image myapp:v1 --dry-run=client -o yaml > pod1.yml#设置调度
[root@k8s-master scheduler]# vim pod1.yml
apiVersion: v1
kind: Pod
metadata:labels:run: testpodname: testpod
spec:nodeName: k8s-node2containers:- image: myapp:v1name: testpod#建立pod
[root@K8s-master scheduler]# kubectl apply -f pod1.yml
pod/testpod created[root@K8s-master scheduler]# kubectl get pods  -o wide
NAME      READY   STATUS    RESTARTS   AGE   IP               NODE        NOMINATED NODE   READINESS GATES
testpod   1/1     Running   0          5s    10.224.169.129   k8s-node2   <none>           <none>

nodeName: k8s3 #找不到节点pod会出现pending,优先级最高,其他调度方式无效

2.4.2 Nodeselector(通过标签控制节点)

  • nodeSelector 是节点选择约束的最简单推荐形式

给选择的节点添加标签:

  • kubectl label nodes k8s-node1 lab=lee
  • 可以给多个节点设定相同标签

示例:

#查看节点标签
[root@K8s-master scheduler]# kubectl get nodes --show-labels
NAME         STATUS   ROLES           AGE     VERSION   LABELS
k8s-master   Ready    control-plane   6d21h   v1.30.0   beta.kubernetes.io/arch=amd64,beta.kubernetes.io/os=linux,kubernetes.io/arch=amd64,kubernetes.io/hostname=k8s-master,kubernetes.io/os=linux,node-role.kubernetes.io/control-plane=,node.kubernetes.io/exclude-from-external-load-balancers=
k8s-node1    Ready    <none>          6d21h   v1.30.0   beta.kubernetes.io/arch=amd64,beta.kubernetes.io/os=linux,kubernetes.io/arch=amd64,kubernetes.io/hostname=k8s-node1,kubernetes.io/os=linux
k8s-node2    Ready    <none>          6d21h   v1.30.0   beta.kubernetes.io/arch=amd64,beta.kubernetes.io/os=linux,kubernetes.io/arch=amd64,kubernetes.io/hostname=k8s-node2,kubernetes.io/os=linux#设定节点标签
[root@K8s-master scheduler]# kubectl label nodes k8s-node1 lab=haha
node/k8s-node1 labeled[root@K8s-master scheduler]# kubectl get nodes k8s-node1 --show-labels
NAME        STATUS   ROLES    AGE     VERSION   LABELS
k8s-node1   Ready    <none>   6d21h   v1.30.0   beta.kubernetes.io/arch=amd64,beta.kubernetes.io/os=linux,kubernetes.io/arch=amd64,kubernetes.io/hostname=k8s-node1,kubernetes.io/os=linux,lab=haha#调度设置
[root@k8s-master scheduler]# vim pod2.yml
apiVersion: v1
kind: Pod
metadata:labels:run: testpodname: testpod
spec:nodeSelector:lab: hahacontainers:- image: myapp:v1name: testpod[root@K8s-master scheduler]# kubectl apply -f pod2.yml
pod/testpod created
[root@K8s-master scheduler]# kubectl get pods  -o wide
NAME      READY   STATUS    RESTARTS   AGE   IP             NODE        NOMINATED NODE   READINESS GATES
testpod   1/1     Running   0          10s   10.224.36.65   k8s-node1   <none>           <none>

节点标签可以给N个节点加

2.5 affinity(亲和性)

官方文档 :

将 Pod 指派给节点 | Kubernetes

2.5.1 亲和与反亲和

  • nodeSelector 提供了一种非常简单的方法来将 pod 约束到具有特定标签的节点上。亲和/反亲和功能极大地扩展了你可以表达约束的类型。
  • 使用节点上的 pod 的标签来约束,而不是使用节点本身的标签,来允许哪些 pod 可以或者不可以被放置在一起。

你去哪我去哪就是亲和,你去哪我不去就是反亲和

2.5.2 nodeAffinity节点亲和

  • 那个节点服务指定条件就在那个节点运行
  • requiredDuringSchedulingIgnoredDuringExecution 必须满足,但不会影响已经调度
  • preferredDuringSchedulingIgnoredDuringExecution 倾向满足,在无法满足情况下也会调度pod
    • IgnoreDuringExecution 表示如果在Pod运行期间Node的标签发生变化,导致亲和性策略不能满足,则继续运行当前的Pod。
  • nodeaffinity还支持多种规则匹配条件的配置如

匹配规则

功能

ln

label 的值在列表内

Notln

label 的值不在列表内

Gt

label 的值大于设置的值,不支持Pod亲和性

Lt

label 的值小于设置的值,不支持pod亲和性

Exists

设置的label 存在

DoesNotExist

设置的 label 不存在

nodeAffinity示例

#示例1 
[root@k8s-master scheduler]# vim pod3.yml
apiVersion: v1
kind: Pod
metadata:name: node-affinity
spec:containers:- name: nginximage: nginxaffinity:nodeAffinity:requiredDuringSchedulingIgnoredDuringExecution:nodeSelectorTerms:- matchExpressions:- key: diskoperator: In | NotIn			#两个结果相反values:- ssd

apiVersion: v1
kind: Pod
metadata:name: node-affinity
spec:containers:- name: nginximage: nginxaffinity:nodeAffinity:requiredDuringSchedulingIgnoredDuringExecution:nodeSelectorTerms:- matchExpressions:- key: laboperator: In values:- haha[root@K8s-master scheduler]# kubectl apply -f pod3.yml 
pod/node-affinity created
[root@K8s-master scheduler]# kubectl get pods  -o wide
NAME            READY   STATUS    RESTARTS   AGE   IP             NODE        NOMINATED NODE   READINESS GATES
node-affinity   1/1     Running   0          4s    10.224.36.66   k8s-node1   <none>           <none>

取反的话

[root@K8s-master scheduler]# vim pod3.yml 
apiVersion: v1
kind: Pod
metadata:name: node-affinity
spec:containers:- name: nginximage: nginxaffinity:nodeAffinity:requiredDuringSchedulingIgnoredDuringExecution:nodeSelectorTerms:- matchExpressions:- key: laboperator: NotInvalues:- haha
[root@K8s-master scheduler]# kubectl apply -f pod3.yml 
pod/node-affinity created
[root@K8s-master scheduler]# kubectl get pods  -o wide
NAME            READY   STATUS    RESTARTS   AGE   IP               NODE        NOMINATED NODE   READINESS GATES
node-affinity   1/1     Running   0          3s    10.224.169.130   k8s-node2   <none>           <none>

2.5.3 Podaffinity(pod的亲和)

  • 那个节点有符合条件的POD就在那个节点运行
  • podAffinity 主要解决POD可以和哪些POD部署在同一个节点中的问题
  • podAntiAffinity主要解决POD不能和哪些POD部署在同一个节点中的问题。它们处理的是Kubernetes集群内部POD和POD之间的关系。
  • Pod 间亲和与反亲和在与更高级别的集合(例如 ReplicaSets,StatefulSets,Deployments 等)一起使用时,
  • Pod 间亲和与反亲和需要大量的处理,这可能会显著减慢大规模集群中的调度。

Podaffinity示例

[root@k8s-master scheduler]# vim example4.yml
apiVersion: apps/v1
kind: Deployment
metadata:name: nginx-deploymentlabels:app: nginx
spec:replicas: 3selector:matchLabels:app: nginxtemplate:metadata:labels:app: nginxspec:containers:- name: nginximage: nginxaffinity:podAffinity:requiredDuringSchedulingIgnoredDuringExecution:- labelSelector:matchExpressions:- key: appoperator: Invalues:- nginxtopologyKey: "kubernetes.io/hostname"[root@K8s-master scheduler]# kubectl get pods  -o wide
NAME                               READY   STATUS    RESTARTS   AGE   IP               NODE        NOMINATED NODE   READINESS GATES
nginx-deployment-658496fff-5k9br   1/1     Running   0          2s    10.224.169.132   k8s-node2   <none>           <none>
nginx-deployment-658496fff-gstbm   1/1     Running   0          2s    10.224.169.133   k8s-node2   <none>           <none>
nginx-deployment-658496fff-xb624   1/1     Running   0          2s    10.224.169.131   k8s-node2   <none>           <none>

2.5.4 Podantiaffinity(pod反亲和)

Podantiaffinity示例

[root@k8s-master scheduler]# vim example5.yml
apiVersion: apps/v1
kind: Deployment
metadata:name: nginx-deploymentlabels:app: nginx
spec:replicas: 3selector:matchLabels:app: nginxtemplate:metadata:labels:app: nginxspec:containers:- name: nginximage: nginxaffinity:podAntiAffinity:		#反亲和requiredDuringSchedulingIgnoredDuringExecution:- labelSelector:matchExpressions:- key: appoperator: Invalues:- nginxtopologyKey: "kubernetes.io/hostname"[root@K8s-master scheduler]# kubectl apply -f example5.yml 
deployment.apps/nginx-deployment created
[root@K8s-master scheduler]# kubectl get pods  -o wide
NAME                                READY   STATUS    RESTARTS   AGE   IP               NODE        NOMINATED NODE   READINESS GATES
nginx-deployment-5f5fc7b8b9-2np8d   0/1     Pending   0          4s    <none>           <none>      <none>           <none>
nginx-deployment-5f5fc7b8b9-7dv7m   1/1     Running   0          4s    10.224.169.134   k8s-node2   <none>           <none>
nginx-deployment-5f5fc7b8b9-pvcp5   1/1     Running   0          4s    10.224.36.67     k8s-node1   <none>           <none>

2.6 Taints(污点模式,禁止调度)

  • Taints(污点)是Node的一个属性,设置了Taints后,默认Kubernetes是不会将Pod调度到这个Node上
  • Kubernetes如果为Pod设置Tolerations(容忍),只要Pod能够容忍Node上的污点,那么Kubernetes就会忽略Node上的污点,就能够(不是必须)把Pod调度过去
  • 可以使用命令 kubectl taint 给节点增加一个 taint:
$ kubectl taint nodes <nodename> key=string:effect   #命令执行方法
$ kubectl taint nodes node1 key=value:NoSchedule    #创建
$ kubectl describe nodes server1 | grep Taints        #查询
$ kubectl taint nodes node1 key-                  #删除

查看污点

其中[effect] 可取值:

effect值

解释

NoSchedule

POD 不会被调度到标记为 taints 节点,但是运行的pod不会被删除

PreferNoSchedule

NoSchedule 的软策略版本,尽量不调度到此节点

NoExecute

如该节点内正在运行的 POD 没有对应 Tolerate 设置,会直接被逐出,调度到新的pod

Taints示例
#建立控制器并运行
[root@k8s-master scheduler]# vim example6.yml
apiVersion: apps/v1
kind: Deployment
metadata:labels:app: webname: web
spec:replicas: 2selector:matchLabels:app: webtemplate:metadata:labels:app: webspec:containers:- image: nginxname: nginx[root@K8s-master scheduler]# kubectl apply -f example6.yml
deployment.apps/web created[root@K8s-master scheduler]# kubectl get pods  -o wide
NAME                   READY   STATUS    RESTARTS   AGE   IP               NODE        NOMINATED NODE   READINESS GATES
web-7c56dcdb9b-2j4pf   1/1     Running   0          5s    10.224.36.68     k8s-node1   <none>           <none>
web-7c56dcdb9b-j4q8q   1/1     Running   0          5s    10.224.169.135   k8s-node2   <none>           <none>#查看污点
[root@K8s-master scheduler]# kubectl describe nodes  | grep Taints
Taints:             node-role.kubernetes.io/control-plane:NoSchedule
Taints:             <none>
Taints:             <none>#设定污点为NoSchedule
[root@k8s-master scheduler]# kubectl taint node k8s-node1 name=lee:NoSchedule
node/k8s-node1 tainted
[root@k8s-master scheduler]# kubectl describe nodes k8s-node1 | grep Tain
Taints:             name=lee:NoSchedule#控制器增加pod
[root@k8s-master scheduler]# kubectl get pod -o wide
NAME                   READY   STATUS    RESTARTS   AGE     IP               NODE        NOMINATED NODE   READINESS GATES
web-7c56dcdb9b-4l759   1/1     Running   0          6s      10.244.169.140   k8s-node2   <none>           <none>
web-7c56dcdb9b-9wwdg   1/1     Running   0          6m35s   10.244.36.68     k8s-node1   <none>           <none>
web-7c56dcdb9b-bqd75   1/1     Running   0          6s      10.244.169.141   k8s-node2   <none>           <none>
web-7c56dcdb9b-m8kx8   1/1     Running   0          6s      10.244.169.138   k8s-node2   <none>           <none>
web-7c56dcdb9b-qsx6w   1/1     Running   0          6m35s   10.244.169.137   k8s-node2   <none>           <none>
web-7c56dcdb9b-rhft4   1/1     Running   0          6s      10.244.169.139   k8s-node2   <none>           <none>#设定污点为NoExecute
[root@K8s-master scheduler]# kubectl taint node k8s-node1 name=lee:NoExecute
node/k8s-node1 tainted
[root@K8s-master scheduler]# kubectl describe nodes  | grep Taints
Taints:             node-role.kubernetes.io/control-plane:NoSchedule
Taints:             name=lee:NoExecute
Taints:             <none>[root@K8s-master scheduler]# kubectl get pods  -o wide
NAME                   READY   STATUS    RESTARTS   AGE    IP               NODE        NOMINATED NODE   READINESS GATES
web-7c56dcdb9b-fdjdl   1/1     Running   0          28s    10.224.169.137   k8s-node2   <none>           <none>
web-7c56dcdb9b-j4q8q   1/1     Running   0          9m5s   10.224.169.135   k8s-node2   <none>           <none>#删除污点
[root@K8s-master scheduler]# kubectl taint node k8s-node1 name-
node/k8s-node1 untainted
[root@K8s-master scheduler]# kubectl describe nodes  | grep Taints
Taints:             node-role.kubernetes.io/control-plane:NoSchedule
Taints:             <none>
Taints:             <none>

加污点之前

之后

删除污点

tolerations(污点容忍)
  • tolerations中定义的key、value、effect,要与node上设置的taint保持一直:
    • 如果 operator 是 Equal ,则key与value之间的关系必须相等。
    • 如果 operator 是 Exists ,value可以省略
    • 如果不指定operator属性,则默认值为Equal。
  • 还有两个特殊值:
    • 当不指定key,再配合Exists 就能匹配所有的key与value ,可以容忍所有污点。
    • 当不指定effect ,则匹配所有的effect
污点容忍示例:

#容忍所有污点

#设定节点污点
[root@K8s-master scheduler]# kubectl taint node k8s-node1 name=haha:NoExecute
node/k8s-node1 tainted
[root@K8s-master scheduler]# kubectl taint node k8s-node2 nodetype=bad:NoSchedule
node/k8s-node2 tainted[root@K8s-master scheduler]# vim example7.yml
apiVersion: apps/v1
kind: Deployment
metadata:labels:app: webname: web
spec:replicas: 6selector:matchLabels:app: webtemplate:metadata:labels:app: webspec:containers:- image: nginxname: nginxtolerations:             #容忍所有污点                   - operator: Exists[root@K8s-master scheduler]# kubectl apply -f example7.yml
deployment.apps/web unchanged[root@K8s-master scheduler]# kubectl get pods  -o wide
'NAME                   READY   STATUS    RESTARTS   AGE   IP               NODE         NOMINATED NODE   READINESS GATES
web-7f64586499-7p77j   1/1     Running   0          37s   10.224.235.192   k8s-master   <none>           <none>
web-7f64586499-hnprf   1/1     Running   0          37s   10.224.36.70     k8s-node1    <none>           <none>
web-7f64586499-m4h2b   1/1     Running   0          37s   10.224.169.139   k8s-node2    <none>           <none>
web-7f64586499-rhzp4   1/1     Running   0          37s   10.224.235.193   k8s-master   <none>           <none>
web-7f64586499-sdmh7   1/1     Running   0          37s   10.224.36.69     k8s-node1    <none>           <none>
web-7f64586499-zcffr   1/1     Running   0          37s   10.224.169.140   k8s-node2    <none>           <none>

#容忍effect为Noschedule的污点

[root@k8s-master scheduler]# vim example7.yml
apiVersion: apps/v1
kind: Deployment
metadata:labels:app: webname: web
spec:replicas: 6selector:matchLabels:app: webtemplate:metadata:labels:app: webspec:containers:- image: nginxname: nginxtolerations:          #容忍effect为Noschedule的污点                       - operator: Existseffect: NoSchedule [root@K8s-master scheduler]# kubectl apply -f example7.yml
deployment.apps/web created
[root@K8s-master scheduler]# kubectl get pods  -o wide
NAME                   READY   STATUS              RESTARTS   AGE   IP               NODE         NOMINATED NODE   READINESS GATES
web-55857fd445-7vx26   0/1     ContainerCreating   0          2s    <none>           k8s-master   <none>           <none>
web-55857fd445-82rbd   0/1     ContainerCreating   0          2s    <none>           k8s-node2    <none>           <none>
web-55857fd445-cnfxw   1/1     Running             0          2s    10.224.169.141   k8s-node2    <none>           <none>
web-55857fd445-gjfch   0/1     ContainerCreating   0          2s    <none>           k8s-master   <none>           <none>
web-55857fd445-p86rg   0/1     ContainerCreating   0          2s    <none>           k8s-node2    <none>           <none>
web-55857fd445-zz8ht   0/1     ContainerCreating   0          2s    <none>           k8s-master   <none>           <none>

#容忍指定kv的NoSchedule污点

[root@K8s-master scheduler]# vim example7.yml
apiVersion: apps/v1
kind: Deployment
metadata:labels:app: webname: web
spec:replicas: 6selector:matchLabels:app: webtemplate:metadata:labels:app: webspec:containers:- image: nginxname: nginxtolerations:                #容忍指定kv的NoSchedule污点                - key: nodetypevalue: badeffect: NoSchedule[root@K8s-master scheduler]# kubectl apply -f example7.yml
deployment.apps/web configured[root@K8s-master scheduler]# kubectl get pods  -o wide
NAME                READY   STATUS    RESTARTS   AGE   IP               NODE        NOMINATED NODE   READINESS GATES
web-d76674b-bdsmf   1/1     Running   0          4s    10.224.169.149   k8s-node2   <none>           <none>
web-d76674b-bh2nt   1/1     Running   0          6s    10.224.169.144   k8s-node2   <none>           <none>
web-d76674b-hjp5j   1/1     Running   0          6s    10.224.169.146   k8s-node2   <none>           <none>
web-d76674b-jtthw   1/1     Running   0          6s    10.224.169.145   k8s-node2   <none>           <none>
web-d76674b-m6bnj   1/1     Running   0          4s    10.224.169.147   k8s-node2   <none>           <none>
web-d76674b-znw7g   1/1     Running   0          4s    10.224.169.148   k8s-node2   <none>           <none>

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/422969.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

yarn运行机制原理

1.客户端将任务提交给resourceManager 2.resourceManager接受任务请求 3.resourceManager在nodeManager上寻找一个比较空闲的节点&#xff0c; 通知启动一个appMaster&#xff0c;将任务信息发送给appMaster 等待appMaster启动成功 如果启动失败&#xff0c;认为当前任务直接报…

鱼类检测-目标检测数据集(包括VOC格式、YOLO格式)

鱼类检测-目标检测数据集&#xff08;包括VOC格式、YOLO格式&#xff09; 数据集&#xff1a; 链接&#xff1a;https://pan.baidu.com/s/1B4o8IgOmAWeQJDWpJWxqXg?pwdjaco 提取码&#xff1a;jaco 数据集信息介绍&#xff1a; 共有 2848 张图像和一一对应的标注文件 标注文…

Fake Location模拟定位,刷跑 “运动世界校园”

前言:"科技改变生活&#xff0c;如果本文章对你有帮助&#xff0c;别忘记留下你的点赞&#xff0c;以下我对环境特变刁钻的运动世界校园为实例&#xff0c;也是成功安全正常上传数据&#xff0c;如果遇到问题&#xff0c;请留言评论区&#xff0c;所有链接我会放在文章头部…

二叉树进阶——二叉搜索树

关于二叉树的基本概念与内容作者在之前的数据结果初阶系列均有讲解&#xff0c;需要的小伙伴可以去作者的往期博客里查看。本篇内容算是对二叉树内容部分的收尾。 一、什么是二叉搜索树 二叉搜索树又称二叉排序树&#xff0c;它或者是一棵空树&#xff0c;或者是具有以下性质…

How to implement custom environment in keras-rl / OpenAI GYM?

题意&#xff1a;如何在 Keras-RL / OpenAI GYM 中实现自定义环境&#xff1f; 问题背景&#xff1a; Im a complete newbie to Reinforcement Learning and have been searching for a framework/module to easily navigate this treacherous terrain. In my search Ive come…

axure判断

在auxre中我们也可以实现判断的功能&#xff0c;当目标等于什么内容时则执行下方的功能。 一、判断输入框中是否有值 画布添加一个输入框、一个文本标签删除其中内容&#xff0c;添加一个按钮&#xff0c;输入框命名为【文本显示】文本标签命名为【提示】 给按钮新增一个交互…

缓存预热/雪崩/穿透/击穿

1. 缓存预热 预先将MySQL中的数据同步至Redis的过程 2. 缓存雪崩 Redis主机出现故障&#xff0c;或有大量的key同时过期大面积失效导致Redis不可用 Redis中key设置为永不过期&#xff0c;或者过期时间错开Redis缓存集群实现高可用多缓存结合预防雪崩服务降级 3. 缓存穿透 …

消息队列面试

一、基础实战 &#xff08;一&#xff09;MQ的作用&#xff1a;异步、解耦、流量削峰填谷 &#xff08;二&#xff09;MQ应用场景 传统的金融项目一般使用IBMMQ&#xff08;收费&#xff09;&#xff0c;比如某丰银行项目。ActiveMQ已经成为历史&#xff0c;因为现在很少使用…

Redis 篇-深入了解基于 Redis 实现消息队列(比较基于 List 实现消息队列、基于 PubSub 发布订阅模型之间的区别)

&#x1f525;博客主页&#xff1a; 【小扳_-CSDN博客】 ❤感谢大家点赞&#x1f44d;收藏⭐评论✍ 文章目录 1.0 消息队列的认识 2.0 基于 List 实现消息队列 2.1 基于 List 实现消息队列的优缺点 3.0 基于 PubSub 实现消息队列 3.1 基于 PubSub 的消息队列优缺点 4.0 基于 St…

Unity数据持久化 之 使用Excel.DLL读写Excel表格

本文仅作笔记学习和分享&#xff0c;不用做任何商业用途 本文包括但不限于unity官方手册&#xff0c;unity唐老狮等教程知识&#xff0c;如有不足还请斧正​​ 终于找到一个比较方便容易读表的方式了&#xff0c;以前用json读写excel转的cvs格式文件我怎么使用怎么别扭&#xf…

AlmaLinux 9 上配置静态 IP 地址

在 Rocky Linux 9 中&#xff0c;密钥文件的新默认存储位置在 /etc/NetworkManager/system-connections 中 cd /etc/NetworkManager/system-connections默认dhcp配置 ~ …

免费SSL证书正在逐渐被淘汰,证书部署自动化的发展趋势即将到来!

目录 背景解决方案。1.使用自签证书&#xff08;浏览器报警、免费&#xff09;2.更换支持自签自续的CA机构&#xff08;免费&#xff09;3.付费选择CA机构 免费SSL证书正在逐渐被淘汰&#xff0c;证书部署自动化的发展趋势即将到来免费的SSL证书有以下弊端1.有效期短&#xff1…

stm32驱动开发与linux驱动的区别

stm32&#xff0c;gpio设置原理 下图&#xff0c;定义了gpio E的基地址&#xff0c;只要将这个地址强制转换成gpiotypedf的类型&#xff0c;解析时&#xff0c;结构体地址就会自增。这样就可以对不同gpio组&#xff0c;就像定义。 全部gpio定义&#xff0c;强制为结构体类型…

Linux CentOS更换阿里云源解决Could not retrieve mirrorlist http://mirrorlist.centos.org

Linux CentOS7 更新yum 操作的时候出现这个问题&#xff1a; Loading mirror speeds from cached hostfile Could not retrieve mirrorlist http://mirrorlist.centos.org 然后我执行 grep -nr "mirrorlist.centos.org" /etc/yum.repos.d/* 出现 这个问题时可以…

搭建 WordPress 及常见问题与解决办法

浪浪云活动链接 &#xff1a;https://langlangy.cn/?i8afa52 文章目录 环境准备安装 LAMP 堆栈 (Linux, Apache, MySQL, PHP)配置 MySQL 数据库 安装 WordPress配置 WordPress常见问题及解决办法数据库连接错误白屏问题插件或主题冲突内存限制错误 本文旨在介绍如何在服务器上…

爬虫使用代理IP后报错?解决方案在这里!

在数据抓取的过程中&#xff0c;使用代理IP是避免被封禁、提高抓取效率的重要手段。然而&#xff0c;有时候即使配置了代理IP&#xff0c;依然会遇到各种报错问题。本文将详细解析常见的报错类型&#xff0c;并提供解决方案&#xff0c;帮助你顺利进行数据抓取。 常见报错类型…

MySQL表的操作与数据类型

目录 前言 一、表的操作 1.创建一个表 2.查看表的结构 3.修改表 4.删除一个表 二、 MySQL的数据类型 0.数据类型一览&#xff1a; 1.整数类型 2.位类型 3.小数类型 4.字符类型 前言 在MySQL库的操作一文中介绍了有关MySQL库的操作&#xff0c;本节要讲解的是由库管理的结构——…

智能体 vs AI智能体:区别与联系,一文读懂!

​ 在AI技术蓬勃发展的今天&#xff0c;“智能体”&#xff08;Agent&#xff09;和”AI智能体”&#xff08;AI Agent&#xff09;两个概念经常被提及&#xff0c;二者在很多场合下会被混淆&#xff0c;但其实它们有着不同的定义和应用。我觉得很有必要小小科普下两者的定义与…

软件测试学习笔记丨Pytest的使用

本文转自测试人社区&#xff0c;原文链接&#xff1a;https://ceshiren.com/t/topic/22158 1. 简介 pytest是一个成熟的全功能python测试框架测试用例的skip和xfail&#xff0c;自动失败重试等处理能够支持简单的单元测试和复杂的功能测试&#xff0c;还可以用来做selenium/ap…

HTML的块级元素与行内元素

在HTML中&#xff0c;元素可以分为两大类&#xff1a;块级元素&#xff08;block-level elements&#xff09;和行内元素&#xff08;inline elements&#xff09;。这两种类型的元素在网页布局和呈现中扮演着不同的角色。 块级元素&#xff08;Block-level Elements&#xff…