创建一个新的model虚拟机,处理器为2,硬盘为40G
使用model主机克隆三台新的主机,名称分别为k8s_master,k8s_node01,k8s_node02,运行环境脚本,设置ip地址和名称,IP地址分别为66、77、88,并设置免密登录。
编号 | 主机名称 | ip | 配置 |
1 | k8s-master | 192.168.2.66 | |
2 | k8s-node01 | 192.168.2.77 | |
3 | k8s-node02 | 192.168.2.88 |
步骤:
- 创建主机,设置ip,hostname,关闭firewalld,selinux,Netmanager
- 设置主机之间的ssh免密
k8s-master:
ssh-keygen
ssh-copy-id root@node01的ip x.x.x.77
ssh-copy-id root@node02的ip x.x.x.88
- yum源配置
直接将文件放到/etc/yum.repos.d/下面,三个主机都需要这一步
- docekr-ce.repo
- kuberntes.repo
- 清空以及创建缓存
yum clean all && yum makecache
4.主机映射
三台主机都需要做
vim /etc/hosts
192.168.2.66 k8s-master
192.168.2.77 k8s-node01
192.168.2.88 k8s-node02
主机之间可使用主机名进行互相ping通
5.三个节点安装必备工具
yum install wget jq psmisc vim net-tools telnet yum-utils device-mapper-persistent-data lvm2 git tree -y
6.三个节点关闭firewalld NetworkManager Selinux SWAP虚拟分区
systemctl disable --now firewalld
systemctl disable --now NetworkManager
setenforce 0
swapoff -a && sysctl -w vm.swappiness=0
sed -ri '/^[^#]*swap/s@^@#@' /etc/fstab
7.三个节点同步时间,同时设置计划任务
yum -y install ntpdate
ntpdate time2.aliyun.com
设置计划任务
crontab -e
* /5 * * * * /usr/sbin/ntpdate time2.aliyun.com
which ntpdate
crontab -l
8.配置limit访问极限
三个主机都配置允许的最大访问数
ulimit -SHn 65535
vim /etc/security/limits.conf
在末尾添加如下内容:
* soft nofile 65536
* hard nofile 131072
* soft nproc 65535
* hard nproc 655350
* soft memlock unlimited
* hard memlock unlimited
9.三个节点下载yaml文件(从gitee上下载),配置pod的yaml文件和docekr-compose.yaml的文件相似,等我k8s架构搭建完成之后,添加功能性pod时候使用。
这个仓库里面全都是配置文件
cd /root/ ; git clone k8s-ha-install: 高可用安装k8s集群文件,参考https://edu.51cto.com/course/23845.html
10.三个节点配置ipvs
yum install ipvsadm ipset sysstat conntrack libseccomp -y
加载内核模块
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack
vim /etc/modules-load.d/ipvs.conf
# 在系统启动时加载下列 IPVS 和相关功能所需的模块
ip_vs # 负载均衡模块
ip_vs_lc # 用于实现基于连接数量的负载均衡算法
ip_vs_wlc # 用于实现带权重的最少连接算法的模块
ip_vs_rr # 负载均衡rr算法模块
ip_vs_wrr # 负载均衡wrr算法模块
ip_vs_lblc # 负载均衡算法,它结合了最少连接(LC)算法和基于偏置的轮询(Round Robin with Bias)算法
ip_vs_lblcr # 用于实现基于链路层拥塞状况的最少连接负载调度算法的模块
ip_vs_dh # 用于实现基于散列(Hashing)的负载均衡算法的模块
ip_vs_sh # 用于源端负载均衡的模块
ip_vs_fo # 用于实现基于本地服务的负载均衡算法的模块
ip_vs_nq # 用于实现NQ算法的模块
ip_vs_sed # 用于实现随机早期检测(Random Early Detection)算法的模块
ip_vs_ftp # 用于实现FTP服务的负载均衡模块
ip_vs_sh
nf_conntrack # 用于跟踪网络连接的状态的模块
ip_tables # 用于管理防护墙的机制
ip_set # 用于创建和管理IP集合的模块
xt_set # 用于处理IP数据包集合的模块,提供了与iptables等网络工具的接口
ipt_set # 用于处理iptables规则集合的模块
ipt_rpfilter # 用于实现路由反向路径过滤的模块
ipt_REJECT # iptables模块之一,用于将不符合规则的数据包拒绝,并返回特定的错误码
ipip # 用于实现IP隧道功能的模块,使得数据可以在两个网络之间进行传输
systemctl enable --now systemd-modules-load.service # 开机自启systemd默认提供的网络管理服务
The unit files have no installation config (WantedBy, RequiredBy, Also, Alias
settings in the [Install] section, and DefaultInstance for template units).
This means they are not meant to be enabled using systemctl.
Possible reasons for having this kind of units are:
1) A unit may be statically enabled by being symlinked from another unit's
.wants/ or .requires/ directory.
lsmod | grep -e ip_vs -e nf_conntrack # 查看已写入加载的模块
ip_vs_sh 16384 0
ip_vs_wrr 16384 0
ip_vs_rr 16384 0
ip_vs 172032 6 ip_vs_rr,ip_vs_sh,ip_vs_wrr
nf_conntrack 172032 4 xt_conntrack,nf_nat,ipt_MASQUERADE,ip_vs
nf_defrag_ipv6 20480 2 nf_conntrack,ip_vs
nf_defrag_ipv4 16384 1 nf_conntrack
libcrc32c 16384 5 nf_conntrack,nf_nat,nf_tables,xfs,ip_vs
11.三个节点k8s的内核加载
vim /etc/sysctl.d/k8s.conf
# 写入k8s所需内核模块
net.bridge.bridge-nf-call-iptables = 1 # 控制网络桥接与iptables之间的网络转发行为
net.bridge.bridge-nf-call-ip6tables = 1 # 用于控制网络桥接(bridge)的IP6tables过滤规则。当该参数设置为1时,表示启用对网络桥接的IP6tables过滤规则
fs.may_detach_mounts = 1 # 用于控制文件系统是否允许分离挂载,1表示允许
net.ipv4.conf.all.route_localnet = 1 # 允许本地网络上的路由。设置为1表示允许,设置为0表示禁止。
vm.overcommit_memory=1 # 控制内存分配策略。设置为1表示允许内存过量分配,设置为0表示不允许。
vm.panic_on_oom=0 # 决定当系统遇到内存不足(OOM)时是否产生panic。设置为0表示不产生panic,设置为1表示产生panic。
fs.inotify.max_user_watches=89100 # inotify可以监视的文件和目录的最大数量。
fs.file-max=52706963 # 系统级别的文件描述符的最大数量。
fs.nr_open=52706963 # 单个进程可以打开的文件描述符的最大数量。
net.netfilter.nf_conntrack_max=2310720 # 网络连接跟踪表的最大大小。
net.ipv4.tcp_keepalive_time = 600 # TCP保活机制发送探测包的间隔时间(秒)。
net.ipv4.tcp_keepalive_probes = 3 # TCP保活机制发送探测包的最大次数。
net.ipv4.tcp_keepalive_intvl =15 # TCP保活机制在发送下一个探测包之前等待响应的时间(秒)。
net.ipv4.tcp_max_tw_buckets = 36000 # TCP TIME_WAIT状态的bucket数量。
net.ipv4.tcp_tw_reuse = 1 # 允许重用TIME_WAIT套接字。设置为1表示允许,设置为0表示不允许。
net.ipv4.tcp_max_orphans = 327680 # 系统中最大的孤套接字数量。
net.ipv4.tcp_orphan_retries = 3 # 系统尝试重新分配孤套接字的次数。
net.ipv4.tcp_syncookies = 1 # 用于防止SYN洪水攻击。设置为1表示启用SYN cookies,设置为0表示禁用。
net.ipv4.tcp_max_syn_backlog = 16384 # SYN连接请求队列的最大长度。
net.ipv4.ip_conntrack_max = 65536 # IP连接跟踪表的最大大小。
net.ipv4.tcp_max_syn_backlog = 16384 # 系统中最大的监听队列的长度。
net.ipv4.tcp_timestamps = 0 # 用于关闭TCP时间戳选项。
net.core.somaxconn = 16384 # 用于设置系统中最大的监听队列的长度
[root@k8s-master ~]# reboot
# 保存后,所有节点重启,保证重启后内核依然加载
使用MobaXterm工具,按r重新连接一次
[root@k8s-master ~]# lsmod | grep --color=auto -e ip_vs -e nf_conntrack
ip_vs_ftp 16384 0
nf_nat 45056 3 ipt_MASQUERADE,nft_chain_nat,ip_vs_ftp
ip_vs_sed 16384 0
ip_vs_nq 16384 0
ip_vs_fo 16384 0
ip_vs_sh 16384 0
ip_vs_dh 16384 0
ip_vs_lblcr 16384 0
ip_vs_lblc 16384 0
ip_vs_wrr 16384 0
ip_vs_rr 16384 0
ip_vs_wlc 16384 0
ip_vs_lc 16384 0
ip_vs 172032 25 ip_vs_wlc,ip_vs_rr,ip_vs_dh,ip_vs_lblcr,ip_vs_sh,ip_vs_fo,ip_vs_nq,ip_vs_lblc,ip_vs_wrr,ip_vs_lc,ip_vs_sed,ip_vs_ftp
nf_conntrack 172032 4 xt_conntrack,nf_nat,ipt_MASQUERADE,ip_vs
nf_defrag_ipv6 20480 2 nf_conntrack,ip_vs
nf_defrag_ipv4 16384 1 nf_conntrack
libcrc32c 16384 5 nf_conntrack,nf_nat,nf_tables,xfs,ip_vs
12.三个节点下载podman、安装docker-ce、docker-ce-cli、containerd.io
卸载之前的
yum -y remove podman containerd
重新安装新的
yum -y install docker-ce docker-ce-cli containerd.io
13.三个节点配置containerd需要的核心模块overlay、br_netfilter
cat <<EOF | sudo tee /etc/modules-load.d/containerd.conf
>overlay
>br_netfilter
>EOF
[root@k8s-master ~]# modprobe -- overlay
[root@k8s-master ~]# modprobe -- br_netfilter
cat <<EOF | sudo tee /etc/sysctl.d/99-kubernetes-cri.conf
> net.bridge.bridge-nf-call-iptables = 1 # 用于控制网络桥接是否调用iptables进行包过滤和转发。
> net.ipv4.ip_forward = 1 # 路由转发,1为开启
> net.bridge.bridge-nf-call-ip6tables = 1 # 控制是否在桥接接口上调用IPv6的iptables进行数据包过滤和转发。
> EOF
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
net.bridge.bridge-nf-call-ip6tables = 1
[root@k8s-master ~]# sysctl --system
14.三个节点配置contained配置文件
containerd config default | tee /etc/containerd/config.toml
vim /etc/containerd/config.toml
…
63 sandbox_image = “registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.9”
…
127 SystemdCgroup = true
…
保存退出
启动containerd
systemctl enable --now containerd.service
查看状态
systemctl status containerd.service
15.三个节点配置crictl客户端连接的运行位置
cat > /etc/crictl.yaml <<EOF
>runtime-endpoint: unix:///run/containerd/containerd.sock
>image-endpoint: unix:///run/containerd/containerd.sock
>timeout: 10
>debug:false
>EOF
16.三个节点安装kubernetes组件
yum -y install kubeadm-1.28* kubectl-1.28* kublet-1.28*
systemctl daemon-reload
systemctl enable --now kubelet
如果kubelet无法正常启动,检查swap是否已经取消虚拟分区,查看/var/log/message如果是没有/var/lib/kublet/config.yaml文件,可能需要重新安装。
yum -y remove kubel-1.28*
yum -y install kubel-1.28*
systemctl daemon-reload
systemctl enable --now kubelet
kubelet端口是10248、10255、10250
17.集群初始化
Master主机:
1.拉取镜像
创建一个kubeadm-config.yaml文件并写入以下内容
[root@k8s-master ~]# vim kubeadm-config.yaml # 修改kubeadm配置文件
apiVersion: kubeadm.k8s.io/v1beta3 # 指定Kubernetes配置文件的版本,使用的是kubeadm API的v1beta3版本
bootstrapTokens: # 定义bootstrap tokens的信息。这些tokens用于在Kubernetes集群初始化过程中进行身份验证
- groups: # 定义了与此token关联的组
- system:bootstrappers:kubeadm:default-node-token
token: 7t2weq.bjbawausm0jaxury # bootstrap token的值
ttl: 24h0m0s # token的生存时间,这里设置为24小时
usages: # 定义token的用途
- signing # 数字签名
- authentication # 身份验证
kind: InitConfiguration # 指定配置对象的类型,InitConfiguration:表示这是一个初始化配置
localAPIEndpoint: # 定义本地API端点的地址和端口
advertiseAddress: 192.168.15.11
bindPort: 6443
nodeRegistration: # 定义节点注册时的配置
criSocket: unix:///var/run/containerd/containerd.sock # 容器运行时(CRI)的套接字路径
name: k8s-master # 节点的名称
taints: # 标记
- effect: NoSchedule # 免调度节点
key: node-role.kubernetes.io/control-plane # 该节点为控制节点
---
apiServer: # 定义了API服务器的配置
certSANs: # 为API服务器指定了附加的证书主体名称(SAN),指定IP即可
- 192.168.15.11
timeoutForControlPlane: 4m0s # 控制平面的超时时间,这里设置为4分钟
apiVersion: kubeadm.k8s.io/v1beta3 # 指定API Server版本
certificatesDir: /etc/kubernetes/pki # 指定了证书的存储目录
clusterName: kubernetes # 定义了集群的名称为"kubernetes"
controlPlaneEndpoint: 192.168.15.11:6443 # 定义了控制节点的地址和端口
controllerManager: {} # 控制器管理器的配置,为空表示使用默认配置
etcd: # 定义了etcd的配置
local: # 本地etcd实例
dataDir: /var/lib/etcd # 数据目录
imageRepository: registry.cn-hangzhou.aliyuncs.com/google_containers # 指定了Kubernetes使用的镜像仓库的地址,阿里云的镜像仓库。
kind: ClusterConfiguration # 指定了配置对象的类型,ClusterConfiguration:表示这是一个集群配置
kubernetesVersion: v1.28.2 # 指定了kubernetes的版本
networking: # 定义了kubernetes集群网络设置
dnsDomain: cluster.local # 定义了集群的DNS域为:cluster.local
podSubnet: 172.16.0.0/16 # 定义了Pod的子网
serviceSubnet: 10.96.0.0/16 # 定义了服务的子网
scheduler: {} # 使用默认的调度器行为
[root@k8s-master ~]# kubeadm config migrate --old-config kubeadm-config.yaml --new-config new.yaml
# 将旧的kubeadm配置文件转换为新的格式
2.初始化
kubeadm init --config /root/new.yaml --upload-certs
保存最后一段内容,如果以后谁想加入集群就写这段内容
vim token
初始化不成功原因:
1.主机配置2核2G40G
2.echo 1 >/proc/net/ipv4/ip_forward
3.kubelet无法启动
1.swap虚拟分区没关
2.没有配置文件
4.关注错误日志文件vim /var/log/message
18.将工作节点加入集群
加入节点,将node01和node02两个子节点加入过来
停止kubelet
在node01和node02:
systemctl stop kubelet.service
master主机:
查看集群状态
kubectl get nodes
获取失败时,运行下面命令,临时修改环境变量
export KUBECONFIG=/etc/kubernetes/admin.conf
长期修改:
查看所有pod状态:
kubectl get po -A
[root@k8s-master ~]# kubectl get po -Aowide
添加不成功的原因:
1.kubelet没有stop
2.ip没有转发
3.token 重新初始化或者生成token
4.node节点中containerd是否正常
状态status:
状态名称 | 中文 | 说明 |
Pending | 挂起 | 当前pod没有工作 |
Running | 运行中 | 当前pod正常工作 |
containercreating | 正在创建容器 | 正在创建容器 |
19.部署calico的pod
跳转分支
git checkout manual-installation-v1.28.x && cd calico/
修改网段
创建calico的pod
kubectl apply -f calico.yaml
查看容器和节点状态:
kubectl get po -A
查看日志:
这里遇到了一个问题:
Node01和node02中仓库的配置出错了
20.使用ifconfig或者ip a s指令查看虚拟网卡