k8s集群安装(kubeadm)
- 1、环境准备(master和node节点都执行)
- 1.1、替换yum源
- 1.2、关闭selinux
- 1.3、永久关闭防火墙
- 1.4、永久关闭swap
- 1.5、修改主机名添加host
- 1.6、时间同步
- 1.7、将桥接的IPv4流量传递到iptables的链
- 1.8、docker安装
- 1.9、设置k8s yum源
- 2.0、安装kubelet,kubeadm,kubectl
- 2、master节点(master节点执行)
- 3、加入node节点(具体在哪个节点执行,下面备注有)
- 4、创建nginx当测试
- 5、在任意节点使用kubectl
1、环境准备(master和node节点都执行)
这是一个新建的虚拟机环境,需要做以下操作。linux是centos7.6
1.1、替换yum源
把默认的yum源更换成淘宝的yum源
#删除之前的仓库地址
mkdir /etc/yum.repos.d/bak
mv /etc/yum.repos.d/*.repo /etc/yum.repos.d/bak
#查看平台yum仓库
yum repolist
#下载淘宝的repo镜像仓库地址
sudo curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
如果你修改了 任何 repo 文件,记得清除 YUM 的缓存并重新构建缓存
sudo yum clean all && sudo yum makecache
#或者执行
yum clean all && yum makecache && yum repolist
1.2、关闭selinux
#查看selinux状态
sestatus
永久关闭selinux,修改配置文件/etc/selinux/config,将SELINUX=enforcing改为SELINUX=disabled,使用重启命令sudo reboot 配置生效
vi /etc/selinux/config
临时关闭SELinux,但此方法在重启后会是失效。
sudo setenforce 0
1.3、永久关闭防火墙
#查看防火墙状态
sudo systemctl status firewalld
#停止firewalld服务 && #禁止firewalld服务在系统启动时自动启动
sudo systemctl stop firewalld && sudo systemctl disable firewalld
1.4、永久关闭swap
查看是否关闭swap, 如下,执行free -h 如果Swap行不为0,说明swap是开着的,为0是关着的。
[root@bogon ~]# free -htotal used free shared buff/cache available
Mem: 1.8G 126M 1.5G 9.5M 161M 1.5G
Swap: 2.0G 0B 2.0G
永久关闭swap:
编辑 /etc/fstab文件,找到带有swap行,然后注释该行,重启机器后生效。
vi /etc/fstab
临时关闭swap,重启失效:
swapoff -a
1.5、修改主机名添加host
#查看主机的hostname
hostname
#修改hostname为k8s-master1
sudo hostnamectl set-hostname k8s-master1
添加host, 记得后面把node节点的host也配置上。
vi /etc/hosts
192.168.8.132 k8s-master1
192.168.8.133 k8s-node1
192.168.8.134 k8s-node2
1.6、时间同步
sudo yum -y install ntpdate
1.7、将桥接的IPv4流量传递到iptables的链
cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
EOF
1.8、docker安装
配置docker的yum源
yum install wget -y
wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -P /etc/yum.repos.d/
#清空yum缓存
yum clean all && yum makecache && yum repolist
#查看docker可以安装的版本
yum list docker-ce --showduplicates | sort -
#安装docker
yum install docker-ce-23.0.6 -y
# 启动docker
systemctl start docker
# 开机自启
systemctl enable docker
# 查看启动状态
systemctl status docker
#查看版本
docker -v
#重启
systemctl daemon-reload && systemctl restart docker
配置docker国内仓库地址
顺便加上"exec-opts": [“native.cgroupdriver=systemd”],防止后面搭建k8s集群报错
vi /etc/docker/daemon.json
{"registry-mirrors": ["https://docker.m.daocloud.io","https://noohub.ru","https://huecker.io","https://dockerhub.timeweb.cloud","https://docker.rainbond.cc"],"exec-opts": ["native.cgroupdriver=systemd"]
}
1.9、设置k8s yum源
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
#更新缓存
yum clean all && yum makecache && yum repolist
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64 Kubernetes源设为阿里
gpgcheck=0:表示对从这个源下载的rpm包不进行校验
repo_gpgcheck=0:某些安全性配置文件会在 /etc/yum.conf 内全面启用 repo_gpgcheck,以便能检验软件库的中继数据的加密签署
如果gpgcheck设为1,会进行校验,就会报错如下,所以这里设为0
2.0、安装kubelet,kubeadm,kubectl
yum install -y kubelet-1.23.6 kubeadm-1.23.6 kubectl-1.23.6
systemctl enable kubelet
2、master节点(master节点执行)
#查看k8s版本
kubeadm version
#查看初始化需要哪些镜像
kubeadm config images list
#查看kubelet状态
systemctl status kubelet
可以先通过kubeadm config images pull手动在各个节点上拉取所k8s需要的docker镜像,master节点初始化或者node节点加入集群时,会用到这些镜像
如果不先执行kubeadm config images pull拉取镜像,其实在master节点执行kubeadm init 或者node节点执行 kubeadm join命令时,也会先拉取镜像。
本人没有提前拉取镜像,都是在master节点kubeadm init 和node节点 kubeadm join时,自动拉的镜像。
注意 : apiserver-advertise-address指的是master的主机IP
kubeadm init --kubernetes-version=v1.23.6 \
--apiserver-advertise-address=192.168.8.132 \
--image-repository=registry.aliyuncs.com/google_containers \
--service-cidr=10.96.0.0/12 \
--pod-network-cidr=10.244.0.0/16
初始化遇到错误,排查错误。
用命令journalctl -xefu kubelet查看错误日志
journalctl -xefu kubelet
上面错误是因为kubelet的cgroup和docker的不一致所导致的,“kubelet cgroup驱动为systemd,而docker的为cgroupfs”,解决方式修改docker的cgroup为systemd。(环境准备时已经加上了)
{"registry-mirrors": ["https://docker.m.daocloud.io","https://noohub.ru","https://huecker.io","https://dockerhub.timeweb.cloud","https://docker.rainbond.cc"],"exec-opts": ["native.cgroupdriver=systemd"]
}
然后重启kubelet
systemctl restart kubelet
systemctl status kubelet
journalctl -xefu kubelet
再次查看,发现报没认证信息,不用管,
重新重置下,重新init
kubeadm resetkubeadm init --kubernetes-version=v1.23.6 \
--apiserver-advertise-address=192.168.8.132 \
--image-repository=registry.aliyuncs.com/google_containers \
--service-cidr=10.96.0.0/12 \
--pod-network-cidr=10.244.0.0/16
执行下面三条命令。
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
3、加入node节点(具体在哪个节点执行,下面备注有)
查看token,node加入集群需要该token。
TTL表示token过期时间,如果过期了,使用create重新创建下token就行。
(master节点执行)
#如果查不出来,表示token过期,需要重新创建。
kubeadm token list
#重新创建token
kubeadm token create
[root@k8s-master1 ~] kubeadm token list
TOKEN TTL EXPIRES USAGES DESCRIPTION EXTRA GROUPS
u3ht6s.l91gbx6rkqrkkktj 23h 2024-11-10T08:04:30Z authentication,signing <none> system:bootstrappers:kubeadm:default-node-token
用openssl生成sha值
(master节点执行)
openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | openssl dgst -sha256 -hex | sed 's/^.* //'
生成hash 格式:f0e9a247c9382fd88327335d616725d59f37f02941676ff029c413611f8112df
(node节点执行)
加入集群命令(在node节点执行)
记得hash 后需要手动加上sha256
kubeadm join 192.168.8.132:6443 --token y2fexv.1wtmar0g1kg42yyw \--discovery-token-ca-cert-hash sha256:f0e9a247c9382fd88327335d616725d59f37f02941676ff029c413611f8112df
查看k8s各个节点状态,发现节点都是nodeready状态,各个组件状态正常。
(master节点执行)
#查看节点状态
kubectl get node
#查看各个组件状态,比如etcd,scheduler,controller-manager
kubectl get cs
#查看各个pod状态,发现crons没起来,可能是因为网络插件还没装.
kubectl get pod -n kube-system
安装网络插件
(master节点执行)
curl https://docs.projectcalico.org/manifests/calico.yaml -O#修改calico.yaml中的CALICO_IPV4POOL_CIDR(默认是注释的),注意要配置为k8s集群的pod网段。#查看网络需要下载的镜像
grep image calico.yaml
#修改网络下载镜像的默认地址为空,则默认使用docker的仓库地址
sed -i 's#docker.io/##g' calico.yaml
启动网络插件:
(master节点执行)
kubectl apply -f calico.yaml
然后继续查看网络的pod是否起来了
(master节点执行)
kubectl get pod -n kube-system
如果pod一直起不来,则使用describe 命令查看日志状态。
(master节点执行)
kubectl describe pod pod名称 -n kube-system
如果报错日志是镜像拉不下来,则手动去master和node节点都拉下镜像
(master和node节点执行)
docker pull calico/kube-controllers:v3.25.0
docker pull calico/cni:v3.25.0
docker pull calico/node:v3.25.0
然后发现网络插件都启动正常,节点也都是ready状态,此时就搭建集群成功了,如果需要加入其他node节点,重复上面操作即可。
4、创建nginx当测试
kubectl create deployment nginx --image=nginx
kubectl expose deployment nginx --port=80 --type=NodePort
查看放开的端口:
[root@k8s-master1 opt]# kubectl get svc
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
kubernetes ClusterIP 10.96.0.1 <none> 443/TCP 28h
nginx NodePort 10.102.104.249 <none> 80:30940/TCP 6m10s
通master或者node节点的ip+端口访问即可:
http://192.168.8.132:30940/
http://192.168.8.133:30940/
5、在任意节点使用kubectl
master节点执行,拷贝到需要kubectl命令的节点
scp /etc/kubernetes/admin.conf root@k8s-node1:/etc/kubernetes
对应的node节点执行
echo "export KUBECONFIG=/etc/kubernetes/admin.conf" >> ~/.bash_profile
source ~/.bash_profile