文章目录
- 一、ingress介绍
- 二、创建nginx和tomcat供测试
- 三、创建ingress-http
- 四、yaml方式安装ingress
- 五、helm方式安装ingress（推荐）
- 六、Ingress的HTTPS代理
一、ingress介绍
-
Service对集群之外暴露服务的主要方式有两种：NotePort和LoadBalancer，但是这两种方式，都有一定的缺点
1）NodePort方式的缺点是会占用很多集群机器的端口，那么当集群服务变多的时候，这个缺点就愈发明显
2）LB方式的缺点是每个service需要一个LB，浪费、麻烦，并且需要kubernetes之外设备的支持
基于这种现状，kubernetes提供了Ingress资源对象，Ingress只需要一个NodePort或者一个LB就可以满足暴露多个Service的需求 -
ingress相关涉及概念
1）ingress：kubernetes中的一个对象，作用是定义请求如何转发到service的规则
2）ingress controllel：具体实现反向代理及负载均衡的程序，对ingress定义的规则进行解析，根据配置的规则来实现请求转发，实现方式有很多，比如Nginx, Contour, Haproxy等等
-
ingress工作机制
Ingress相当于一个七层的负载均衡器，是kubernetes对反向代理的一个抽象，它的工作原理类似于Nginx。原理是安装完ingress后，在Ingress Service中定义哪个域名对应kubernetes集群中的哪个Service，Ingress Controller通过监听这些映射规则并转化为Nginx(或Contour、Haproxy)的反向代理配置，并将反向代理配置写入这些Nginx(或Contour、Haproxy)服务，最后由Nginx(或Contour、Haproxy)对外提供服务
二、创建nginx和tomcat供测试
-
创建空间：kubectl create ns ingress-nginx
-
创建nginx pod和tomcat的pod
1）编写yaml文件：vi /opt/nginx-tomcat-deployment.yaml
apiVersion: apps/v1 kind: Deployment metadata:name: nginx-deploymentnamespace: ingress-nginx spec:replicas: 1selector:matchLabels:app: nginx-podtemplate:metadata:labels:app: nginx-podspec:containers:- name: nginx-containerimage: nginx:latestports:- name: nginx-portcontainerPort: 80protocol: TCP---apiVersion: apps/v1 kind: Deployment metadata:name: tomcat-deploymentnamespace: ingress-nginx spec:replicas: 1selector:matchLabels:app: tomcat-podtemplate:metadata:labels:app: tomcat-podspec:containers:- name: tomcat-containerimage: tomcat:8.5-jre10-slimports:- name: tomcat-portcontainerPort: 8080protocol: TCPapiVersion: 定义所使用的Kubernetes API的版本，这里是"apps/v1"。 kind: 定义资源的类型，这里是"Deployment"。 metadata: 元数据，用于描述该Deployment的属性。name: 定义Deployment的名称为"tomcat-deployment"。namespace: 定义Deployment所属的命名空间为"dev"。 spec: Deployment的规格，指定了Deployment的配置选项。replicas: 定义要创建的Pod的副本数量，这里是3个。selector: 用于选择要管理的Pod的标签。matchLabels: 匹配标签的列表，这里选择带有"app: tomcat-pod"标签的Pod。template: 定义要创建的Pod的模板。metadata: Pod的元数据，用于描述Pod的属性。labels: 为Pod添加的标签，这里是"app: tomcat-pod"。spec: Pod的规格设置。containers: 定义Pod中的容器列表。name: 容器的名称为"tomcat-container"。image: 定义容器所使用的镜像为"tomcat:8.5-jre10-slim"。ports: 定义容器暴露的端口列表。name: 定义端口的名称为"tomcat-port"。containerPort: 定义容器内部监听的端口号为8080。protocol: 定义端口的协议为TCP。2）创建pod：kubectl apply -f /opt/nginx-tomcat-deployment.yaml
3）查看创建的pod：kubectl get pod
-
准备Service
1）新建nginx-tomcat.yaml文件：vi /opt/nginx-tomcat.yaml
apiVersion: v1 kind: Service metadata:name: nginx-servicenamespace: ingress-nginx spec:selector:app: nginx-podtype: ClusterIPclusterIP: Noneports:- protocol: TCPport: 80targetPort: 80 --- apiVersion: v1 kind: Service metadata:name: tomcat-servicenamespace: ingress-nginx spec:selector:app: tomcat-podtype: ClusterIPclusterIP: Noneports:- protocol: TCPport: 8080targetPort: 8080apiVersion: 定义所使用的Kubernetes API的版本，这里是"v1"。 kind: 定义资源的类型，这里是"Service"，表示创建一个Service资源。 metadata: 元数据，用于描述该Service的属性。name: 定义Service的名称为"nginx-service"。namespace: 定义Service所属的命名空间为"dev"。 spec: Service的规格，指定了Service的配置选项。selector: 用于选择要匹配的Pod的标签。app: 对应Pod的标签为"nginx-pod"。type: 定义Service的类型，这里是"ClusterIP"，表示创建一个仅在集群内部访问的Service。clusterIP: 定义Service的虚拟IP地址，这里设置为"None"，表示不会分配一个可路由的IP地址给Service。ports: 定义Service暴露的端口列表。protocol: 定义端口的协议为TCP。port: 定义Service暴露的端口号为80。targetPort: 定义将流量转发到Pod的目标端口为80。2）创建pod：kubectl apply -f /opt/nginx-tomcat.yaml
3）查看：kubectl get svc -n ingress-nginx
三、创建ingress-http
-
创建ingress
1）新建ingress-http.yaml文件：vi /opt/ingress-http.yaml
apiVersion: networking.k8s.io/v1 kind: Ingress metadata:name: ingress-httpnamespace: ingress-nginx spec:rules:- host: nginx.bulut.comhttp:paths:- path: /pathType: Exactbackend:service:name: nginx-serviceport:number: 80 - host: tomcat.bulut.comhttp:paths:- path: /pathType: Exactbackend:service:name: tomcat-serviceport:number: 8080ingressClassName: nginxapiVersion: 定义所使用的Kubernetes API的版本，这里是"networking.k8s.io/v1"，表示使用了网络扩展API。 kind: 定义资源的类型，这里是"Ingress"，表示创建一个Ingress资源。 metadata: 元数据，用于描述该Ingress的属性。name: 定义Ingress的名称为"ingress-http"。namespace: 定义Ingress所属的命名空间为"dev"。annotations: kubernetes.io/ingress.class: "nginx"nginx.ingress.kubernetes.io/rewrite-target: / #表示匹配的路径，匹配部分需要重写逻辑 spec: Ingress的规格，指定了Ingress的配置选项。rules: 定义Ingress规则的列表。- host: 指定Ingress规则要匹配的主机名。nginx.bulut.com: 匹配主机为"nginx.bulut.com"。tomcat.bulut.com: 匹配主机为"tomcat.bulut.com"。http: 指定该规则使用HTTP协议。paths: 定义路径与后端服务之间的映射关系。- path: 指定要映射的路径为"/"，表示将该规则应用于所有路径。pathType: 指定路径类型为"Exact"，表示精确匹配路径。Prefix表示前缀匹配，通常跟rewrite-target组合使用。backend: 指定要将流量转发到的后端服务。service: 指定后端服务的名称。name: 后端服务的名称分别为"nginx-service"和"tomcat-service"。port: 指定要将流量转发到的后端服务的端口。number: 后端服务的端口号分别为80和8080。2）创建pod：kubectl apply -f /opt/ingress-http.yaml
3）查看：kubectl get ingress ingress-http -n ingress-nginx
4）查看详情：kubectl describe ingress ingress-http -n ingress-nginx
-
查看ingress运行所在服务器：kubectl get pods -n ingress-nginx -o wide
四、yaml方式安装ingress
ps：master节点操作
-
切换路径：cd /opt
-
创建ingress-nginx
1）下载ingress-nginx的yaml文件：wget https://raw.githubusercontent.com/kubernetes/ingress-nginx/controller-v1.2.0/deploy/static/provider/cloud/deploy.yaml
2）修改yaml文件内容
将
image: k8s.gcr.io/ingress-nginx/controller:v1.2.0@sha256:d8196e3bc1e72547c5dec66d6556c0ff92a23f6d0919b206be170bc90d5f9185image: k8s.gcr.io/ingress-nginx/kube-webhook-certgen:v1.1.1@sha256:64d8c73dca984af206adf9d6d7e46aa550362b1d7a01f3a0a91b20cc67868660image: k8s.gcr.io/ingress-nginx/kube-webhook-certgen:v1.1.1@sha256:64d8c73dca984af206adf9d6d7e46aa550362b1d7a01f3a0a91b20cc67868660改为
image: docker.io/dyrnq/controller:v1.2.0@sha256:d8196e3bc1e72547c5dec66d6556c0ff92a23f6d0919b206be170bc90d5f9185image: registry.cn-hangzhou.aliyuncs.com/google_containers/kube-webhook-certgen:v1.1.1@sha256:64d8c73dca984af206adf9d6d7e46aa550362b1d7a01f3a0a91b20cc67868660image: registry.cn-hangzhou.aliyuncs.com/google_containers/kube-webhook-certgen:v1.1.1@sha256:64d8c73dca984af206adf9d6d7e46aa550362b1d7a01f3a0a91b20cc67868660image: docker.io/dyrnq/controller:v1.2.0@sha256:d8196e3bc1e72547c5dec66d6556c0ff92a23f6d0919b206be170bc90d5f9185 的备用地址： image: registry.cn-hangzhou.aliyuncs.com/google_containers/nginx-ingress-controller:v1.2.0@sha256:d8196e3bc1e72547c5dec66d6556c0ff92a23f6d0919b206be170bc90d5f9185 可忽略3）创建pod：kubectl apply -f /opt/deploy.yaml
4）查看ingress-nginx的pod：kubectl get pod -n ingress-nginx -o wide
5）查看ingress-nginx的Service：kubectl get svc -n ingress-nginx
-
访问nginx和tomcat服务
1）设置主机名映射：vi /etc/hosts
ps：这里的ip取运行ingress-nginx-controller pod的节点，因为我都是在worker1运行的，所以取192.168.248.11
192.168.248.11 tomcat.bulut.com 192.168.248.11 nginx.bulut.com2）重置网络：service network restart
3）查看ingress-nginx的Service开放的端口：kubectl get svc -n ingress-nginx
4）访问nginx：curl http://nginx.bulut.com:32397
5）访问tomcat：curl http://tomcat.bulut.com:32397
-
原理说明：可以将ingress-nginx的Service开放的端口，理解成是nginx的端口。然后根据域名进行匹配，就跟nginx的前缀匹配一样，进行反向代理。
-
本地连接测试
1）查看ingress pod所在：kubectl describe pod ingress-nginx-controller-77d4dc6978-bq2xt -n ingress-nginx
2）在本地的hosts文件配置映射
192.168.248.11 tomcat.bulut.com 192.168.248.11 nginx.bulut.com3）浏览器访问：http://nginx.bulut.com:32397/
-
ingress默认使用的http 80；https 443；采用nodeport方式默认的端口暴露范围在 30000-32767。通过更改apiserver nodeport端口范围，达到更改ingress端口的作用。
1）修改apiserver端口范围：vi /etc/kubernetes/manifests/kube-apiserver.yaml
添加 --service-node-port-range=1-327672）重新启动apiserver：kubectl delete pod kube-apiserver-master -n kube-system
3）修改配置，更改ingress端口：vi /opt/ingress-service.yaml
apiVersion: v1 kind: Service metadata:labels:app.kubernetes.io/component: controllerapp.kubernetes.io/instance: ingress-nginxapp.kubernetes.io/name: ingress-nginxapp.kubernetes.io/part-of: ingress-nginxapp.kubernetes.io/version: 1.2.0name: ingress-nginx-controllernamespace: ingress-nginx spec:externalTrafficPolicy: Localports:- appProtocol: httpname: httpport: 80nodePort: 80protocol: TCPtargetPort: http- appProtocol: httpsname: httpsport: 443protocol: TCPtargetPort: httpsselector:app.kubernetes.io/component: controllerapp.kubernetes.io/instance: ingress-nginxapp.kubernetes.io/name: ingress-nginxtype: LoadBalancer4）启动：kubectl apply -f /opt/ingress-service.yaml
5）访问：http://tomcat.bulut.com/和http://nginx.bulut.com/
ps：nginx.bulut.com和tomcat.bulut.com主机名需要跟ingress-nginx所在的主机ip做映射。
五、helm方式安装ingress（推荐）
-
卸载原来的ingress：kubectl delete -f /opt/deploy.yaml
-
搜索 ingress-nginx ：helm search repo ingress-nginx
-
给节点设置标签，后面set设置ingress只能部署在 ingress=true的节点上：kubectl label node worker1 ingress=true
-
直接安装ingress
ps：因为是从github拉取，所以很慢甚至拉不到。如果拉不到，直接跳过此步骤。如果可以，直接进入第11步
helm install ingress-nginx ingress-nginx/ingress-nginx -n ingress-nginx --set controller.hostNetwork=true --set controller.dnsPolicy=ClusterFirstWithHostNet --set controller.kind=DaemonSet --set controller.image.registry=registry.cn-hangzhou.aliyuncs.com --set controller.image.image=google_containers/nginx-ingress-controller --set controller.admissionWebhooks.patch.image.registry=registry.cn-hangzhou.aliyuncs.com --set controller.admissionWebhooks.patch.image.image=google_containers/kube-webhook-certgen --set controller.admissionWebhooks.patch.image.tag="v1.8.1" --set controller.nodeSelector.ingress="true" --set controller.service.type=ClusterIP --set controller.admissionWebhooks.enabled=false -
在/opt/helm目录下拉取镜像
cd /opt/helm helm pull ingress-nginx/ingress-nginx -
解压：tar -zxvf ingress-nginx-4.7.1.tgz
-
进入解压目录：cd /opt/helm/ingress-nginx
-
修改配置文件：vi values.yaml
ps：不同地方的修改点用------------隔开
------4------ controller:name: controllerimage:## Keep false as default for now!chroot: falseregistry: registry.cn-hangzhou.aliyuncs.comimage: google_containers/nginx-ingress-controller## for backwards compatibility consider setting the full image url via the repository value below## use *either* current default registry/image or repository format or installing chart by providing the values.yaml will fail## repository:tag: "v1.8.1"# digest: sha256:e5c4824e7375fcf2a393e1c03c293b69759af37a9ca6abdb91b13d78a93da8bd# digestChroot: sha256:e0d4121e3c5e39de9122e55e331a32d5ebf8d4d257227cb93ab54a1b912a7627 ------2------ dnsPolicy: ClusterFirstWithHostNet ------1------ hostNetwork: true------3------ kind: DaemonSet-------5-----patch:enabled: trueimage:registry: registry.cn-hangzhou.aliyuncs.comimage: google_containers/kube-webhook-certgen## for backwards compatibility consider setting the full image url via the repository value below## use *either* current default registry/image or repository format or installing chart by providing the values.yaml will fail## repository:tag: "v1.8.1"## digest: sha256:543c40fd093964bc9ab509d3e791f9989963021f1e9e4c9c7b6700b02bfb227b## pullPolicy: IfNotPresent ------6------ nodeSelector:kubernetes.io/os: linuxingress: "true"## Liveness and readiness probe values## Ref: https://kubernetes.io/docs/concepts/workloads/pods/pod-lifecycle/#container-probes ------7------ type: ClusterIP## type: NodePort ------8------ admissionWebhooks:annotations: {}# ignore-check.kube-linter.io/no-read-only-rootfs: "This deployment needs write access to root filesystem".## Additional annotations to the admission webhooks.## These annotations will be added to the ValidatingWebhookConfiguration and## the Jobs Spec of the admission webhooks.enabled: false -
创建ingress-nginx资源：helm install ingress-nginx -n ingress-nginx .
ps卸载：helm uninstall ingress-nginx -n ingress-nginx
-
查看：kubectl get pod -n ingress-nginx -o wide
-
访问http://nginx.bulut.com/和http://tomcat.bulut.com/
ps：如果没有经过第三步，需要补充一些第三步的步骤，比如创建ingress的映射关系等等
六、Ingress的HTTPS代理
ps：master节点操作
-
生成证书
openssl req -newkey rsa:2048 -nodes -keyout tls.key -x509 -days 3650 -out tls.crt -subj "/C=CN/ST=HN/L=CS/O=bulut/OU=bulut/CN=bulut.com/emailAddress=bulut@163.com"参数说明
req：表示证书请求的子命令
-newkey rsa:2048：表示生成私钥
-nodes：表示私钥不加密
-keyout tls.key：表示生成的私钥输出文件
-x509：表示输出证书
-days 3650：表示证书有效期
-out tls.crt：表示生成的证书输出文件
-subj “/C=CN/ST=HN/L=CS/O=bulut/OU=bulut/CN=bulut.com/emailAddress=bulut@163.com”：表示自动输入证书拥有者信息，分别表示：国家/省份/城市/公司名/部门名/域名/邮件地址
2. 创建密钥：kubectl create secret tls tls-secret --key tls.key --cert tls.crt3. 创建Ingress1）新建ingress-https.yaml文件：vi /opt/ingress-https.yaml ```java
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:name: ingress-https
spec:tls:- secretName: tls-secrethosts:- nginx.bulut.com- tomcat.bulut.comrules:- host: nginx.bulut.comhttp:paths:- path: /pathType: Exactbackend:service:name: nginx-serviceport:number: 80- host: tomcat.bulut.comhttp:paths:- path: /pathType: Exactbackend:service:name: tomcat-serviceport:number: 8080apiVersion: networking.k8s.io/v1: 这指定了使用的Kubernetes API版本。
kind: Ingress: 这指定了资源类型为Ingress。
metadata: 这是Ingress对象的元数据，包括名称（name）和命名空间（namespace）。
spec: 这是Ingress规范，定义了Ingress的规则和TLS配置。tls: 这指定了使用的TLS证书的名称（secretName）和绑定的主机名列表（hosts）。rules: 这定义了Ingress的路由规则。host: 这指定了请求的主机名。http: 这定义了针对HTTP请求的规则。paths: 这定义了路由到该主机的路径规则。path: 这指定了请求的路径。pathType: 这指定了路径的匹配类型，例如Exact表示精确匹配。backend: 这指定了路由到的后端服务。service: 这定义了后端服务的名称（name）和端口（port）。
2）创建pod：kubectl apply -f /opt/ingress-https.yaml
-
Ingress查看：kubectl get ingress ingress-https
-
Ingress详情的查看：kubectl describe ingress ingress-https
-
访问tomcat和nginx
curl --insecure https://nginx.bulut.com curl --insecure https://tomcat.bulut.com
