k8s集群 安装配置 Prometheus+grafana+alertmanager

k8s集群 安装配置 Prometheus+grafana+alertmanager

  • k8s环境如下：
    • 机器规划：
  • node-exporter组件安装和配置
    • 安装node-exporter
    • 通过node-exporter采集数据
      • 显示192.168.40.180主机cpu的使用情况
      • 显示192.168.40.180主机负载使用情况
  • Prometheus server安装和配置
    • 创建sa账号，对sa做rbac授权
    • 创建prometheus数据存储目录
    • 安装Prometheus server服务
    • 通过deployment部署prometheus
    • 给prometheus pod创建一个service
    • Prometheus热加载
  • 可视化UI界面Grafana的安装和配置
    • 安装Grafana
      • Grafana界面接入Prometheus数据源
    • 配置grafana界面：
      • 导入的监控模板，可在如下链接搜索
      • 如果Grafana导入Prometheusz之后，发现仪表盘没有数据，如何排查？
  • 安装kube-state-metrics组件
    • kube-state-metrics是什么？
    • 安装kube-state-metrics组件

k8s环境如下：

k8s集群： k8s的控制节点
ip：192.168.40.110
主机名：k8smaster1
配置：4vCPU/4Gi内存

k8s的工作节点：
ip：192.168.40.111
主机名：k8snode1
配置：4vCPU/4Gi内存

k8s版本1.25

机器规划：

我的实验环境使用的k8s集群是一个master节点和一个node节点
master节点的机器ip是192.168.40.110，主机名是k8smaster1
node节点的机器ip是192.168.40.111，主机名是k8snode1

node-exporter组件安装和配置

node-exporter介绍
node-exporter可以采集机器（物理机、虚拟机、云主机等）的监控指标数据，能够采集到的指标包括CPU, 内存，磁盘，网络，文件数等信息。

安装node-exporter

node-exporter.tar.gz镜像压缩包上传到k8s的各个节点，手动解压：
链接：https://pan.baidu.com/s/1EBsJPfWDO3c1qMeaESe5Ig?pwd=7bbw
提取码：7bbw

kubectl create ns monitor-sa
ctr -n=k8s.io images import node-exporter.tar.gz
docker load -i node-exporter.tar.gz

node-export.yaml
链接：https://pan.baidu.com/s/1wqaDok9afK58AGTR-QlvGg?pwd=fjfr
提取码：fjfr

cat  node-export.yaml

kind: DaemonSet  #可以保证k8s集群的每个节点都运行完全一样的podspec:hostPID: truehostIPC: truehostNetwork: true
# hostNetwork、hostIPC、hostPID都为True时，表示这个Pod里的所有容器
#会直接使用宿主机的网络，直接与宿主机进行IPC（进程间通信）通信，可以看到宿主机里正在运行的所有进程。
#加入了hostNetwork:true会直接将我们的宿主机的9100端口映射出来
#从而不需要创建service 在我们的宿主机上就会有一个9100的端口cpu: 0.15  #这个容器运行至少需要0.15核cpusecurityContext:privileged: true  #开启特权模式args:- --path.procfs  #配置挂载宿主机（node节点）的路径- /host/proc- --path.sysfs  #配置挂载宿主机（node节点）的路径- '"^/(sys|proc|dev|host|etc)($|/)"'#通过正则表达式忽略某些文件系统挂载点的信息收集volumeMounts:- name: devmountPath: /host/dev- name: procmountPath: /host/proc- name: sysmountPath: /host/sys- name: rootfsmountPath: /rootfs
#将主机/dev、/proc、/sys这些目录挂在到容器中，这是因为我们采集的很多节点数据都是通过这些文件来获取系统信息的。

通过kubectl apply更新node-exporter.yaml文件

kubectl apply -f node-export.yaml

查看node-exporter是否部署成功

kubectl get pods -n monitor-sa

显示如下，看到pod的状态都是running，说明部署成功

在这里插入图片描述

通过node-exporter采集数据

显示192.168.40.180主机cpu的使用情况

curl  http://虚拟机ip:9100/metrics
curl http://192.168.40.110:9100/metrics | grep node_cpu_seconds

在这里插入图片描述

  • #HELP：解释当前指标的含义，上面表示在每种模式下node节点的cpu花费的时间，以s为单位
  • #TYPE：说明当前指标的数据类型，上面是counter类型
node_cpu_seconds_total{cpu="0",mode="idle"} ：
  • cpu0上idle进程占用CPU的总时间，CPU占用时间是一个只增不减的度量指标，从类型中也可以看出node_cpu的数据类型是counter（计数器）
  • counter计数器：只是采集递增的指标

显示192.168.40.180主机负载使用情况

curl http://192.168.40.180:9100/metrics | grep node_load

在这里插入图片描述

  • node_load1该指标反映了当前主机在最近一分钟以内的负载情况，系统的负载情况会随系统资源的使用而变化，因此node_load1反映的是当前状态，数据可能增加也可能减少，从注释中可以看出当前指标类型为gauge（标准尺寸）
  • gauge标准尺寸：统计的指标可增加可减少

Prometheus server安装和配置

创建sa账号，对sa做rbac授权

创建一个sa账号monitor

kubectl create serviceaccount monitor -n monitor-sa

把sa账号monitor通过clusterrolebing绑定到clusterrole上

kubectl create clusterrolebinding monitor-clusterrolebinding -n monitor-sa --clusterrole=cluster-admin  --serviceaccount=monitor-sa:monitor

注意：行上面授权可能回报错，那就需要下面的授权命令

kubectl create clusterrolebinding monitor-clusterrolebinding-1  -n monitor-sa --clusterrole=cluster-admin   --user=system:serviceaccount:monitor:monitor-sa

创建prometheus数据存储目录

在k8s集群的xianchaonode1节点上创建数据存储目录

#在节点创建
mkdir /data
chmod 777 /data/

安装Prometheus server服务

创建一个configmap存储卷，用来存放prometheus配置信息
通过kubectl apply更新configmap
prometheus-cfg.yaml文件上传到k8s控制节点k8smaster1上:
链接：https://pan.baidu.com/s/1lQGQLp7ikDHSanOusSMTWQ?pwd=w6w4
提取码：w6w4

kubectl apply  -f  prometheus-cfg.yaml

cat prometheus-cfg.yaml

      scrape_interval: 15s  #采集目标主机监控据的时间间隔scrape_timeout: 10s  # 数据采集超时时间，默认10sevaluation_interval: 1m   #触发告警检测的时间，默认是1m#我们写了超过80%的告警，结果收到多条告警，但是真实超过80%的只有一个时间点。#这是另外一个参数影响的
evaluation_interval #这个是触发告警检测的时间，默认为1m。假如我们的指标是5m被拉取一次。
#检测根据evaluation_interval 1m一次，所以在值被更新前，我们一直用的旧值来进行多次判断，造成了1m一次，同一个指标被告警了4次。
scrape_configs:
#scrape_configs：配置数据源，称为target，每个target用job_name命名。又分为静态配置和服务发现- job_name: 'kubernetes-node'kubernetes_sd_configs:
#使用的是k8s的服务发现- role: node
# 使用node角色，它使用默认的kubelet提供的http端口来发现集群中每个node节点。relabel_configs:
#重新标记- source_labels: [__address__] #配置的原始标签，匹配地址regex: '(.*):10250'   #匹配带有10250端口的url

        replacement: '${1}:9100'  #把匹配到的ip:10250的ip保留target_label: __address__ #新生成的url是${1}获取到的ip:9100action: replace- action: labelmap 
#匹配到下面正则表达式的标签会被保留,如果不做regex正则的话，默认只是会显示instance标签regex: __meta_kubernetes_node_label_(.+)

通过deployment部署prometheus

镜像prometheus-2-2-1.tar.gz上传到k8s的工作节点k8snode1上，手动解压
链接：https://pan.baidu.com/s/1arlhVb0q-9tWe9KHZG1Htg?pwd=j6m1
提取码：j6m1

ctr -n=k8s.io images import prometheus-2-2-1.tar.gz
#1.24前用  docker load -i prometheus-2-2-1.tar.gz

prometheus-deploy.yaml 上传至k8smaster1
链接：https://pan.baidu.com/s/11QOcz5udgbMpxGoYD6pP9w?pwd=rkp6
提取码：rkp6

kubectl apply -f prometheus-deploy.yaml

cat prometheus-deploy.yaml- --storage.tsdb.path=/prometheus  #旧数据存储目录- --storage.tsdb.retention=720h    #何时删除旧数据，默认为15天。- --web.enable-lifecycle   #开启热加载

注意：在上面的prometheus-deploy.yaml文件有个nodeName字段，这个就是用来指定创建的这个prometheus的pod调度到哪个节点上，我们这里让nodeName=k8snode1，也即是让pod调度到k8snode1节点上，因为k8snode1节点我们创建了数据目录/data，所以大家记住：你在k8s集群的哪个节点创建/data，就让pod调度到哪个节点，nodeName根据你们自己环境主机去修改即可。

查看prometheus是否部署成功

kubectl get pods -n monitor-sa

在这里插入图片描述

给prometheus pod创建一个service

prometheus-svc.yaml文件上传到k8s的控制节点k8smaster1上：
链接：https://pan.baidu.com/s/1j9Nz7trUT6rgZ9kS-ANb7Q?pwd=hgql
提取码：hgql

kubectl apply -f prometheus-svc.yaml

查看service在物理机映射的端口

kubectl get svc -n monitor-sa

在这里插入图片描述

通过上面可以看到service在宿主机上映射的端口是31090，这样我们访问k8s集群的master1节点的ip:31090，就可以访问到prometheus的web ui界面了
#访问prometheus web ui界面
火狐浏览器输入如下地址：

http://192.168.40.110:31090/graph

可看到如下页面：

在这里插入图片描述

点击页面的Status->Targets，可看到如下,说明我们配置的服务发现可以正常采集数据
在这里插入图片描述

Prometheus热加载

为了每次修改配置文件可以热加载prometheus，也就是不停止prometheus，就可以使配置生效，想要使配置生效可用如下热加载命令：

kubectl get pods -n monitor-sa -o wide -l app=prometheus

在这里插入图片描述

10.244.249.2是prometheus的pod的ip地址，如何查看prometheus的pod ip

想要使配置生效可用如下命令热加载：

curl -X POST http://10.244.249.2:9090/-/reload
  • 热加载速度比较慢，可以暴力重启prometheus，如修改上面的prometheus-cfg.yaml文件之后，可执行如下强制删除：
kubectl delete -f prometheus-cfg.yaml
kubectl delete -f prometheus-deploy.yaml
  • 然后再通过apply更新：
kubectl apply -f prometheus-cfg.yaml
kubectl apply -f prometheus-deploy.yaml

注意：线上最好热加载，暴力删除可能造成监控数据的丢失

可视化UI界面Grafana的安装和配置

安装Grafana

镜像heapster-grafana-amd64_v5_0_4.tar.gz上传到k8s的工作节点k8snode1上，手动解压:
链接：https://pan.baidu.com/s/1CMP6Ju-Zi-4dmJy2eSVtew?pwd=fkls
提取码：fkls

ctr -n=k8s.io images import  heapster-grafana-amd64_v5_0_4.tar.gz

grafana.yaml文件上传到k8s的控制节点：

kubectl apply -f grafana.yaml

查看grafana是否创建成功：

kubectl get pods -n kube-system -l task=monitoring

在这里插入图片描述

Grafana界面接入Prometheus数据源

查看grafana前端的service

kubectl get svc -n kube-system | grep grafana

在这里插入图片描述

登陆grafana，在浏览器访问
192.168.40.110:30551

配置grafana界面：

选择Create your first data source
Name: Prometheus
Type: Prometheus
HTTP 处的URL写 如下：

http://prometheus.monitor-sa.svc:9090

配置好的整体页面如下：
在这里插入图片描述

点击左下角Save & Test，出现如下Data source is working，说明prometheus数据源成功的被grafana接入了

导入的监控模板，可在如下链接搜索

https://grafana.com/dashboards?dataSource=prometheus&search=kubernetes

上面Save & Test测试没问题之后，就可以返回Grafana主页面
点击左侧+号下面的Import，出现如下界面
在这里插入图片描述

可直接导入node_exporter.json监控模板，这个可以把node节点指标显示出来
node_exporter.json
链接：https://pan.baidu.com/s/1lK43XIWKuMYiQoWBAtJJ-Q?pwd=j01k
提取码：j01k

在这里插入图片描述
在这里插入图片描述

docker_rev1.json，显示容器资源指标的
链接：https://pan.baidu.com/s/1F_9ApBvKCV3lkHvxPLP-OQ?pwd=wkph
提取码：wkph

导入docker_rev1.json监控模板，步骤和上面导入node_exporter.json步骤一样，导入之后显示如下：
在这里插入图片描述

如果Grafana导入Prometheusz之后，发现仪表盘没有数据，如何排查？

打开grafana界面，找到仪表盘对应无数据的图标
在这里插入图片描述

Edit之后出现如下：

在这里插入图片描述

node_cpu_seconds_total 就是grafana上采集的cpu的时间，需要到prometheus ui界面看看采集的指标是否是node_cpu_seconds_total

在这里插入图片描述

如果在prometheus ui界面输入node_cpu_seconds_total没有数据，那就看看是不是prometheus采集的数据是node_cpu_seconds_totals，怎么看呢？

在这里插入图片描述

安装kube-state-metrics组件

kube-state-metrics是什么？

  • kube-state-metrics通过监听API Server生成有关资源对象的状态指标，比如Node、Pod，需要注意的是kube-state-metrics只是简单的提供一个metrics数据，并不会存储这些指标数据，所以我们可以使用Prometheus来抓取这些数据然后存储，主要关注的是业务相关的一些元数据，
  • 比如Pod副本状态等；调度了多少个replicas？现在可用的有几个？多少个Pod是running/stopped/terminated状态？Pod重启了多少次？我有多少job在运行中。

安装kube-state-metrics组件

创建sa，并对sa授权
kube-state-metrics-rbac.yaml文件上传到k8s的控制节点：
链接：https://pan.baidu.com/s/1fNAovsSfabcQMTpX4AknnQ?pwd=m6r0
提取码：m6r0

kubectl apply -f kube-state-metrics-rbac.yaml

安装kube-state-metrics组件
kube-state-metrics_1_9_0.tar.gz组件上传到k8s各个工作节点，手动解压：
链接：https://pan.baidu.com/s/1UufIAWnnQgP1vYSTvushSw?pwd=uunh
提取码：uunh

ctr -n=k8s.io images import kube-state-metrics_1_9_0.tar.gz

kube-state-metrics-deploy.yaml上传到k8smaster1节点
链接：https://pan.baidu.com/s/1GnMeja2VQUwHXj9MPsCHqQ?pwd=n0o9
提取码：n0o9

kubectl apply -f kube-state-metrics-deploy.yaml

查看kube-state-metrics是否部署成功

kubectl get pods -n kube-system -l app=kube-state-metrics

在这里插入图片描述

创建service
kube-state-metrics-svc.yaml文件上传到k8s的k8smaster1节点：
链接：https://pan.baidu.com/s/1DjZuLFDcH9mjRXY6CHJNfw?pwd=uo52
提取码：uo52

kubectl apply -f kube-state-metrics-svc.yaml

查看service是否创建成功

kubectl get svc -n kube-system | grep kube-state-metrics

在这里插入图片描述

在grafana web界面导入Kubernetes Cluster (Prometheus)-1577674936972.json和Kubernetes cluster monitoring (via Prometheus) (k8s 1.16)-1577691996738.json

导入Kubernetes Cluster (Prometheus)-1577674936972.json文件
链接：https://pan.baidu.com/s/1SpGM2hb0uuEsyJaYnhE_Rw?pwd=u1dz
提取码：u1dz
在这里插入图片描述

在grafana web界面导入Kubernetes cluster monitoring (via Prometheus) (k8s 1.16)-1577691996738.json
链接：https://pan.baidu.com/s/1v-zwCmwqC3iRix1M5s_GnA?pwd=2jhl
提取码：2jhl
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/378718.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

CentOS 7 安装MySQL 5.7.30

CentOS 7 安装MySQL 5.7.30

CentOS 7 安装MySQL卸载（离线安装） 安装配置MySQL之前先查询是否存在，如存在先卸载再安装 rpm -qa|grep -i mysql rpm -qa|grep -i mariadb rpm -e --nodeps mariadb-libs-5.5.68-1.el7.x86_64如下命令找到直接 rm -rf 删除（删除…
阅读更多...
电脑系统重装数据被格式化，那些文件还有办法恢复吗?

电脑系统重装数据被格式化，那些文件还有办法恢复吗?

在日常使用电脑的过程中，系统重装或格式化操作是常见的维护手段，尤其是在遇到系统崩溃、病毒感染或需要升级系统时。然而，这一操作往往伴随着数据丢失的风险，尤其是当C盘（系统盘）和D盘（或其他数…
阅读更多...
数学建模（1）

数学建模（1）

论文：做流程图 论文查重不能高于30% 论文 分模块备战 摘要不能超过一页的四分之三 数学建模的六个步骤: 【写作】---学术语言 团队练题
阅读更多...
docker搭建普罗米修斯监控gpu

docker搭建普罗米修斯监控gpu

ip8的服务器监控ip110和ip111的服务器 被监控的服务器110和111只需要安装node-export和nvidia-container-toolkit 下载镜像包 docker pull prom/node-exporter docker pull prom/prometheus docker pull grafana/grafana新建目录 mkdir /opt/prometheus cd /opt/prometheus/…
阅读更多...
用了6年git，不知道cherry-pick是啥意思

用了6年git，不知道cherry-pick是啥意思

背景 可能是测试开发角色原因，平时很少有代码冲突或多人协同的编码场景。今天有个协同项目，需要提交自己的代码到其它业务的代码库中，这个代码库是分支开发分支上线模式，同时会有多个同事提交代码，然后模块负责的同学…
阅读更多...
【python】多种回归算法对比气温预测

【python】多种回归算法对比气温预测

目录 引言 决策树回归（Decision Tree Regression） 线性回归（Linear Regression） 随机森林回归（Random Forest Regression） 气温预测对比实例 数据集 预测值与实际值对比图 模型评价指标 代码实现 …
阅读更多...
微信小程序 vant-weapp的 SwipeCell 滑动单元格 van-swipe-cell 滑动单元格不显示 和 样式问题 滑动后删除样式不显示

微信小程序 vant-weapp的 SwipeCell 滑动单元格 van-swipe-cell 滑动单元格不显示 和 样式问题 滑动后删除样式不显示

在微信小程序开发过程中 遇到个坑 此处引用 swipeCell 组件 刚开始是组件不显示 然后又遇到样式不生效 首先排除问题 是否在.json文件中引入了组件 {"usingComponents": {"van-swipe-cell": "vant/weapp/swipe-cell/index","van-cell-gro…
阅读更多...
【JavaEE】synchronized原理详解

【JavaEE】synchronized原理详解

本文使用的是JDK1.8 目录 引言 Java对象在JVM的结构 对象头 Mark Word Monitor Owner EntryList WaitSet 加锁过程 锁消除 偏向锁 偏向锁使用 重偏向 撤销偏向 轻量级锁 重量级锁 自旋优化 引言 对于synchronized原理讲解之前，我们需要知道Java对象…
阅读更多...
FATE Flow 源码解析 - 日志输出机制

FATE Flow 源码解析 - 日志输出机制

背景介绍 在 之前的文章 中介绍了 FATE 的作业处理流程，在实际的使用过程中，为了查找执行中的异常，需要借助运行生成的日志，但是 FATE-Flow 包含的流程比较复杂，对应的日志也很多，而且分散在不同的文件中&…
阅读更多...
转移C盘中的conda环境（包括.condarc文件修改，environment.txt文件修改，conda报错）

转移C盘中的conda环境（包括.condarc文件修改，environment.txt文件修改，conda报错）

conda环境一般是默认安装到C盘的，若建立多个虚拟环境，时间长了，容易让本不富裕的C盘更加雪上加霜，下面给出将conda环境从C盘转移到D盘的方法。 目录 电脑软硬件转移方法查看当前conda目录转移操作第一步：.condarc文件修…
阅读更多...
走进NoSql

走进NoSql

一、引入 1.1什么是NoSql NoSQL（Not Only SQL）是一组非关系型数据库（或称为非SQL数据库）的统称，它们提供了与传统的关系型数据库不同的数据存储和检索方式。NoSQL数据库通常用于处理大量的、分布式的、非结构化或半结…
阅读更多...
美式键盘 QWERTY 布局的来历

美式键盘 QWERTY 布局的来历

注：机翻，未校对。 The QWERTY Keyboard Is Tech’s Biggest Unsolved Mystery QWERTY 键盘是科技界最大的未解之谜 It’s on your computer keyboard and your smartphone screen: QWERTY, the first six letters of the top row of the standard keybo…
阅读更多...
数据湖表格式 Hudi/Iceberg/DeltaLake/Paimon TPCDS 性能对比（Spark 引擎）

数据湖表格式 Hudi/Iceberg/DeltaLake/Paimon TPCDS 性能对比（Spark 引擎）

当前，业界流行的集中数据湖表格式 Hudi/Iceberg/DeltaLake，和最近出现并且在国内比较火的 Paimon。我们现在看到的很多是针对流处理场景的读写性能测试，那么本篇文章我们将回归到大数据最基础的场景，对海量数据的批处理查询。本文…
阅读更多...
dp or 数学问题

dp or 数学问题

看一下数据量&#xff0c;只有一千&#xff0c;说明这个不是数学问题 #include<bits/stdc.h> using namespace std;#define int long long const int mo 100000007; int n, s, a, b; const int N 1005;// 2 -3 // 1 3 5 2 -1 // 1 -2 -5 -3 -1 int dp[N][N]; int fun…
阅读更多...
泛微Ecology8明细表对主表赋值

泛微Ecology8明细表对主表赋值

文章目录 [toc]1.需求及效果1.1 需求1.2 效果2.思路与实现3.结语 1.需求及效果 1.1 需求 在明细表中的项目经理&#xff0c;可以将值赋值给主表中的项目经理来作为审批人员 1.2 效果 在申请人保存或者提交后将明细表中的人名赋值给主表中对应的值2.思路与实现 在通过js测…
阅读更多...
生成树（STP）协议

生成树（STP）协议

一、生成树的技术背景 1、交换机单线路上链，存在单点故障，上行线路及设备都不具备冗余性，一旦链路或上行设备发生故障，网络将面临断网。 总结：以下网络不够健壮，不具备冗余性。 2、因此引入如下网络拓扑结构： 上述冗余拓扑能够解决单点故障问题，但同时冗拓扑也带来了…
阅读更多...
zookeeper基础知识学习

zookeeper基础知识学习

官网&#xff1a;Apache ZooKeeper 下载地址&#xff1a;Index of /dist/zookeeper/zookeeper-3.5.7Index of /dist/zookeeperIndex of /dist/zookeeper/zookeeper-3.5.7 ZK配置参数说明&#xff1a; 1、tickTime2000&#xff1a;通讯心跳时间&#xff0c;zookeeper服务器与客…
阅读更多...
连锁直营店小程序赋能多店如何管理

连锁直营店小程序赋能多店如何管理

如商超便利店卖货线下场景&#xff0c;也有不少品牌以同城多店和多地开店经营为主&#xff0c;获取店铺周围客户和散流&#xff0c;如今线上重要性凸显&#xff0c;品牌电商发展是经营的重要方式之一&#xff0c;也是完善同城和外地客户随时便捷消费的方式之一。 多个门店管理…
阅读更多...
Python | Leetcode Python题解之第238题除自身以外数组的乘积

Python | Leetcode Python题解之第238题除自身以外数组的乘积

题目&#xff1a; 题解&#xff1a; class Solution:def productExceptSelf(self, nums: List[int]) -> List[int]:length len(nums)# L 和 R 分别表示左右两侧的乘积列表L, R, answer [0]*length, [0]*length, [0]*length# L[i] 为索引 i 左侧所有元素的乘积# 对于索引为…
阅读更多...
STM32智能交通监测系统教程

STM32智能交通监测系统教程

目录 引言环境准备智能交通监测系统基础代码实现&#xff1a;实现智能交通监测系统 4.1 数据采集模块 4.2 数据处理与控制模块 4.3 通信与网络系统实现 4.4 用户界面与数据可视化应用场景&#xff1a;交通监测与管理问题解决方案与优化收尾与总结 1. 引言 智能交通监测系统通…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023