介绍：Prometheus 是一个开源的 监控与告警系统，主要用于采集和存储时间序列数据（Time Series Data）

Prometheus的自定义查询语言PromQL

Metric类型

为了能够帮助用户理解和区分这些不同监控指标之间的差异，Prometheus定义了4中不同的指标类型(metric type)：Counter（计数器）、Gauge（仪表盘）、Histogram（直方图）、Summary（摘要）

1、Counter:只增不减的计数器

计数器是一种只增不减（除非重置）的累加值，适合用来记录某些事件发生的总次数。

特点： 值只能递增（或重置为 0）、 常用于统计单调递增的指标。

场景：HTTP 请求总数（如 http_requests_total）、已处理任务的总数、 错误发生的总次数、用户访问量

# 查询总数：
http_requests_total
# 计算速率（每秒请求数）
rate(http_requests_total[5m])

2、Gauge：可增可减的仪表盘

Gauge 是一种值可以上下波动的数据类型，适合用来表示某些瞬时状态值。

特点：值可以增大或减小、适合表示当前状态，例如资源使用情况。
场景：当前内存使用量（如 memory_usage_bytes）、当前 CPU 使用率（如 cpu_usage_percentage）、当前并发连接数、磁盘使用量、内存使用量

3、Histogram和Summary分析数据分布情况

Histogram和Summary主用用于统计和分析样本的分布情况

实践

Prometheus函数

rate函数

rate函数 是专门搭配 counter 函数使用的
功能：按照设置一个时间段，取counter在这个时间段中的 平均每秒的增量。
以node_network_receive_bytes_total即网络接受字节数为例，这个就是counter类型。这个counter被rate函数包上以后 就可以获取在1分钟之内，平均每秒的增量了即 rate( node_network_receive_bytes_total[1m])

increase函数

在 Prometheus 中，increase() 函数用于计算给定时间窗口内一个计数器的增量。它计算的是时间序列在指定时间范围内的增量（变化量），即数据点的“增加”部分。与 rate() 不同，increase() 更侧重于计算累计量的增长，而不是每秒的速率。

语法

increase(<metric>[<range>])
<metric>：Prometheus 中的一个计数器指标，比如 node_cpu_seconds_total。
<range>：时间范围，用来定义增量的计算范围，常见的时间范围单位有 1m（1 分钟）、5m（5 分钟）、1h（1 小时）等。

举例：
以increase(node_cpu_seconds_total{mode="idle"}[1m])为例。
计算过去 1 分钟内 node_cpu_seconds_total 的增量，也就是在这段时间内，CPU 空闲时间总共增加了多少秒。

时间（秒）	node_cpu_seconds_total{mode=“idle”}
t1	5000
t2	5050

t1 时，CPU 空闲时间累计为 5000 秒。
t2 时，CPU 空闲时间累计为 5050 秒。
如果你计算 increase(node_cpu_seconds_total{mode="idle"}[1m])，则计算的是过去 1 分钟内 node_cpu_seconds_total 增长的部分
increase(node_cpu_seconds_total{mode="idle"}[1m]) = 5050 - 5000 = 50 秒 这表示在过去 1 分钟内，CPU 空闲时间增加了 50 秒。

docekr安装prometheus

安装步骤

1、 拉取prometheus镜像
docler pull prom/prometheus
2、配置文件

global:scrape_interval: 15sevaluation_interval: 15salerting:alertmanagers:- static_configs:- targets:# - alertmanager:9093rule_files:# - "first_rules.yml"# - "second_rules.yml"scrape_configs:- job_name: 'prometheus'static_configs:- targets: ['localhost:9090']- job_name: 'node_exporter'static_configs:- targets: ['192.168.31.142:9100']- job_name: 'cloud'metrics_path: '/actuator/prometheus'scrape_interval: 5sstatic_configs:- targets: ['10.2.0.187:8080']

3、启动一个prometheus容器

docker run  -d --name prometheus -p 9090:9090 -v /Users/liuyuanyuan/docker/prometheus/prometheus.yml:/etc/prometheus/prometheus.yml prom/prometheus

4、mac 精准查找ip命令
ifconfig en0 | grep inet| awk ‘{print $2}’
5、访问地址
http://localhost:9090/

安装node-exporter

1、docker pull prom/node-exporter
2、运行容器

docker run -d --name node-exporter --restart=always -p 9100:9100 -v "/proc:/host/proc:ro" -v "/sys:/host/sys:ro" -v "/:/rootfs:ro" prom/node-exporter

3、访问地址
http://127.0.0.1:9100/metrics

说明成功。
4、配置到Prometheus中
记住mac要写的是ip地址(获取mac本机地址)ifconfig en0 | grep inet| awk '{print $2}'而不是localhost不然好像配置不生效

global:scrape_interval: 15sevaluation_interval: 15salerting:alertmanagers:- static_configs:- targets:# - alertmanager:9093rule_files:# - "first_rules.yml"# - "second_rules.yml"scrape_configs:- job_name: 'prometheus'static_configs:- targets: ['localhost:9090']- job_name: 'node_exporter'static_configs:- targets: ['192.168.31.142:9100']- job_name: 'cloud'metrics_path: '/actuator/prometheus'scrape_interval: 5sstatic_configs:- targets: ['10.2.0.187:8080']

加上之后我们看下内存使用率
node_memory_MemFree_bytes

node_cpu_seconds_total

解释：cpu使用率
第一个问题：时间增量
cpu底层是时间的累积。所以用Counter 刚好满足这个情况，其中increase()函数 在Prometheus 中 专门针对 Counter 这种持续增长的数值，截取其中一段时间的增量 increase(node_cpu[1m])这个意思就是 30分钟内 每1分钟就会对增量取一个值。这样就能获取cpu在1分钟内时间的增量了
第二个问题：实际工作中cpu都是多核
我们在实际中不关心每个cpu核而是看整个cpu表现，此时Prometheus有另一个函数sum() 对结果集加和 比如 sum( increase(node_cpu[1m]) ) 直接统计所有核数值累加

全部cpu时间：node_cpu_seconds_total

空闲cpu时间:node_cpu_seconds_total{mode="idle"}

空闲cpu1分钟的增量: increase(node_cpu_seconds_total{mode="idle"}[1m])

全部cpu1分钟的增量:sum(increase(node_cpu_seconds_total{mode="idle"}[1m]))

这里有个问题 他怎么变成1条线了？我们是多台服务器进行数据采集，因为sum函数的原因，sum函数他是把所有结果集全部加和了不光把每台机器的cpu核加一起了 还把所有机器的cpu核也加到一起了。最终变成 服务器集群总cpu平均高值了，这显然不是我们的效果。
怎么解决呢？引入函数 by (instance)
它可以按照结果集进行拆分 instance 就是按照机器拆分。
单台机器cpu1分钟的增量：(sum(increase(node_cpu_seconds_total[1m])) by (instance))
结果：

很明显你看到了左下角有机器分组了，你可以看上一个sum结果明显没有对结果集分组。
所以空闲的的1分钟时间增量：
(sum(increase(node_cpu_seconds_total{mode="idle"}[1m])) by (instance))
那么cpu利用率就知道了：

(1 - ((sum(increase(node_cpu_seconds_total{mode="idle"}[1m])) by (instance)) / (sum(increase(node_cpu_seconds_total[1m])) by (instance)))) * 100