使用Prometheus+Grafana来监控Clickhouse服务和性能指标
Clickhouse监控指标的官方文档https://clickhouse.com/docs/zh/operations/monitoring
建议使用Prometheus+Grafana组合监控Clickhouse服务和性能指标,数据流向:Prometheus的clickhouse_exporter组件通过Clickhouse提供的web端口8123来捕获Clickhouse监控指标信息,通过clickhouse_exporter组件的9116端口页面比如http://172.22.97.2:9116/metrics可以看到这些监控指标,再在Prometheus服务中添加被监控端的clickhouse_exporter组件的9116端口,这样Clickhouse监控指标信息就传输到了Prometheus数据源,再在Grafana页面配置Prometheus数据源和Clickhouse的模板就可以图形界面展示Clickhouse监控指标信息
1、prometheus的clickhouse_exporter组件信息参考https://prometheus.io/docs/instrumenting/exporters/#databases
clickhouse_exporter的github源参考
https://github.com/ClickHouse/clickhouse_exporter
2、配置clickhouse_exporter组件开机启动,可供参考的脚本/usr/lib/systemd/system/clickhouse_exporter.service,其中/root/clickhouse_exporter/clickhouse_exporter -scrape_uri=http://account:password@localhost:8123/ &此处必须加上后缀&,否则后面的systemctl start clickhouse_exporter会一直无法正常启动然后systemctl status clickhouse_exporter会看到一直处于Active: activating (start)启动的状态而不是正常的Active: active (running)
3、登陆Prometheus所在服务器,打开Prometheus服务的配置文件prometheus.yml添加被监控端的clickhouse_exporter组件的9116端口
4、在https://grafana.com/grafana/dashboards/中查找Clickhouse的模板,在Grafana监控配置页面导入所需的Clickhouse的模板比如https://grafana.com/grafana/dashboards/882-clickhouse,然后在Grafana监控配置页面的数据源选项中选择Prometheus,再更改模板中的被监控对象信息为实际的被监控机器
监控配置界面如下
监控了4台Clickhouse机器的clickhouse_uptime指标信息,4台机器对应A-D 这4个项目
正常监控界面
列出了4个节点信息,且小爱心是绿色的
挂掉一个节点DAILACHDBUD003的时候的监控界面