Linux下自动监控进程运行状态

背景

假设有一个服务需要长期运行，但可能会由于某种原因导致服务意外停止，不能及时发现，某天来到公司后发现出问题了才意识到服务挂了。此时再去手动重启服务可能已经造成很大损失了，那有没有办法可以自动监控服务运行状态，发现服务停止了自动拉起呢？如果你对Linux的定时任务crontab有所了解的话，很容易实现。如果还不了解crontab，请先阅读Linux定时任务之crontab一文。

应用举例

1、使用crontab+脚本监控服务

注意，crontab最小只支持分钟级的监控，如果需要秒级的监控频率，请参考方法2。
编写监控脚本：

#!/usr/bin/bashlog="/home/scripts/check.log"
pid=0
process_num=0
cpu_usage=0
mem_usage=0
# 要监控的服务名称
service_name="java"# 日志文件不存在，就先创建
if [[ ! -e ${log} ]]; thentouch ${log}
fifunction info()
{echo "[`date +'%F %T'` - INFO] - $1" >> ${log}
}function warn()
{echo "[`date +'%F %T'` - WARN] - $1" >> ${log}
}function error()
{echo "[`date +'%F %T'` - ERROR] - $1" >> ${log}
}export -f info
export -f warn
export -f error# 获取进程id
function proc_pid()
{pid=$(ps -ef | grep -v grep | grep ${service_name} | awk '{print $2}')
}# 获取进程数量
function proc_num()
{process_num=$(ps -ef | grep -v grep | grep ${service_name} | wc -l)
}# 获取cpu memory使用情况
function proc_cpu_mem_usage()
{process_info=$(top -bn1 -p ${pid} | tail -1)cpu_usage=$(echo ${process_info} | awk '{print $9}')mem_usage=$(echo ${process_info} | awk '{print $10}')
}proc_num
if [[ ${process_num} -eq 0 ]]; thenwarn "${service_name} is not running!"# restart service# do something  ---  此处执行重启服务对应的命令，如  restart java （也可以是执行启动脚本，如sh xxx.sh start）proc_numproc_pidif [[ ${process_num} -eq 1 ]]; theninfo "${service_name} restart success(pid: ${pid})"fi
elseproc_pidproc_cpu_mem_usageinfo "${service_name} is running(pid: ${pid} cpu_usage: ${cpu_usage} mem_usage: ${mem_usage})"
fi

添加监控脚本到定时任务中：
crontab -e打开编辑器，输入：
*/1 * * * * sh /home/scripts/check.sh，表示每分钟执行一次监控脚本。
查看输出的日志文件记录
在这里插入图片描述
这样就实现了每分钟监控一次进程的运行状态，如果服务停止则会自动拉起。

2、使用shell脚本监控服务

2.1 编写自定义监控脚本

如果想要实现秒级的监控频率，就需要自己写监控脚本了。下面是一个例子：

#!/usr/bin/bashlog="/home/scripts/check_1.log"
pid=0
process_num=0
cpu_usage=0
mem_usage=0
service_name="java"if [[ ! -e ${log} ]]; thentouch ${log}
fifunction info()
{echo "[`date +'%F %T'` - INFO] - $1" >> ${log}
}function warn()
{echo "[`date +'%F %T'` - WARN] - $1" >> ${log}
}function error()
{echo "[`date +'%F %T'` - ERROR] - $1" >> ${log}
}export -f info
export -f warn
export -f errorfunction proc_pid()
{pid=$(ps -ef | grep -v grep | grep ${service_name} | awk '{print $2}')
}function proc_num()
{process_num=$(ps -ef | grep -v grep | grep ${service_name} | wc -l)
}function proc_cpu_mem_usage()
{process_info=$(top -bn1 -p ${pid} | tail -1)cpu_usage=$(echo ${process_info} | awk '{print $9}')mem_usage=$(echo ${process_info} | awk '{print $10}')
}while true
doproc_numif [[ ${process_num} -eq 0 ]]; thenwarn "${service_name} is not running!"# restart serviceproc_numproc_pidif [[ ${process_num} -eq 1 ]]; theninfo "${service_name} restart success(pid: ${pid})"fielseproc_pidproc_cpu_mem_usageinfo "${service_name} is running(pid: ${pid} cpu_usage: ${cpu_usage} mem_usage: ${mem_usage})"fi# 此处的时间根据实际需要设置，单位为秒sleep 2
done

如果想要在脚本中添加对cpu、内存的使用情况监控，比如内存占用超过50%，cpu占用超过80%时告警，可以添加如下内容：

if [[ $(echo "${cpu_usage} > 80" | bc) -eq 1 ]]; thenwarn "CPU usage of ${service_name} is high(${cpu_usage}%)"
fi
if [[ $(echo "${mem_usage} > 50" | bc) -eq 1 ]]; thenwarn "Memory usage of ${service_name} is high(${mem_usage}%)"
fi

注意，此处比较大小用到了bc，这是因为bash本身只支持整数计算，不支持小数。在Linux系统中，bc是一款用于数学运算和数据处理的强大命令行工具，其名字代表"Basic Calculator"（基本计算器）。bc命令特别适用于处理浮点数和高精度数学运算，支持各种数学运算，如加减乘除、指数运算、取模、求平方根等。

2.2 运行脚本

1）直接运行：
执行sh /home/scripts/check.sh，直接运行脚本，如果终端窗口被关闭，进程会被kill。
2) 使用nohup放在后台不挂断地运行
nohup即使退出终端或关闭终端窗口，程序也会继续在后台运行。
nohup sh check1.sh 2>&1 &
在这里插入图片描述
关闭终端后，log中也能看到记录：

PS: 日志中的时间间隔可能不是严格的2s，这是因为执行命令也有时间损耗，积累到一定程度之后，就会出现和上一次的时间差大于2s。