Linux 遭入侵,挖礦程序被隐藏排查記錄
今天來給大家分享下這兩天遇到的一個問題,伺服器被挖礦了,把我的排查記錄分享下,希望能幫到有需要的同學。
問題原因
多台伺服器持續告警CPU過高,伺服器為K8s的應用節點,正常情況下CPU使用率都挺低的,通過排查是原因是被挖礦了,下面為定位過程
定位過程
登陸問題主機10.92.0.X,通過執行top指令檢視資源使用情況如下
cpu使用率基本跑滿(使用者态),沒有發現可疑的程序,初步懷疑可能是程序在哪裡隐藏了
執行指令ps -aux --sort=-pcpu|head -10
嗯哼,藏得夠深的,可還是被揪出來啦
這個eta可能是起的一個守護程序,用于喚起上面圈起來的python程序,
這個腳本的用途是,連結遠端服務"http://g.upxmr.com:999/version.txt",并下載下傳 寫入到本地隐藏檔案/tmp/.x,然後執行
注意:這個執行檔案會修改伺服器的一些配置,如dns,hosts,定時任務,建立可執行檔案
檢視dns
果然dns被修改了
檢視定時任務
一般情況使用crontab -l是看不到的,需要檢視/etc/crontab,
發現定時任務被加入了一條
0 /8 * * root /usr/lib/libiacpkmn.so.3
根據定時任務中的可疑檔案所在路徑/usr/lib/libiacpkmn.so.3,
排查中發現/etc/rc.d/init.d/,/usr/bin/存在可執行檔案nfstruncate,
在rc0.d-rc6.d目錄下都存在S01nfstruncate檔案,可能是自啟動檔案
現在排查的很明朗了,接下來着手清理工作
1. 阻斷挖礦程式連結外網服務(很重要)
在/etc/hosts裡增加一條
127.0.0.1 g.upxmr.com
阻斷挖礦程式連結外網下載下傳可執行檔案,不加了的話幹掉服務又會起來(除非把伺服器網斷了)
2. 幹掉可疑程式“ata”程序
[root@dtdream-common-prod-nginx-03 ~]# kill -9 70497
再次檢視發現cpu使用率降下來了,挖礦程式也沒啟動了。
3. 删除定時任務及檔案
根據上面定時任務截圖,需要徹底删除該腳本檔案 /usr/lib/libiacpkmn.so.3 。
執行
[root@dtdream-common-prod-nginx-03 ~]#rm -rf /usr/lib/libiacpkmn.so.3
結果顯示删除檔案沒權限,很奇怪,使用
[root@dtdream-common-prod-nginx-03 ~]#lsattr /usr/lib/libiacpkmn.so.3
發現檔案被鎖住了,很好解決,解鎖再删就行了。
[root@dtdream-common-prod-nginx-03 ~]#chattr -i /usr/lib/libiacpkmn.so.3[root@dtdream-common-prod-nginx-03 ~]#rm -rf /usr/lib/libiacpkmn.so.3
删除nfstruncate
[root@dtdream-common-prod-nginx-03 ~]#chattr -i /usr/bin/nfstruncate[root@dtdream-common-prod-nginx-03 ~]#rm -rf /usr/bin/nfstruncate[root@dtdream-common-prod-nginx-03 ~]#chattr -i /etc/init.d/nfstruncate[root@dtdream-common-prod-nginx-03 ~]#rm -rf /etc/init.d/nfstruncate
删除軟連
[root@dtdream-common-prod-nginx-03 ~]# find / -name "S01nfs*"/etc/rc.d/rc1.d/S01nfstruncate/etc/rc.d/rc2.d/S01nfstruncate/etc/rc.d/rc4.d/S01nfstruncate/etc/rc.d/rc3.d/S01nfstruncate/etc/rc.d/rc6.d/S01nfstruncate/etc/rc.d/rc5.d/S01nfstruncate/etc/rc.d/rc0.d/S01nfstruncate[root@dtdream-common-prod-nginx-03 ~]#find / -name "S01nfs*"|xargs rm -f
操作完之後, 長時間觀察CPU無再升高
結論:問題是初步解決了,但是根源還沒找到,因為我們的服務都是部署在内網的,挖礦程式是從哪個入口侵入的還有待排查
這次分享希望對也中挖礦程式的同學, 提供一些排查思路
原文位址
https://www.cnblogs.com/guigujun/p/10535024.html