11個步驟完美排查Linux機器是否已經被入侵

背景資訊：以下情況是在CentOS 6.9的系統中檢視的，其它Linux發行版類似

1、入侵者可能會删除機器的日志資訊，可以檢視日志資訊是否還存在或者是否被清空，相關指令示例：

[root@hlmcen69n3 ~]# ll -h /var/log/*
-rw-------. 1 root root 2.6K Jul  7 18:31 /var/log/anaconda.ifcfg.log
-rw-------. 1 root root  23K Jul  7 18:31 /var/log/anaconda.log
-rw-------. 1 root root  26K Jul  7 18:31 /var/log/anaconda.program.log
-rw-------. 1 root root  63K Jul  7 18:31 /var/log/anaconda.storage.log
[root@hlmcen69n3 ~]# du -sh /var/log/*
8.0K /var/log/anaconda
4.0K /var/log/anaconda.ifcfg.log
24K  /var/log/anaconda.log
28K  /var/log/anaconda.program.log
64K  /var/log/anaconda.storage.log      

2、入侵者可能建立一個新的存放使用者名及密碼檔案，可以檢視/etc/passwd及/etc/shadow檔案，相關指令示例：

[root@hlmcen69n3 ~]# ll /etc/pass*
-rw-r--r--. 1 root root 1373 Sep 15 11:36 /etc/passwd
-rw-r--r--. 1 root root 1373 Sep 15 11:36 /etc/passwd-
[root@hlmcen69n3 ~]# ll /etc/sha*
----------. 1 root root 816 Sep 15 11:36 /etc/shadow
----------. 1 root root 718 Sep 15 11:36 /etc/shadow-      

3、入侵者可能修改使用者名及密碼檔案，可以檢視/etc/passwd及/etc/shadow檔案内容進行鑒别，相關指令示例：

[root@hlmcen69n3 ~]# more /etc/passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
[root@hlmcen69n3 ~]# more /etc/shadow
root:*LOCK*:14600::::::
bin:*:17246:0:99999:7:::
daemon:*:17246:0:99999:7:::      

4、檢視機器最近成功登陸的事件和最後一次不成功的登陸事件，對應日志“/var/log/lastlog”，相關指令示例：

[root@hlmcen69n3 ~]# lastlog
Username         Port     From             Latest
root                                       **Never logged in**
bin                                        **Never logged in**
daemon                                     **Never logged in**      

5、檢視機器目前登入的全部使用者，對應日志檔案“/var/run/utmp”，相關指令示例：

[root@hlmcen69n3 ~]# who
stone    pts/0        2017-09-20 16:17 (X.X.X.X)
test01   pts/2        2017-09-20 16:47 (X.X.X.X)      

6、檢視機器建立以來登陸過的使用者，對應日志檔案“/var/log/wtmp”，相關指令示例：

[root@hlmcen69n3 ~]# last
test01   pts/1        X.X.X.X   Wed Sep 20 16:50   still logged in  
test01   pts/2        X.X.X.X   Wed Sep 20 16:47 - 16:49  (00:02)   
stone    pts/1        X.X.X.X   Wed Sep 20 16:46 - 16:47  (00:01)   
stone    pts/0        X.X.X.X   Wed Sep 20 16:17   still logged in      

7、檢視機器所有使用者的連接配接時間（小時），對應日志檔案“/var/log/wtmp”，相關指令示例：

[root@hlmcen69n3 ~]# ac -dp
         stone                               11.98
Sep 15      total       11.98
         stone                               67.06
Sep 18      total       67.06
         stone                                1.27
         test01                               0.24
Today        total        1.50      

8、如果發現機器産生了異常流量，可以使用指令“tcpdump”抓取網絡包檢視流量情況或者使用工具”iperf”檢視流量情況

9、可以檢視/var/log/secure日志檔案，嘗試發現入侵者的資訊，相關指令示例：

[root@hlmcen69n3 ~]# cat /var/log/secure | grep -i "accepted password"
Sep 20 12:47:20 hlmcen69n3 sshd[37193]: Accepted password for stone from X.X.X.X port 15898 ssh2
Sep 20 16:17:47 hlmcen69n3 sshd[38206]: Accepted password for stone from X.X.X.X port 9140 ssh2
Sep 20 16:46:00 hlmcen69n3 sshd[38511]: Accepted password for stone from X.X.X.X port 2540 ssh2
Sep 20 16:47:16 hlmcen69n3 sshd[38605]: Accepted password for test01 from X.X.X.X port 10790 ssh2
Sep 20 16:50:04 hlmcen69n3 sshd[38652]: Accepted password for test01 from X.X.X.X port 28956 ssh2      

10、查詢異常程序所對應的執行腳本檔案

a.top指令檢視異常程序對應的PID

b、在虛拟檔案系統目錄查找該程序的可執行檔案

[root@hlmcen69n3 ~]# ll /proc/1850/ | grep -i exe
lrwxrwxrwx. 1 root root 0 Sep 15 12:31 exe -> /usr/bin/python
[root@hlmcen69n3 ~]# ll /usr/bin/python
-rwxr-xr-x. 2 root root 9032 Aug 18  2016 /usr/bin/python      

11、如果确認機器已經被入侵，重要檔案已經被删除，可以嘗試找回被删除的檔案

Note：

參考Link：

http://www.cnblogs.com/ggjucheng/archive/2012/01/08/2316599.html

1>當程序打開了某個檔案時，隻要該程序保持打開該檔案，即使将其删除，它依然存在于磁盤中。這意味着，程序并不知道檔案已經被删除，它仍然可以向打開該檔案時提供給它的檔案描述符進行讀取和寫入。除了該程序之外，這個檔案是不可見的，因為已經删除了其相應的目錄索引節點。

2>在/proc 目錄下，其中包含了反映核心和程序樹的各種檔案。/proc目錄挂載的是在記憶體中所映射的一塊區域，是以這些檔案和目錄并不存在于磁盤中，是以當我們對這些檔案進行讀取和寫入時，實際上是在從記憶體中擷取相關資訊。大多數與 lsof 相關的資訊都存儲于以程序的 PID 命名的目錄中，即 /proc/1234 中包含的是 PID 為 1234 的程序的資訊。每個程序目錄中存在着各種檔案，它們可以使得應用程式簡單地了解程序的記憶體空間、檔案描述符清單、指向磁盤上的檔案的符号連結和其他系統資訊。lsof 程式使用該資訊和其他關于核心内部狀态的資訊來産生其輸出。是以lsof 可以顯示程序的檔案描述符和相關的檔案名等資訊。也就是我們通過通路程序的檔案描述符可以找到該檔案的相關資訊。

3>當系統中的某個檔案被意外地删除了，隻要這個時候系統中還有程序正在通路該檔案，那麼我們就可以通過lsof從/proc目錄下恢複該檔案的内容。

假設入侵者将/var/log/secure檔案删除掉了，嘗試将/var/log/secure檔案恢複的方法可以參考如下：

a.檢視/var/log/secure檔案，發現已經沒有該檔案

[root@hlmcen69n3 ~]# ll /var/log/secure
ls: cannot access /var/log/secure: No such file or directory      

 b.使用lsof指令檢視目前是否有程序打開/var/log/secure，

[root@hlmcen69n3 ~]# lsof | grep /var/log/secure
rsyslogd   1264      root    4w      REG                
8,1  3173904     263917 /var/log/secure (deleted)      

c.從上面的資訊可以看到 PID 1264（rsyslogd）打開檔案的檔案描述符為4。同時還可以看到/var/log/ secure已經标記為被删除了。是以我們可以在/proc/1264/fd/4（fd下的每個以數字命名的檔案表示程序對應的檔案描述符）中檢視相應的資訊，如下：

[root@hlmcen69n3 ~]# tail /proc/1264/fd/4
Sep 20 16:47:21 hlmcen69n3 sshd[38511]: pam_unix(sshd:session): session closed for user stone
Sep 20 16:47:21 hlmcen69n3 su: pam_unix(su-l:session): session closed for user root
Sep 20 16:49:30 hlmcen69n3 sshd[38605]: pam_unix(sshd:session): session closed for user test01
Sep 20 16:50:04 hlmcen69n3 sshd[38652]: reverse mapping checking getaddrinfo for 190.78.120.106.static.bjtelecom.net [106.120.78.190] failed - POSSIBLE BREAK-IN ATTEMPT!
Sep 20 16:50:04 hlmcen69n3 sshd[38652]: Accepted password for test01 from 106.120.78.190 port 28956 ssh2
Sep 20 16:50:05 hlmcen69n3 sshd[38652]: pam_unix(sshd:session): session opened for user test01 by (uid=0)
Sep 20 17:18:51 hlmcen69n3 unix_chkpwd[38793]: password check failed for user (root)
Sep 20 17:18:51 hlmcen69n3 sshd[38789]: pam_unix(sshd:auth): authentication failure; logname= uid=0 euid=0 tty=ssh ruser= rhost=51.15.81.90  user=root
Sep 20 17:18:52 hlmcen69n3 sshd[38789]: Failed password for root from 51.15.81.90 port 47014 ssh2
Sep 20 17:18:52 hlmcen69n3 sshd[38790]: Connection closed by 51.15.81.90      

d.從上面的資訊可以看出，檢視/proc/1264/fd/4就可以得到所要恢複的資料。如果可以通過檔案描述符檢視相應的資料，那麼就可以使用I/O重定向将其重定向到檔案中，如:

[root@hlmcen69n3 ~]# cat /proc/1264/fd/4 > /var/log/secure      

e.再次檢視/var/log/secure，發現該檔案已經存在。對于許多應用程式，尤其是日志檔案和資料庫，這種恢複删除檔案的方法非常有用。

[root@hlmcen69n3 ~]# ll /var/log/secure
-rw-r--r--. 1 root root 3173904 Sep 20 17:24 /var/log/secure
[root@hlmcen69n3 ~]# head /var/log/secure
Sep 17 03:28:15 hlmcen69n3 sshd[13288]: reverse mapping checking getaddrinfo for 137-64-15-51.rev.cloud.scaleway.com [51.15.64.137] failed - POSSIBLE BREAK-IN ATTEMPT!
Sep 17 03:28:15 hlmcen69n3 unix_chkpwd[13290]: password check failed for user (root)
Sep 17 03:28:15 hlmcen69n3 sshd[13288]: pam_unix(sshd:auth): authentication failure; logname= uid=0 euid=0 tty=ssh ruser= rhost=51.15.64.137  user=root
Sep 17 03:28:17 hlmcen69n3 sshd[13288]: Failed password for root from 51.15.64.137 port 59498 ssh2
Sep 17 03:28:18 hlmcen69n3 sshd[13289]: Received disconnect from 51.15.64.137: 11: Bye Bye
Sep 17 03:28:22 hlmcen69n3 sshd[13291]: reverse mapping checking getaddrinfo for 137-64-15-51.rev.cloud.scaleway.com [51.15.64.137] failed - POSSIBLE BREAK-IN ATTEMPT!
Sep 17 03:28:22 hlmcen69n3 unix_chkpwd[13293]: password check failed for user (root)
Sep 17 03:28:22 hlmcen69n3 sshd[13291]: pam_unix(sshd:auth): authentication failure; logname= uid=0 euid=0 tty=ssh ruser= rhost=51.15.64.137  user=root
Sep 17 03:28:24 hlmcen69n3 sshd[13291]: Failed password for root from 51.15.64.137 port 37722 ssh2
Sep 17 03:28:25 hlmcen69n3 sshd[13292]: Received disconnect from 51.15.64.137: 11: Bye Bye