hadoop漏洞_一種基于對hadoop安全漏洞的檢測方法與流程

本發明屬于大資料領域，具體涉及一種基于對hadoop安全漏洞的檢測方法。

背景技術：

Hadoop由多個元件組成，是以Hadoop叢集的安全表示確定每個元件的安全，這就使得Hadoop叢集安全變成了一項複雜的任務。

企業資料包含和銷售、客戶資訊、人力資源等相關的關鍵資訊，在ERP、CRM、總賬系統等資訊管理系統中安全地存放。在最近的十年，各種資料安全事故造成數十億美元的損失，也促使企業資料安全保障技術趨于成熟。随着服務業的成長和成熟，大多數系統大部分時間要開放給供應商來處理關鍵客戶資訊。是以，形成了很多安全和隐私保護的相關标準，包括HIPAA、HITECH、PCI、SOX、ISO和COBIT。是以需要服務提供者嚴格遵守這些标準來全面保護客戶的資料。這也為企業内服務提供者和客戶提供了強有力的資料安全保護措施，不會容忍任何資料安全違規操作。在過去八年的開發過程中，Hadoop已經日趨成熟，企業已經開始采用Hadoop來滿足大資料處理的需要，任何資料安全事故将會導緻企業對Hadoop生态系統失去信任。除非商業組織對Hadoop生态系統充滿信任，否則他們絕不會冒險來采用這項大資料技術，是以，大資料項目成功或失敗的關鍵就在于資料生态系統如何保證資料的安全，及時對漏洞進行檢查清理是非常有必要的。

技術實作要素：

本發明的目的在于提供一種基于對hadoop安全漏洞的檢測方法，可以對系統進行實時監控，第一時間對系統的核心元件掃描并生成報告，減少了漏洞對系統的危害，保障了企業資料的安全性。

為實作上述目的，本發明的技術方案是：一種基于對hadoop安全漏洞的檢測方法，包括如下步驟：

步驟S1、設立hadoop安全漏洞資料庫，添加hadoop核心元件掃描的對象；

步驟S2、通過對掃描對象添加掃描政策及配置後，生成掃描任務；

步驟S3、調用掃描引擎對步驟S2已經建立好的掃描任務進行掃描；

步驟S4、掃描引擎自動對掃描對象的目錄和檔案進行爬行的同時，實作對掃描對象的邊爬行邊探測；

步驟S5、當步驟S4掃描任務和掃描政策無需修改時，掃描執行直到掃描任務結束；當掃描任務和掃描政策需要修改時，可停止掃描任務進行掃描任務和掃描政策的修改，而後重新執行掃描任務：

步驟S6、掃描任務結束後，生成掃描結果，據系統内置的掃描報告模版，輸出掃描結果報告，向使用者提供掃描結果和掃描報告。

在本發明一實施例中，所述步驟S1中，掃描的對象包括掃描目标主機的開放端口、指紋資訊、資訊洩露及hadoop版本資訊的檢測，以及對hadoop漏洞、hadoop元件安全配置、hadoop元件安全配置的檢測虛拟化漏洞、弱密碼資源隔離的檢查。

在本發明一實施例中，所述步驟S3中，掃描引擎包括hadoop漏洞、虛拟化漏洞、配置檢查、端口掃描、指紋資訊、弱密碼資源隔離檢查的掃描引擎。

在本發明一實施例中，所述步驟S3中，掃描引擎自動對掃描對象的目錄和檔案進行爬行的同時，實作對掃描對象的邊爬行邊探測的具體實作過程為：采用授權掃描的爬蟲技術擷取包括hbase、hive、MapReduce、HDFS的hadoop元件的漏洞，依照可配置的掃描政策及掃描配置對hadoop元件進行漏洞探測，采用授權掃描及導入包括raw、cow、qcow、vmdk格式的鏡像檔案進行檢測；實作檢查KVM1.2、Xen4.0、Vmware5.0以上版本的虛拟機平台的安全漏洞檢測、資源幹擾檢測、防加載惡意軟體檢測、存儲隔離檢測、記憶體隔離檢測、網絡隔離檢測和磁盤使用者資料殘留檢測，并通過調用對應掃描引擎，對掃描任務中包括hadoop漏洞、hadoop元件安全配置、hadoop元件安全配置的檢測虛拟化漏洞、弱密碼資源隔離、指紋資訊，根據掃描政策集逐一進行掃描，完成目标的弱點檢測任務。

在本發明一實施例中，所述步驟S6中，掃描結果報告包括對Hadoop安全漏洞的名稱、發現時間、對應版本、漏洞說明、修複建議的描述，并存儲到所述Hadoop安全漏洞資料庫。

在本發明一實施例中，所述步驟S3中，掃描引擎是VMM漏洞檢查工具，基于系統實作檢查KVM、Xen虛拟機是否存在漏洞開發。

相較于現有技術，本發明具有以下有益效果：本發明可以對系統進行實時監控，第一時間對系統的核心元件掃描并生成報告，減少了漏洞對系統的危害，保障了企業資料的安全性。

具體實施方式

下面，對本發明的技術方案進行具體說明。

本發明提供了一種基于對hadoop安全漏洞的檢測方法，包括如下步驟：

步驟S1、設立hadoop安全漏洞資料庫，添加hadoop核心元件掃描的對象；

步驟S2、通過對掃描對象添加掃描政策及配置後，生成掃描任務；

步驟S3、調用掃描引擎對步驟S2已經建立好的掃描任務進行掃描；

步驟S4、掃描引擎自動對掃描對象的目錄和檔案進行爬行的同時，實作對掃描對象的邊爬行邊探測；

步驟S5、當步驟S4掃描任務和掃描政策無需修改時，掃描執行直到掃描任務結束；當掃描任務和掃描政策需要修改時，可停止掃描任務進行掃描任務和掃描政策的修改，而後重新執行掃描任務：

步驟S6、掃描任務結束後，生成掃描結果，據系統内置的掃描報告模版，輸出掃描結果報告，向使用者提供掃描結果和掃描報告。

所述步驟S1中，掃描的對象包括掃描目标主機的開放端口、指紋資訊、資訊洩露及hadoop版本資訊的檢測，以及對hadoop漏洞、hadoop元件安全配置、hadoop元件安全配置的檢測虛拟化漏洞、弱密碼資源隔離的檢查。

所述步驟S3中，掃描引擎包括hadoop漏洞、虛拟化漏洞、配置檢查、端口掃描、指紋資訊、弱密碼資源隔離檢查的掃描引擎。所述步驟S3中，掃描引擎自動對掃描對象的目錄和檔案進行爬行的同時，實作對掃描對象的邊爬行邊探測的具體實作過程為：采用授權掃描的爬蟲技術擷取包括hbase、hive、MapReduce、HDFS的hadoop元件的漏洞，依照可配置的掃描政策及掃描配置對hadoop元件進行漏洞探測，采用授權掃描及導入包括raw、cow、qcow、vmdk格式的鏡像檔案進行檢測；實作檢查KVM1.2、Xen4.0、Vmware5.0以上版本的虛拟機平台的安全漏洞檢測、資源幹擾檢測、防加載惡意軟體檢測、存儲隔離檢測、記憶體隔離檢測、網絡隔離檢測和磁盤使用者資料殘留檢測，并通過調用對應掃描引擎，對掃描任務中包括hadoop漏洞、hadoop元件安全配置、hadoop元件安全配置的檢測虛拟化漏洞、弱密碼資源隔離、指紋資訊，根據掃描政策集逐一進行掃描，完成目标的弱點檢測任務。所述步驟S3中，掃描引擎是VMM漏洞檢查工具，基于系統實作檢查KVM、Xen虛拟機是否存在漏洞開發。

所述步驟S6中，掃描結果報告包括對Hadoop安全漏洞的名稱、發現時間、對應版本、漏洞說明、修複建議的描述，并存儲到所述Hadoop安全漏洞資料庫。

以下為本發明的具體實作執行個體。

一種基于對Hadoop安全漏洞的檢測方法，按照下述步驟依次進行：

步驟一：設立Hadoop安全漏洞資料庫，添加Hadoop核心元件掃描的對象，實作對對象的掃描；

步驟二：通過對步驟一中通過添加掃描對象和掃描政策及配置後，生成掃描任務，實作對掃描對象的掃描；

步驟三：調用掃描引擎對步驟二已經建立好的掃描任務進行掃描；

步驟四：步驟三中被調用的掃描引擎會自動對掃描對象的目錄和檔案進行爬行，實作對對象的掃描和探測；

步驟五：當步驟四掃描任務沒有問題，掃描繼續直到任務結束。當掃描任務和政策需要修改時可以停止掃描任務進行修改任務和政策，然後重新執行掃描任務：

步驟六：掃描任務結束後，生成掃描結果，據系統内置的掃描報告模版，輸出掃描結果報告，向使用者提供掃描結果和掃描報告。

在本實施例中，步驟一中的對對象的掃描項目主要包括hadoop漏洞、虛拟化漏洞、配置檢查、端口掃描、資源隔離檢查等掃描引擎，能夠實作掃描目标主機的開放端口，指紋資訊，資訊洩露及Hadoop版本資訊的檢測，以及對hadoop元件安全配置的檢測虛拟化漏洞、弱密碼資源隔離的檢查。

在本實施例中，步驟四中所述掃描引擎對掃描對象目錄和檔案進行爬行的同時，做到邊爬行邊探測，其中采用授權掃描的爬蟲技術擷取hbase、hive、MapReduce、HDFS等主流hadoop元件的漏洞，依照可配置的掃描政策及掃描配置對hadoop元件進行漏洞探測，采用授權掃描及導入raw、cow、qcow、vmdk等格式的鏡像檔案進行檢測。實作檢查KVM1.2、Xen4.0、Vmware5.0以上版本的虛拟機平台的安全漏洞檢測，資源幹擾檢測、防加載惡意軟體檢測、存儲隔離檢測、記憶體隔離檢測、網絡隔離檢測和磁盤使用者資料殘留檢測并通過調用對應掃描引擎，對掃描任務中的hadoop漏洞、安全配置、虛拟化漏洞、弱密碼、指紋資訊等根據掃描政策集逐一進行掃描，完成目标的弱點檢測任務。

在本實施例中，步驟六中所述掃描報告包括對Hadoop安全漏洞的名稱、發現時間、對應版本、漏洞說明、修複建議的描述并存儲到步驟一中的所述Hadoop安全漏洞資料庫。

在本實施例中，步驟三中掃描引擎是VMM漏洞檢查工具，基于系統實作檢查kvm、xen虛拟機是否存在漏洞開發。

最後所應說明的是：以上實施例僅用以說明而非限制本發明的技術方案，盡管參照上述實施例對本發明進行了詳細說明，本領域的普通技術人員應該了解：依然可以對本發明進行修改或者等同替換，而不脫離本發明的精神和範圍的任何修改或局部替換，其均應涵蓋在本發明的權利要求範圍當中。