天天看點

《開源安全運維平台-OSSIM最佳實踐》将于2015年底出版

《開源安全運維平台-OSSIM最佳實踐》即将出版

       經多年潛心研究開源技術,曆時三年創作的《開源安全運維平台OSSIM最佳實踐》一書即将出版。該書用100多萬字記錄了作者10多年的OSSIM研究應用成果,重點展示了開源安全管理平台OSSIM在大型企業網運維管理中的實踐。國内目前也有各式各樣的運維系統,經過筆者對比分析得出這些工具無論在功能上、性能上還是在安全和穩定性易用性上都無法跟OSSIM系統想媲美,而且很多國内的開源安全運維項目在釋出幾年後就逐漸淡出了舞台,而OSSIM持續發展了十多年。

《開源安全運維平台-OSSIM最佳實踐》将于2015年底出版

樣章試讀:http://book.51cto.com/art/201601/504062.htm   

内容提要

全書共分三篇,10章:第一篇(1~2章)分主要介紹OSSIM架構與工作原理、系統規劃、實施關鍵要素和過濾分析SIEM事件的要領。第二篇(3~6章)主要介紹OSSIM所涉及的幾個背景資料庫,重點強調安全事件分類聚合、提取流程、關聯分析算法、Snort規則分析等技巧。第三篇(7~10章)主要介紹日志收集方法和标準化實作思路以及在OSSIM中用HIDS/NIDS、Netflow抓包分析異常流量的方法,深入分析了Openvas架構和腳本分析方法。

   全書裝幀精美,反映了國内資訊安全領域的前沿問題,為安全事件關聯分析提供了切實可行的實作方法,解決了企業中安全事件可視化分析的難題,可以作為開源技術研究人員、網絡安全管理人員以及高校計算機專業師生學習參考使用。

前  言

1. 現狀

日常工作中,運維人員大部分時間和精力都用于處理簡單、重複的問題,由于故障預警機制不完善,往往故障發生後才會進行處理,運維人員經常處于被動“救火”狀态。

《開源安全運維平台-OSSIM最佳實踐》将于2015年底出版

沒有高效的管理工具支援,就很難快速處理故障。市面上有很多運維監控工具,例如商業版的、 Solarwinds、ManageEngine以及WhatsUp等,開源的MRTG、Nagios、Cacti、Zabbix、OpenNMS、Ganglia等。由于它們彼此之間所生成的資料沒有關聯,無法共享,即便部署了這些工具,很多運維人員并沒有從中真正解脫出來,成千上萬條警告資訊堆積在一起,很難識别問題的根源,結果被海量日志所淹沒,無法解脫出來。

另外在傳統運維環境中,當檢視各種監控系統時需要多次登入,檢視繁多的界面,更新管理絕大多數工作主要是手工操作,即使一個簡單的系統變更,需要運維人員逐一登入系統,若遇到問題,管理者便會在各種平台間來回查詢,或靠人肉方式搜尋故障關鍵詞,不斷的重複着這種工作方式。企業需要一種內建安全的運維平台,滿足專業化、标準化和流程化的需要來實作運維工作的自動化管理,通過關聯分析及時發現故障隐患。

2. 手工整合的演化過程

在人工管理初期,主要依靠一些簡單的Shell腳本完成一些基礎工作,後來雖然采用Cacti來做性能監控,Nagios做主機監控、PHP+SSH等方式進行管理,但各種運維工具仍無法實作資料共享,此時整個防禦體系面對網絡威脅“反應遲鈍”,每當故障來襲,總是“馬後炮”,難以查找攻擊者的蹤迹,就好像一個人總被蚊子叮咬,想打蚊子可手眼又跟不上的感覺。

《開源安全運維平台-OSSIM最佳實踐》将于2015年底出版

經過分析後,開始嘗試将資産管理子產品、入侵檢測子產品、流量監控子產品、漏洞掃描子產品內建到一台伺服器中進行統一管理,實作了标準化日志、統一處理等任務,在系統改造中以下問題尤為突出:

l安裝時,各軟體間依賴問題依然難以解決。

l各子系統界面重複驗證和界面風格不統一。

l各子系統之間資料無法共享。

l無法實作資料之間關聯分析。

l無法生成統一格式的報表。

l缺乏統一的儀表闆以展示重要資訊。

l系統維護難度增大。

将這些開源工具內建比較困難,該方案架構并不合理,出現了性能瓶頸,對于安全事件的關聯分析、合規管理及知識庫查詢依然無法實作,而自己建設開發隊伍從頭開始做CMDB、監控、自動化、流程這種閉門造車的方案,成本開銷很大,另一種就是尋找開源解決方案。

3. 終極工具——OSSIM內建安全運維的平台

發現一個好的管理平台并不是偶然,管理者從最原始的指令行的運維時代,進化到統一管理平台,的确要走很多彎路,其實這一過程就是普通管理者到專家的蛻變。隻有經曆過磨難的管理者才能深刻體會到這一點。一款優秀的安全運維平台,需要将事件與IT 流程相關聯,篩選出運維人員最關心的事件,提高工作效率。在開源海洋中,各種技術風格迥異,文檔不全,成熟度又低,管控風險大,這些坑你趕來踩嗎?

《開源安全運維平台-OSSIM最佳實踐》将于2015年底出版

經過作者長期實踐,目前能滿足上述要求的開源産品唯有OSSIM系統,它是唯一能進入Gartner 魔力象限的系統,它由Alienvault公司開發,現分為開源OSSIM和商業版USM兩種,通過該平台實作對使用者操作規範的限制和對計算機資源進行監控,包括伺服器、資料庫、中間件、存儲備份、網絡基礎設施,通過自動監控管理平台實作故障綜合處理和集中管理,能夠為您的網絡建構起一套敏感的、全方位的中樞神經系統,達到感覺網絡威脅的效果。OSSIM4系統主要菜單如下:

《開源安全運維平台-OSSIM最佳實踐》将于2015年底出版

它功能之複雜,遠非個人在能短時間内就能解決的,如對于開發OSSIM,更是需要了解更多知識,它的元件、資料庫和涉及開發工具,如下圖所示。

《開源安全運維平台-OSSIM最佳實踐》将于2015年底出版

對于上述難點問題,就需要一本專業書籍,能幫助使用者解決。在該書沒出世之前,隻能“硬啃”。

說起來,我和OSSIM還是挺有緣分。研究所學生時曾開發過開源統一安全管理平台項目,主要目标是将不同網絡裝置和伺服器的日志,通過标準化轉化為事件,然後統一進行日志分析與裝置關聯。在完成這個項目過程中,主要參考OSSIM源代碼,先後嘗試了基于統計、基于距離和基于決策樹的算法,攻破了網絡安全事件聚合的難題。

這些年先後為幾十家機關成功部署了OSSIM系統,并提供技術支援。在OSSIM項目實施過程中不斷總結遇到的各種問題,經過三年的技術沉澱與積累,目前已經撰寫出600多頁的OSSIM應用教程,但是這些零散的手稿不成體系。從2015年初,開始将這些系統部署的經驗進行合理組織,全書規劃成三篇,共十章内容,這些内容包含OSSIM系統的各種知識和技巧,使讀者今後再遇到問題能夠舉一反三。即使OSSIM更新更新後,讀者也能結合書中介紹的概念和操作方法,同樣能夠掌握,那麼本書的目标就達到了。

從事IT工作的人都比較忙,很少有完整的時間能清閑下來,對于一般人而言沒有時間,就是最好的幌子,而善于利用時間的人往往能夠利用各種間隙,進行創作構思。在本書創作中并不是一帆風順,有時候為了驗證一個技術問題,需要反複實驗,為了一句話需要經過反複推敲。

初稿出爐,必須經過不斷修改潤色,才适合閱讀,本書剛剛寫完時才500多頁,但是在一遍又一遍的修改筆誤和錯别字之後,萌發出新的想法,每複查一遍,我都會對原稿做一些改動,數量上要數第一次改動擴充最大,以後逐漸減少,直到滿意為止。

本書不是什麼神功秘籍,無法讓你在短時間内從一個小白變成一個牛人。書中以OSSIM 4平台為基礎進行講解,将各種開源軟體合理的融入進來,并把本人多年OSSIM實施經驗以案例的形式表達出來。學習OSSIM的道路并不是一帆風順,希望讀者朋友再遇到困難時,本書能夠為您答疑解惑。

書的結構好比架構,而内容則是具體組成元素,本書采用了文字、圖表和範例等形式,将OSSIM複雜的結構和工作流程直覺的展現給讀者。全書分為三部分,共10章。

1. 基礎篇

第1章:本章從OSSIM起源講起,介紹了目前運維人員現狀,逐漸談到應用SIEM的必要性,進而介紹OSSIM架構與組成原理,另外還介紹了基于插件的日志采集思路,提出标準化安全事件的全新理念,詳細分析了OSSIM的高可用架構與實作方法。

第2章:本章從OSSIM實施關鍵要素、安裝政策、硬體選型開始,深入分析單機部署,分布式體系、傳感器設定等重要安裝工作。分析了安裝過程以圖文并茂的方式,指出了系統配置過程,包括實體機,虛拟機不同環境中的安裝方法及注意事項。最後重點分析了SIEM事件控制台的使用和事件過濾方法。

2. 提高篇

第3章:本章對于OSSIM開發人員很有幫助,除了介紹OSSIM資料庫組成、表結構,以及系統遷移備份等技巧,以外還包括各種常見MySQL故障等内容。

第4章:本章從關聯分析基礎講起,逐漸深入到OSSIM安全事件提取過程,介紹了常用的關聯分析算法。還對報警事件的聚合原理作了詳細分析,并結合OSSIM現狀采用多個執行個體講解關聯規則和自定義政策的使用方法。

第5章:本章主要介紹各種OSSIM系統中的監控調試工具的使用,以及系統瓶頸的診斷方法。

第6章:本章重點介紹了Snort 原理和預處理程式發揮的作用,包括Snort報警方法。深入分析Snort規則編寫在OSSIM中的應用技巧以及網絡異常行為分析方法。

3. 實戰篇

第7章:本章從日志标準化和收集分析方法講起,詳細分析各種服務、網絡裝置所産生的日志,包括Apache、Ftp、Squid、Dhcp等,并通過執行個體詳細介紹OSSIM插件開發過程。

第8章:本章講解Netflow進行異常流量分析的方法,包括Netflow資料采集和過濾方法,介紹了分布式環境中,利用Netflow監測異常流量的技巧,同時針對OSSIM中Ntop、Nagios、Netflow三種檢測工具的使用方法進行了對比。最後還介紹了Cacti和Zabbix第三方開源監控軟體內建的方法。

第9章:本章從OSSIM控制管理中心角色權限控制講起,全面介紹了OSSIM Web UI的結構,講解了Ossec日志分析工具的配置使用和Agent的安裝方法。介紹了OSSIM中管理網絡資産的執行個體,并對Openvas掃描子產品、腳本以及規則做了深入分析。展示了多個利用OSSIM進行進階攻擊檢測的執行個體,以及利用OSSIM進行合規管理和系統統一報表輸出的方法。

第10章:本章主要講解基于Web方式下的抓包及資料包過濾方法,并采用該工具遠端解決網絡故障的方法,重點介紹了tshark、tcpdump等抓包工具的進階使用方法,最後以一個典型IE浏覽器的0 day漏洞攻擊的執行個體來檢驗這種工具所發揮的作用。

(1)關于版本

本書軟體的安裝環境為DebianLinux 6.0(Squeeze),核心為2.6.32。在安裝其他軟體時,必須符合該版本要求。

(2)關于菜單的描述

OSSIM的前台界面複雜,書中經常會用一串帶箭頭的單詞表達菜單的路徑,例如Web UI 的Dashboards→Overview→Executive,表示Web界面下滑鼠依次經過菜單Dashboards、Overview最後到達Executive儀表闆。

(3)路徑問題

本書中除特别說明,所涉及路徑均指在OSSIM系統下的路徑,而不是其他的Linux發行版。終端控制台指通過root登入系統,然後輸入“ossim-setup”啟動OSSIM終端控制台的界面,如圖1所示。

《開源安全運維平台-OSSIM最佳實踐》将于2015年底出版

圖1  終端控制台

在終端控制台下,選擇JailbreakSystem菜單就能進入Rootshell,登入日志會儲存在/var/log/ossim/root_access.log檔案中。

(4)SIEM事件分析控制台

書中的SIEM控制台是指通過Web UI 進入系統,在菜單Analysis→SIEM下的界面,如圖2所示。

《開源安全運維平台-OSSIM最佳實踐》将于2015年底出版

圖2  SIEM事件分析控制台

(5)關于OSSIM Server端與Sensor端的約定

本書各章中講述的OSSIMServer端,是指通過AlienvaultUSM安裝的系統,包括OSSIM四大元件,Sensor端是通過Alienvault Sensor安裝的系統。

(6)關于地圖顯示問題

所有地圖資訊引自谷歌地圖,大家在做實驗前確定能連上谷歌地圖,而且使用系統中OTX,前提條件也需要能連接配接到谷歌。

(7)浏覽器約定

OSSIM Web UI适合采用Safari7.0以上、Google Chrome44.0以上IE10.0以上浏覽器通路。

本書主要面向以下類型讀者:

l網際網路和安全行業的系統安全從業人員。

l銀行、證卷和保險行業IT運維人員。

l政府、高校和科研機構等機關IT運維人員。

本書配套CD光牒包括:OSSIM入門多媒體教程、OSSIM安裝ISO、OSSIM源碼三部分内容,其中視訊内容有以下章節:

l第一集:OSSIM的由來及應用部署

l第二集:網絡威脅感覺技術探讨

l第三集:OSSIM單機部署安裝與分布式安裝

l第四集:OSSIM儀表盤操作初步

l第五集:SIEM控制台與Alarm事件告警解析

l第六集:資産管理與漏洞掃描

l第七集:Openvas組成及更新實踐

l第八集:Netflow應用

l第九集:OSSIM權限設定與政策管理

l第十集:用OSSIM發現蠕蟲攻擊

l第十一集:報表合規管理

l第十二集:指令行模式下控制台綜合管理

李晨光,畢業于×××研究所學生院,目前就職于世界500強企業,資深網絡架構師、51CTO學院講師、IBM精英講師、UNIX/Linux系統安全專家,現任中國計算機學會(CCF)進階會員;在國内《計算機安全》、《程式員》、《計算機世界》、《網絡運維與管理》、《黑客防線》等專業雜志發表論文六十餘篇。曾獨著暢銷書《Linux企業應用案例精解》、《Linux企業應用案例精解第2版》,《Unix/Linux網絡日志分析與流量監控》等經典學習教程,均被中科院圖書館、國内重點高校圖書館和國立台灣大學圖書館等200多家圖書館收藏。《Unix/Linux網絡日志分析與流量監控》一書,于2015年獲最受讀者喜愛的本版類圖書獎。

《開源安全運維平台-OSSIM最佳實踐》将于2015年底出版

曾著圖書價值

本人所著圖書全部收錄在國内211、985重點高校和科研機構圖書館。

《開源安全運維平台-OSSIM最佳實踐》将于2015年底出版

查詢結果出自:http://www.las.ac.cn/

《開源安全運維平台-OSSIM最佳實踐》将于2015年底出版

 多部著作獲獎并重印

《開源安全運維平台-OSSIM最佳實踐》将于2015年底出版

讀者好評率95%以上

《開源安全運維平台-OSSIM最佳實踐》将于2015年底出版

《中華讀書報》報道該書的原文:http://epaper.gmw.cn/zhdsb/p_w_picpaths/2015-01/28/19/2015012819_pdf.pdf

《網絡運維與管理》雜志于2014年7月份刊發了本人人物專訪。

本人經常受邀在國内系統架構師大會和網絡資訊安全大會發表技術演講,2012年擔任中國系統架構師大會(SACC)運維開發專場嘉賓主持人。2013年在IT168舉辦企業内網資訊安全實踐沙龍活動在發表技術演講。2014(第十屆)中國網絡主管論壇北京站發表技術演講。2014年《網絡運維與管理》雜志對本人進行獨家專訪并刊發于13期雜志中、2015年4月在WOT網際網路運維與開發者大會發表技術演講,如圖3所示。

《開源安全運維平台-OSSIM最佳實踐》将于2015年底出版

圖3  作者在各種全國大會中發表技術演講

由于OSSIM本身結構複雜,知識點衆多,在本書撰寫過程中難免有所疏漏,希望廣大讀者能把問題回報給筆者,本人不勝感激。為了友善讀者學習實踐,書中涉及所有軟體和實驗環境都已釋出在作者部落格http://chenguang.blog.51cto.com/350944/1679097,在此部落格中的OSSIM專欄包含了大量實戰經驗,大家可以一邊閱讀本書,一般參考部落格,互為印證,如有問題大家可以留言,我将定期為讀者解答。

首先感謝我的父母多年來養育之恩,感謝我在各個求學階段的老師們,感謝每一位讀者,你們将是本書繼續完善的新動力,尤其要感謝我的妻子,有了她精心的照顧,我才能全身心投入到創作中。最後要感謝清華大學出版社的編輯們,為了提升本書品質他們花費了大量心血。本書若有不足之處,敬請讀者不吝指正。

                                                            李晨光 

                                                                                                         2015年9月

本書關鍵詞:

日志标準化;  可視化事件;  網絡安全态勢感覺技術;  關聯分析;  網絡風險評估;  漏洞掃描;協定分析; 流量分析; 合規管理; 報表輸出; 分布式部署; IDS/NIDS/HIDS; IP信譽評價;開放威脅交換OTX;知識庫;資料庫備份

目  錄

第一篇  基礎篇

第1章  OSSIM架構與原理 

1.1  OSSIM概況 2

1.1.1  從SIM到OSSIM 3

1.1.2  安全資訊和事件管理(SIEM) 4

1.1.3  OSSIM的前世今生 5

1.2  OSSIM架構與組成 11

1.2.1  主要子產品的關系 12

1.2.2  安全插件(Plugins) 14

1.2.3  采集與監控插件的差別 15

1.2.4  檢測器(Detector) 18

1.2.5  代理(Agent) 18

1.2.6  報警格式的解碼 19

1.2.7  OSSIM Agent 20

1.2.8  代理與插件的差別 24

1.2.9  傳感器(Sensor) 24

1.2.10  關聯引擎 26

1.2.11  資料庫(Database) 28

1.2.12  Web 架構(Framework) 29

1.2.13  Ajax建立互動 30

1.2.14  歸一化處理 31

1.2.15  标準的安全事件格式 31

1.2.16  OSSIM服務端口 35

1.3  基于插件的日志采集 37

1.3.1  安全事件分類 37

1.3.2  采集思路 37

1.4  Agent事件類型 43

1.4.1  普通日志舉例 43

1.4.2  plugin_id一對多關系 44

1.4.3  MAC事件日志舉例 46

1.4.4  作業系統事件日志舉例 46

1.4.5  系統服務事件日志舉例 46

1.5  RRDTool繪圖引擎 47

1.5.1  背景 47

1.5.2  RRD Tool與關系資料庫的不同 48

1.5.3  RRD繪圖流程 48

1.6  OSSIM工作流程 49

1.7  緩存與消息隊列 49

1.7.1  緩存系統 49

1.7.2  消息隊列處理 50

1.7.3  RabbitMQ 51

1.7.4  選擇Key/Value存儲 52

1.7.5  Ossim下操作Redis 53

1.7.6  Redis Server配置詳解 56

1.7.7  RabbitMQ、Redis與Memcached監控 57

1.8  OSSIM 高可用架構 59

1.8.1  OSSIM高可用實作技術 59

1.8.2  安裝環境 60

1.8.3  配置本地主機 60

1.8.4  配置遠端主機 61

1.8.5  同步資料庫 61

1.8.6  同步本地檔案 61

1.9  OSSIM防火牆 62

1.9.1  了解Filter機制 62

1.9.2  規則比對過程 64

1.9.3  Iptables規則庫管理 65

1.10  OSSIM的計劃任務 66

1.10.1  Linux計劃任務 66

1.10.2  OSSIM中的計劃任務 68

1.11  小結 70

第2章  OSSIM部署與安裝 

2.1  OSSIM安裝政策 71

2.1.1  定制IDS政策 71

2.1.2  傳感器位置 72

2.2  分布式OSSIM體系 73

2.2.1  特别應用 74

2.2.2  多IDS系統應用 74

2.3  安裝前的準備工作 75

2.3.1  軟硬體配備 75

2.3.2  傳感器部署 76

2.3.3  分布式OSSIM系統探針布局 78

2.3.4  OSSIM伺服器的選擇 78

2.3.5  網卡的選擇 80

2.3.6  手動加載網卡驅動 80

2.3.7  采用多核還是單核CPU 81

2.3.8  查找硬體資訊 81

2.3.9  OSSIM USM和Sensor安裝模式的差別 82

2.3.10  OSSIM商業版和免費版比較 83

2.3.11  OSSIM實施特點 84

2.3.12  OSSIM管理者分工 85

2.4  混合伺服器/傳感器安裝模式 86

2.4.1  安裝前的準備工作 86

2.4.2  開始安裝OSSIM 86

2.4.3  遺忘Web UI登入密碼的處理方法 90

2.5  初始化系統 90

2.5.1  設定初始頁面 91

2.5.2  OTX——情報交換系統 97

2.6  Vmware ESXi下安裝OSSIM注意事項 100

2.6.1  設定方法 100

2.6.2  虛拟機下無法找到磁盤的對策 102

2.7  OSSIM分布式安裝實踐 102

2.7.1  基于OpenSSL的安全認證中心 102

2.7.2  安裝步驟 102

2.7.3  分布式部署(×××連接配接 )舉例 103

2.7.4  安裝多台OSSIM(Sensor) 105

2.7.5  Sensor重裝流程 110

2.8  添加×××連接配接 111

2.8.1  需求 111

2.8.2  Server端配置(10.0.0.30) 111

2.8.3  配置sensor(10.0.0.31) 112

2.9  安裝最後階段 113

2.10  OSSIM安裝後續工作 114

2.10.1  時間同步問題 114

2.10.2  系統更新 115

2.10.3  apt-get 常見操作 118

2.10.4  掃描資産 119

2.10.5  通過代理更新系統 119

2.10.6  防火牆設定 120

2.10.7  讓控制台支援高分辨率 121

2.10.8  手動修改伺服器 IP位址 121

2.10.9  修改系統網關和DNS位址 121

2.10.10  更改預設網絡接口 122

2.10.11  消除登入菜單 122

2.10.12  進入OSSIM單使用者模式 122

2.11  OSSIM啟動與停止 123

2.12  安裝遠端管理工具 125

2.12.1  安裝Webmin管理工具 125

2.12.2  安裝PhpmyAdmin 125

2.12.3  用PhpmyAdmin同步功能遷移資料庫 127

2.13  分布式系統檢視傳感器狀态 128

2.13.1  設定訓示器 128

2.13.2  注意事項 130

2.14  安裝桌面環境 131

2.14.1  安裝GNOME環境 131

2.14.2  安裝FVWM環境 132

2.14.3  安裝虛拟機 135

2.15  自動化配置管理工具Ansible 137

2.15.1  SSH的核心作用 138

2.15.2  Ansible配置 139

2.15.3  Ansible實戰 139

2.15.4  豐富的子產品 144

2.15.5  Ansible 與其他配置管理的對比 144

2.16  SIEM控制台基礎 144

2.16.1  SIEM控制台日志過濾技巧 145

2.16.2  将重要日志加入到知識庫 151

2.16.3  SIEM中顯示不同類别日志 153

2.16.4  常見搜尋資訊 156

2.16.5  儀表盤顯示 156

2.16.6  事件删除與恢複 157

2.16.7  深入使用SIEM控制台 158

2.16.8  SIEM事件聚合 162

2.16.9  SIEM要素 163

2.16.10  SIEM警報中顯示計算機名 170

2.16.11  SIEM事件儲存期限 170

2.16.12  SIEM資料源與插件的關系 171

2.16.13  SIEM日志顯示中出現0.0.0.0位址的含義 172

2.16.14  無法顯示SIEM安全事件時處理方法 173

2.16.15  SIEM資料庫恢複 173

2.16.17  EPS的含義 174

2.16.17  常見OSSIM 安裝/使用錯誤 175

2.17  可視化網絡攻擊報警Alarm分析 177

2.17.1  報警事件的産生 177

2.17.2  報警事件分類 178

2.17.3  五類報警資料包樣本下載下傳 183

2.17.4  報警分組 183

2.17.5  識别告警真僞 185

2.17.6  觸發OSSIM報警 185

2.18  小結 193

第二篇  提高篇

第3章  OSSIM資料庫概述 

3.1  OSSIM資料庫組成 195

3.1.1  MySQL 195

3.1.2  本地通路 196

3.1.3  檢查、分析表 198

3.1.4  啟用MySQL慢查詢記錄 199

3.1.5  遠端通路 199

3.1.6  MongoDB 200

3.1.7  SQLite 201

3.2  OSSIM資料庫分析工具 

3.2.1  負載模拟方法 202

3.2.2  用MySQL Workbench工具分析 資料庫 203

3.3  檢視OSSIM資料庫表結構解析 209

3.4  MySQL基本操作 212

3.5  OSSIM系統遷移 213

3.5.1  遷移準備 213

3.5.2  恢複OSSIM 214

3.6  OSSIM資料庫常見問題解答 216

                  1.當OSSIM 4系統資料庫發生損壞時,如何重建資料庫。

                  2.如何查詢OSSIM資料庫的host開頭的表。

                  3.如何備份OSSIM的SIEM資料庫。

                  4.如何檢視MySQL資料庫資訊。

                  5.如何檢視OSSIM系統的SIEM資料庫備份情況。

                  6.如何終止OSSIM資料庫的僵屍程序。

                  7.如果負載過大在OSSIM 系統中出現“MySQL :ERROR 1040:Too many connections”情況如何處理。

                  8.如何遠端導出OSSIM資料庫表結構。

                  9.OSSIM系統出現acid表錯誤時如何處理。

                  10.能修改OSSIM系統中MySQL資料庫密碼?

                  11.當意外中斷資料庫寫操作會會對資料庫的表造成損壞,如何檢查表。

                  12.如何清理OSSIM資料庫。

                  13.如何用xtrabackup備份OSSIM 資料庫。

                  14.如何快速清除SIEM資料庫。

                  15.如何記錄OSSIM資料庫的執行過程。

                  16.如何優化表。

                  17.如何用mysqldump備份資料庫。

3.7  小結 226

第4章  OSSIM關聯分析技術 

4.1  關聯分析技術背景 227

4.1.1  目前的挑戰 227

4.1.2  基本概念 228

4.1.3  安全事件之間的關系 228

4.2  關聯分析基礎 229

4.2.1  從海量資料到精準資料 229

4.2.2  網絡安全事件的分類 230

4.2.3  Alarm與Ticket的差別 234

4.2.4  使用Ticket 235

4.2.5  加入知識庫 236

4.2.6  安全事件提取 237

4.2.7  OSSIM的關聯引擎 238

4.2.8  事件的交叉關聯 239

4.3  報警聚合 240

4.3.1  報警樣本舉例 240

4.3.2  事件聚合 241

4.3.3  事件聚合舉例 242

4.3.4  事件聚合在OSSIM中的表現形式 243

4.3.5  SIEM中的備援報警 244

4.3.6  合并相似事件 245

4.3.7  同類事件的判别 245

4.3.8  合并流程 246

4.3.9  事件映射 246

4.3.10  Ossec 的報警資訊的聚類 247

4.3.11  Ossec與Snort 事件合并 248

4.4  風險評估方法 249

4.4.1  風險評估三要素 249

4.4.2  Risk & Priority & Reliability的關系執行個體 250

4.4.3  動态可信度值(Reliability) 253

4.4.4  檢視SIEM不同僚件 254

4.5  OSSIM系統風險度量方法 256

4.5.1  風險判定 256

4.5.2  事件積累過程 258

4.6  OSSIM中的關聯分類 259

4.6.1  關聯分類 259

4.6.2  關聯指令分類 260

4.6.3  指令組成 262

4.6.4  讀懂指令規則 264

4.6.5  Directive Info 265

4.7  建立關聯指令 266

4.8  OSSIM的關聯規則 270

4.8.1  關聯指令配置界面 271

4.8.2  建構規則 274

4.9  深入關聯規則 276

4.9.1  基本操作 276

4.9.2  了解規則樹 277

4.9.3  攻擊場景建構 281

4.9.4  報警聚合計算方法 282

4.10  自定義政策實作SSH登入失敗告警 282

4.11  小結 286

第5章  OSSIM系統監測工具 

5.1  Linux性能評估 287

5.1.1  性能評估工具 287

5.1.2  查找消耗資源的程序 289

5.2  OSSIM壓力測試 289

5.2.1  軟硬體測試環境 289

5.2.2  測試項目 290

5.2.3  測試工具 290

5.2.4  IDS測試工具Nidsbench 293

5.3  性能分析工具執行個體 295

5.3.1  sar 296

5.3.2  vmstat 296

5.3.3  用iostat分析I/O子系統 297

5.3.4  dstat 298

5.3.5  iotop 300

5.3.6  atop 300

5.3.7  替代netstat的工具ss。 300

5.4  OSSIM平台中MySQL運作狀況 301

5.4.1  影響MySQL性能的因素 301

5.4.2  系統的IOPS 302

5.5  2Syslog壓力測試工具——Mustsyslog使用 303

5.5.1  安裝mustsyslog 304

5.5.2  日志模闆設計 306

5.5.3  日志标簽說明 306

5.5.4  域标簽舉例 306

5.6  常見問題解答 

             1.OSSIM系統空間不足在哪裡查找大型檔案。

             2. 何時應考慮增加系統記憶體。

             3.檢測OSSIM系統整體狀态的指令行工具

             4.監控MySQL利器-mytop

             5.監控Linux系統資源和程序的工具。

             6.如何找出最消耗記憶體的程序(smem)

             7.如何對OSSIM系統目錄大小進行排序?(ncdu)。

             8.OSSIM的流量監控工具iftop。

             9.如何利用Apache自帶工具ab測試OSSIM 響應速度。

             10.如何詳細了解OSSIM系統程序的網絡帶寬占用情況

             11.為OSSIM系統進行壓力測試tcpreplay。

             12.壓力測試工具Tsung使用。

             13. hping3的使用

5.7  小結 322

第6章  Snort規則分析 

6.1  預處理程式 323

6.1.1  預處理器介紹 323

6.1.2  調整預處理程式 330

6.1.3  網絡攻擊模式分類 330

6.2  Snort日志分析利器 332

6.3  Snort日志分析 333

6.3.1  工作模式及輸出插件 333

6.3.2  資料包記錄模式 335

6.3.3  網絡入侵檢測模式HIDS 338

6.3.4  輸出插件 338

6.4  Snort 規則編寫 345

6.4.1  Snort 規則分析 346

6.4.2  規則組成及含義 347

6.4.3  編寫SNORT規則 353

6.4.4  手工修改Suricata規則 356

6.4.5  啟用建立的ET規則 356

6.4.6  應用新規則 357

6.4.7  主動探測與被動探測 358

6.5  可疑流量檢測技術 358

6.5.1  通過特征檢測 358

6.5.2  檢測可疑的載荷 358

6.5.3  檢測具體元素 359

6.5.4  OSSIM中的Snort規則與SPADE檢測 360

6.5.5  惡意代碼行為特征分析 360

6.5.6  蜜罐檢測 361

6.6    Snort規則進階 362

6.6.1  可疑流量的報警 362

6.6.2  空會話攻擊漏洞報警 363

6.6.3  使用者權限擷取 363

6.6.4  失敗的權限提升報警規則 364

6.6.5  企圖擷取管理者權限 364

6.6.6  成功擷取管理者權限 364

6.6.7  拒絕服務 365

6.7  高速網絡環境的應用 367

6.7.1  Suricata VS Snort 367

6.7.2  PF_RING工作模式 368

6.8  網絡異常行為分析 368

6.8.1  流程分析 368

6.8.2  舉例 370

6.10  小結 371

第三篇  實戰篇

第7章  OSSIM日志收集與分析 

7.1  日志分析現狀 324

7.1.1  日志記錄内容 325

7.1.2  日志中能看出什麼? 326

7.1.3  日志分析的基本工具及缺陷 327

7.1.4  海量日志收集方式 327

7.2  日志消息格式與存儲 327

7.2.1  日志消息格式 327

7.2.2  OSSIM下的日志查詢比較 328

7.2.3  日志的導出 330

7.2.4  日志分類可視化 331

7.2.5  基于文本格式的日志 332

7.2.6  基于壓縮模式的日志檔案 333

7.2.7  日志轉儲到資料庫 334

7.2.8  日志處理及儲存時間 335

7.2.9  日志系統保護 335

7.2.10  日志輪詢 335

7.2.11  OSSIM分布式系統中日志存儲問題 336

7.3  日志協定Syslog 336

7.3.1  常見日志收集方式 337

7.3.2  日志的标準化 338

7.3.3  主流日志格式介紹 338

7.3.4  Syslog日志記錄級别 340

7.3.5  Syslog.conf配置檔案 340

7.3.6  用Tcpdump分析Syslog資料包 342

7.3.7  Syslog的安全漏洞 342

7.3.8  配置SNMP 342

7.4  原始日志格式對比 343

7.5  插件配置步驟 344

7.6  插件導入 345

7.7  插件注冊操作執行個體 345

7.8  Agent插件處理日志舉例 349

7.8.1  收集與處理過程 349

7.8.2  常見Windows日志轉換syslog工具 352

7.8.3  Windows日志稽核 353

7.8.4  收集Windows平台日志 353

7.8.5  收集Cisco 路由器日志 354

7.9  rsyslog 355

7.9.1  Rsyslog配置詳解 355

7.9.2  rsyslog配置參數含義 356

7.9.3  選擇合适的日志級别 356

7.10  網絡裝置日志分析與舉例 357

7.10.1  路由器日志分析 358

7.10.2  交換機日志分析 358

7.10.3  防火牆日志分析 360

7.10.4  收集CheckPoint裝置日志 362

7.10.5  Aruba(無線AP)的日志 364

7.11  Apache日志分析 364

7.11.1  日志作用 364

7.11.2  日志格式分析 365

7.11.3  日志統計舉例 365

7.11.4  錯誤日志分析 367

7.12  Nginx日志分析 369

7.12.1 基本格式 369

7.12.2  将Nginx日志發送到Syslog 370

7.13  FTP日志分析 370

7.13.1  FTP日志分析 371

7.13.2  分析vsftpd.log和xferlog 372

7.13.3  将Linux的 Vsftp日志發送到OSSIM 373

7.14  iptables 日志分析 375

7.14.1  iptables日志分析 375

7.14.2  iptables日志管理範例 377

7.14.3  輸出iptables日志到指定檔案 378

7.15  Squid服務日志分析 380

7.15.1  Squid日志分類 381

7.15.2  典型Squid通路日志分析 381

7.15.3  Squid時間戳轉換 382

7.15.4  将Squid的日志收集到OSSIM 383

7.16  DHCP 伺服器日志 384

7.17  收集Windows日志 386

7.17.1  OSSIM日志處理流程 387

7.17.2  通過Snare轉發Windows日志 387

7.17.3  通過WMI收集Windows日志 391

7.17.4  配置OSSIM 392

7.17.5  Snare與WMI的差別 394

7.18  小結 394

第8章  OSSIM流量分析與監控 

8.1  用NetFlow分析異常流量 395

8.1.1  流量采集對業務的影響 396

8.1.2  NetFlow 的Cache管理 397

8.1.3  NetFlow的輸出格式 397

8.1.4  NetFlow的采樣機制 397

8.1.5  NetFlow采樣過濾 397

8.2  NetFlow在監測惡意代碼中的優勢 399

8.2.1  NetFlow的性能影響 400

8.2.2  NetFlow在蠕蟲病毒監測的應用 400

8.2.3  網絡掃描和蠕蟲檢測的問題 401

8.2.4  NetFlow與谷歌地圖的內建顯示 404

8.2.5  其他異常流量檢測結果分析 405

8.3  OSSIM下NetFlow實戰 406

8.3.1  NetFlow組成 406

8.3.2  關鍵參數解釋 408

8.3.3  Sensor中啟用NetFlow 409

8.3.4  Nfsen資料流的存儲位置 410

8.3.5  NetFlows抽樣資料儲存時間 412

8.3.6  NetFlow的讀取方式 412

8.3.7  nfdump的作用 414

8.3.8  将NetFlow資料內建到Web UI的儀表盤 414

8.3.9  分布式環境下NetFlow資料流處理 415

8.4  OSSIM流量監控工具綜合應用 419

8.4.1  Ntop流量采集方式 419

8.4.2  Ntop監控 420

8.4.3  資料大小分析 425

8.4.4  流量分析 426

8.4.5  協定分析 430

8.4.6  負載分析 431

8.4.7  Ntop應用-網絡視訊的監視 432

8.4.8  Ntop 的風險旗幟标示    434

8.4.9  更新到Ntopng 437

8.5  故障排除 439

8.5.1  多網卡問題 439

8.5.2  Ntop Web頁面打開緩慢對策 439

8.5.3  “Sensor not available”故障對策 440

8.5.4  暫停Ntop服務 440

8.5.5  管理者密碼遺忘對策 441

8.6  用Nagios監視 441

8.6.1  Nagios實作原理 442

8.6.2  利用NRPE 插件實作伺服器監控 443

8.6.3  Nagios的Web 界面 445

8.6.4  Naigos插件 451

8.6.5  Nagios擴充NRPE 456

8.6.6  監控開銷 457

8.6.7  OSSIM系統中應用Nagios監控資源 457

8.6.8  Nagios報錯處理 459

8.6.9  被動資産檢測PRADS 460

8.6.10  性能監控利器Munin 461

8.7  Nagios配置檔案 462

8.7.1  主機定義 463

8.7.2  服務定義 464

8.8  第三方監控工具內建 464

8.8.1  OSSIM 2.3的內建 465

8.8.2  OSSIM 4.1的內建 466

8.8.3  OSSIM 4.6的內建 466

8.8.4  Sensor安裝Cacti 467

8.8.5  安裝Zabbix 469

8.9  硬體監控 470

8.9.1  IPMI 470

8.9.2  lm-sensors 472

8.9.3  hddtemp 473

8.10  小結 473

第9章  OSSIM應用實戰

9.1使用OSSIM系統 474

9.1.1  初識OSSIM  WebUI 474

9.1.2  OSSIM 4.8界面 477

9.1.3  OSSIM控制中心:AlienVault Center 480

9.1.4  基于角色的通路權限控制 480

9.1.5 儀表盤詳解 483

9.2  OSSIM的Web UI菜單結構 485

9.3  OSSEC架構與配置 487

9.3.1  OSSEC架構 487

9.3.2  OSSEC Agent端程序 488

9.3.3  OSSEC Server端 491

9.3.4  OSSEC配置檔案和規則庫 492

9.3.5  測試規則 494

9.3.6  分布式系統中OSSEC Agent的管理 495

9.3.7  OSSEC日志存儲 496

9.3.8  OSSEC Agent安裝 496

9.3.9  OSSEC觸發的關聯分析報警 507

9.3.10  其他HIDS應用 510

9.4  資産Assets管理 512

9.4.1  資産發現 512

9.4.2  資産地圖定位 513

9.4.3  掃描控制參數 514

9.4.4  資産清單 514

9.4.5  資産管理工具 516

9.4.6  資産分組 518

9.4.7  資産快速查找 519

9.4.8  設定Nmap掃描頻率 520

9.4.9  OCS檢測頻率 520

9.5  Openvas掃描子產品分析 520

9.5.1  掃描流程控制 521

9.5.2  掃描插件分析 522

9.5.3  腳本加載過程 526

9.5.4  NASL腳本介紹 527

9.6  OpenVAS腳本分析 527

9.6.1  OpenVAS腳本類别 528

9.6.2  同步Openvas插件 528

9.7  漏洞掃描實踐 533

9.7.1  漏洞庫 533

9.7.2  常見漏洞釋出網站 535

9.7.3  手動更新CVE庫 536

9.7.4  采用OpenVAS掃描 536

9.7.5  掃描過程 541

9.7.6  變更掃描政策 543

9.7.7  Nmap與Openvas的差別 546

9.7.8  分布式漏洞掃描 547

9.7.9  設定掃描使用者憑證 548

9.7.10  掃描頻率 549

9.7.11  漏洞掃描逾時問題 550

9.8  Openvas掃描故障排除 550

9.8.1  常見Openvas故障三則 550

9.8.2  OpenVAS故障分析 554

9.9  配置OSSIM報警 558

9.9.1  基本操作 558

9.9.2  執行個體 559

9.10  OSSIM在蠕蟲預防中的應用 562

9.10.1  多元度分析功能 563

9.10.2  發現異常流量 563

9.10.3  蠕蟲分析 564

9.10.4  流量分析 565

9.10.5  協定分析 567

9.11  時間線分析方法 568

9.11.1  時間線分析法的優勢 568

9.11.2  執行個體 568

9.12  利用OSSIM進行進階攻擊檢測 570

9.12.1  誤用檢測與異常檢測 570

9.12.2  繪制Shellcode代碼執行流程圖 573

9.12.3  收集異常行為流量樣本 574

9.13  合規管理及統一報表輸出 575

9.13.1  合規管理目标 575

9.13.2  主要技術 575

9.13.3  什麼是合規? 576

9.13.4  了解PCI合規遵從 576

9.13.5  報表類型 579

9.13.6  日志合規檢測 581

9.13.7  報表合規性 584

9.14  小結 587

第10章  基于B/S架構的資料包捕獲分析

10.1  資料包捕獲 588

10.1.1  資料包捕獲設定 589

10.1.2  抓包區域說明 590

10.1.3  抓包時提示“This traffic capture is empty”的解決辦法 

10.1.4  遠端故障排除案例 591

10.2  資料包過濾種類 592

10.3  過濾比對表達式執行個體 594

10.3.1  過濾基礎 594

10.3.2  協定過濾 594

10.3.3  對端口的過濾 595

10.3.4  對包長度的過濾 595

10.3.5  ngrep過濾 596

10.4  指令行工具tshark和dumpcap 597

10.4.1  tshark應用基礎 597

10.4.2  Dumpcap使用 598

10.4.3  用tshark分析pcap 599

10.5  使用tcpdump過濾器 601

10.5.1  tcpdump過濾器基礎 602

10.5.2  其他常見過濾器使用方法 603

10.5.3  通過Traffic Capture抓包存放位置 604

10.6  針對IE浏覽器漏洞的攻擊分析 604

10.6  小結 611

參考文獻 620

   此外,在随書CD光牒中提供OSSIM 安裝鏡像+學習視訊+OSSIM源碼,作者部落格中還提供了書中涉及的虛拟機環境,各種工具軟體和讀者答疑服務。

    許多初學者操作OSSIM猶如無頭蒼蠅,什麼都想研究,喜歡鑽牛角尖,遇到問題總是先問,再解決問題。,任何問題都需要定位分析,再解決,再總結。面對問題要靜下心來通過自己對基礎的認識來分析可能的原因,然後逐漸縮小範圍,最後位問題。

     冰凍三尺,非一日之寒,這本書希望讀者朋友能夠在研究SIEM糾結的時候想起還可依賴它。因為本書不僅僅在講解一些知識,同時也包含了作者以及身邊同僚的一些工作經曆,以及那些痛苦與糾結,我們希望在這本書的陪伴下,你在糾結之時選擇的不是放棄自我,而是堅持到勝利的那一刻。

繼續閱讀