《日志管理與分析權威指南》一導讀

歡迎閱讀本書。本書的目标是向資訊技術（it）專業人士提供了解和處理日志資料的入門知識。各種形式的日志資料是由許多類型的系統生成的。如何處理和分析日志資料是長期存在的一個問題。本書介紹能夠幫助你分析日志資料和尋找惡意活動的技術和工具。

過去，系統管理者審閱日志檔案，尋找磁盤錯誤或者核心問題。現在的系統管理者往往還要兼任安全管理者。更好地了解如何處理安全日志資料的需求從未像今天那麼重要。安全性分析人員是it專家組中負責跟蹤日志分析技術的人。許多經驗豐富的人曾經在“壓力測試”的模式下進行學習。本書的目标是提供幫助你快速了解各種概念的材料，提取許多人曾經花費多年學習的知識。

我們先來談談最近的一個重要問題：法規依從性。随着安能公司和其他企業的垮台，法規依從性現在成為了許多企業的核心主題，焦點現在集中在政策和規程。作為it工程師，你能說明，bob在被解雇之後無法通路自己的企業電子郵件賬戶嗎？這些事情需要公司提出規程。系統和網絡日志的架構正在以這樣那樣的方式變化。

目标讀者

本書面向任何對學習日志記錄和日志管理感興趣的人。下面介紹一些應該閱讀本書的人士。

系統管理者：承擔企業日志資料監控任務。

初級安全工程師：網絡安全的新手，希望學習日志分析技術。

應用程式開發人員：對從頭建構一個日志分析系統感興趣的人，本書提供了這方面的示例代碼。但是，全書為日志分析的重要性提供了很好的背景資料，這些領域也不應該忽略。

管理人員：想深入了解日志資料收集、存儲、分析和法規依從性等主題的人。如前所述，這些問題在企業中越來越多地出現，并将持續地成為it專業人士需要更多關注的領域。

所需基礎知識

我們假定讀者對網絡、作業系統和網絡安全等概念有基本的了解。但是，了解本書中的素材并不要求讀者是計算機科學家或者網絡高手。需要背景資訊的主題提供了必要的細節。大部分代碼示例采用perl和java程式設計語言。了解或者使用這些代碼示例并不要求讀者是java高手，是以我鼓勵每個人都仔細地閱讀這些例子。

<a href="https://yq.aliyun.com/articles/118294">第1章</a>

<a href="https://yq.aliyun.com/articles/118430">第2章</a>

<a href="https://yq.aliyun.com/articles/118487">第3章</a>

第4章　日志存儲技術

4.1　概述

4.2　日志留存政策

4.3　日志存儲格式

4.3.1　基于文本的日志檔案

4.3.2　二進制檔案

4.3.3　壓縮檔案

4.4　日志檔案的資料庫存儲

4.4.1　優點

4.4.2　缺點

4.4.3　定義資料庫存儲目标

4.5　hadoop日志存儲

4.5.1　優點

4.5.2　缺點

4.6　雲和hadoop

4.6.1　amazon elastic mapreduce入門

4.6.2　浏覽amazon

4.6.3　上傳日志到amazon簡單存儲服務（s3）

4.6.4　建立一個pig腳本分析apache通路日志

4.6.5　在amazon elastic mapreduce (emr)中處理日志資料

4.7　日志資料檢索和存檔

4.7.1　線上存儲

4.7.2　近線存儲

4.7.3　離線存儲

4.8　小結

參考文獻

第5章　syslog-ng案例研究

5.1　概述

5.2　擷取syslog-ng

5.3　什麼是syslog-ng

5.4　部署示例

5.5　syslog-ng故障排除

5.6　小結

第6章　隐蔽日志

6.1　概述

6.2　完全隐藏日志設定

6.2.1　隐藏日志生成

6.2.2　隐藏日志采集

6.2.3　ids日志源

6.2.4　日志收集伺服器

6.2.5　“僞”伺服器或“蜜罐”

6.3　在“蜜罐”中的日志記錄

6.3.1　蜜罐網絡的隐蔽shell擊鍵記錄器

6.3.2　蜜罐網絡的sebek2案例研究

6.4　隐蔽日志通道簡述

6.5　小結

第7章　分析日志的目标、規劃和準備

7.1　概述

7.2　目标

7.2.1　過去的問題

7.2.2　未來的問題

7.3　規劃

7.3.1　準确性

7.3.2　完整性

7.3.3　可信性

7.3.4　保管

7.3.5　清理

7.3.6　規範化

7.3.7　時間的挑戰

7.4　準備

7.4.1　分解日志消息

7.4.2　解析

7.4.3　資料精簡

7.5　小結

第8章　簡單分析技術

8.1　概述

8.2　一行接一行：絕望之路

8.3　簡單日志檢視器

8.3.1　實時稽核

8.3.2　曆史日志稽核

8.3.3　簡單日志操縱

8.4　人工日志稽核的局限性

8.5　對分析結果做出響應

8.5.1　根據關鍵日志采取行動

8.5.2　根據非關鍵日志的摘要采取行動

8.5.3　開發行動計劃

8.5.4　自動化的行動

8.6　示例

8.6.1　事故響應的場景

8.6.2　例行日志稽核

8.7　小結

第9章　過濾、規範化和關聯

9.1　概述

9.2　過濾

9.3　規範化

9.3.1　ip位址驗證

9.3.2　snort

9.3.3　windows snare

9.3.4　通用cisco ios消息

9.3.5　正規表達式性能考慮因素

9.4　關聯

9.4.1　微觀關聯

9.4.2　宏觀關聯

9.4.3　使用環境中的資料

9.4.4　簡單事件關聯器

9.4.5　狀态型規則示例

9.4.6　建構自己的規則引擎

9.5　常見搜尋模式

9.6　未來

9.7　小結

第10章　統計分析

10.1　概述

10.2　頻率

10.3　基線

10.3.1　門檻值

10.3.2　異常檢測

10.3.3　開窗

10.4　機器學習

10.4.1　knn算法

10.4.2　将knn算法應用到日志

10.5　結合統計分析和基于規則的關聯

10.6　小結

第11章　日志資料挖掘

11.1　概述

11.2　資料挖掘簡介

11.3　日志資料挖掘簡介

11.4　日志資料挖掘需求

11.5　挖掘什麼

11.6　深入感興趣的領域

11.7　小結

第12章　報告和總結

12.1　概述

12.2　定義最佳報告

12.3　身份認證和授權報告

12.4　變更報告

12.5　網絡活動報告

12.6　資源通路報告

12.7　惡意軟體活動報告

12.8　關鍵錯誤和故障報告

12.9　小結

第13章　日志資料可視化

13.1　概述

13.2　視覺關聯

13.3　實時可視化

13.4　樹圖

13.5　日志資料合成

13.6　傳統日志資料圖表

13.7　小結

第14章　日志法則和日志錯誤

14.1　概述

14.2　日志法則

14.2.1　法則1——收集法則

14.2.2　法則2——留存法則

14.2.3　法則3——監控法則

14.2.4　法則4——可用性法則

14.2.5　法則5——安全性法則

14.2.6　法則6——不斷變化法則

14.3　日志錯誤

14.3.1　完全沒有日志

14.3.2　不檢視日志資料

14.3.3　儲存時間太短

14.3.4　在收集之前排定優先順序

14.3.5　忽略應用程式日志

14.3.6　隻搜尋已知的不良條目

14.4　小結

第15章　日志分析和收集工具

15.1　概述

15.2　外包、建構或者購買

15.2.1　建構一個解決方案

15.2.2　購買

15.2.3　外包

15.2.4　問題

15.3　日志分析基本工具

15.3.1　grep

15.3.2　awk

15.3.3　microsoft日志解析器

15.3.4　其他可以考慮的基本工具

15.3.5　基本工具在日志分析中的作用

15.4　用于集中化日志分析的實用工具

15.4.1　syslog

15.4.2　rsyslog

15.4.3　snare

15.5　日志分析專業工具

15.5.1　ossec

15.5.2　ossim

15.5.3　其他值得考慮的分析工具

15.6　商業化日志工具

15.6.1　splunk

15.6.2　netiq sentinel

15.6.3　ibm q1labs

15.6.4　loggly

15.7　小結

第16章　日志管理規程

16.1　概述

16.2　假設、需求和預防措施

16.2.1　需求

16.2.2　預防措施

16.3　常見角色和職責

16.4　pci和日志資料

16.4.1　關鍵需求10

16.4.2　與日志記錄相關的其他需求

16.5　日志記錄政策

16.6　稽核、響應、更新規程 初始基線

16.6.3　人工建構初始基線

16.6.4　主要工作流程：每天日志稽核

16.6.5　異常調查與分析

16.6.6　事故響應和更新

16.7　日志稽核的驗證

16.7.1　日志記錄的證據

16.7.2　日志稽核的證據

16.7.3　異常處理的證據

16.8　日志簿——異常調查的證據

16.8.1　日志簿推薦格式

16.8.2　日志簿條目示例

16.9　pci依從性證據包

16.10　管理報告

16.11　定期營運任務

16.11.1　每日任務

16.11.2　每周任務

16.11.3　每月任務

16.11.4　季度任務

16.11.5　年度任務

16.12　其他資源

16.13　小結

第17章　對日志系統的攻擊

17.1　概述

17.2　各類攻擊

17.2.1　攻擊什麼

17.2.2　對機密性的攻擊

17.2.3　對完整性的攻擊

17.2.4　對可用性的攻擊

17.3　小結

第18章　供程式員使用的日志

18.1　概述

18.2　角色與職責

18.3　程式員所用的日志記錄

18.3.1　日志應該記錄哪些資訊

18.3.2　程式員使用的日志記錄api

18.3.3　日志輪轉

18.3.4　不好的日志消息

18.3.5　日志消息格式

18.4　安全考慮因素

18.5　性能考慮因素

18.6　小結

第19章　日志和依從性

19.1　概述

19.2　pci dss

19.3　iso 2700x系列

19.4　hipaa

19.5　fisma

19.6　小結

第20章　規劃自己的日志分析系統

20.1　概述

20.2　規劃

20.2.1　角色和職責

20.2.2　資源

20.2.3　目标

20.2.4　選擇日志記錄的系統和裝置

20.3　軟體選擇

20.3.1　開源軟體

20.3.2　商業化軟體

20.4　政策定義

20.4.1　日志記錄政策

20.4.2　日志檔案輪轉

20.4.3　日志資料收集

20.4.4　留存/存儲

20.4.5　響應

20.5　架構

20.5.1　基本模型

20.5.2　日志伺服器和日志收集器

20.5.3　日志伺服器和具備長期存儲的日志收集器

20.5.4　分布式部署

20.6　擴充

20.7　小結

第21章　雲日志

21.1　概述

21.2　雲計算

21.2.1　服務傳遞模型

21.2.2　雲部署模型

21.2.3　雲基礎設施特性

21.2.4　标準？我們不需要讨厭的标準

21.3　雲日志

21.4　監管、依從性和安全問題

21.5　雲中的大資料

21.6　雲中的siem

21.7　雲日志的優缺點

21.8　雲日志提供者目錄

21.9　其他資源

21.10　小結

第22章　日志标準和未來的趨勢

22.1　概述

22.2　從今天推知未來

22.2.1　更多的日志資料

22.2.2　更多動力

22.2.3　更多分析

22.3　日志的未來和标準

22.4　渴望的未來

22.5　小結