Logstah安裝及使用
- Logstash介紹
-
- 安裝Logstash
- 用logstash解析日志
-
- 用Grok過濾器插件解析日志
- 用GeoIP過濾器插件解析IP位址的地理坐标
- 索引你的資料到Elasticsearch
- 指令行啟動logstash
陰差陽錯踏入安全領域, 從一隻小菜鳥掙紮着前進, 從一概不知搭建起一套完整的日志系統,走過很多彎路,有過迷茫和彷徨,學習到新東西,完成一個小任務又很有成就感呐,恩,繼續學習,記錄,幹~
Logstash介紹
Logtash,顧名思義就是管道,作為一個開源的資料引擎,可以動态的接收不同的資料源,并且能夠标準化的實作你所選擇的目的地,以及你想要的資料格式。
輸入：采集各種類型和樣式的資料
過濾：實時解析和轉換資料
輸出：随意選擇存儲方式 ，當然最佳是elasticsearch
安裝Logstash
最便捷的安裝方式是直接解壓壓縮包，但是考慮到後續的更新操作，使用RPM包進行安裝會更具擴充性。安裝步驟如下：
官網下載下傳連結:https://www.elastic.co/downloads/past-releases
選擇版本
下一步選擇安裝包類型
将下載下傳的包放入到系統目錄下,執行安裝操作
1.解壓zip包進行安裝
unzip logstash-6.5.4.zip
cd logstash-6.5.4
2.RPM包安裝
第一步: rpm -ivh logstash-6.5.4.rpm
使用RPM包安裝後會自動在/etc目錄下建立一個logstash檔案,該檔案下是相關的配置資訊;
第二步:修改配置資訊;
第三步:啟動服務;
/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/file.conf &
如果您使用的是預設路徑的配置檔案,修改完配置檔案,使用該指令即可直接啟動;
用logstash解析日志
在logstash安裝目錄下建立一個檔案logstash.conf, 用來配置管道資訊,此處以接收syslog為例進行描述,然後解析這些日志,并将這些日志寫到一個Elasticsearch叢集中。
通常說的logstash管理有三個部分（input，filter，output）這裡的input下面syslog{port => “8514”}的意思是使用該主機的8514端口對插件進行監聽,而stdout{codec => rubydebug}的意思是輸出到控制台,output有很多插件可供選擇,一般首選elasticsearch，可根據實際情況進行配置,此處elasticsearch下面的host和index就是elasticsearch對應的主機和日輸出的索引。
用Grok過濾器插件解析日志
logstash擁有豐富的filter插件,它們擴充了進入過濾器的原始資料，進行複雜的邏輯處理，甚至可以無中生有的添加新的 logstash 事件到後續的流程中去！Grok 是 Logstash 最重要的插件之一。也是迄今為止使蹩腳的、無結構的日志結構化和可查詢的最好方式。Grok在解析 syslog logs、apache and other webserver logs、mysql logs等任意格式的檔案上表現完美。
用GeoIP過濾器插件解析IP位址的地理坐标
當然這樣配置是解析不出IP位址的，我的了解是一個filter grok插件隻能解析一條資料，當使用一個filter解析資料的時候,應該再配一個filter來破譯IP位址坐标, 配置如下(親測可用)：
第一個filter配置資訊是根據正則截取到source-ip資訊，第二個根據source-ip資訊破譯出該位址的地理位置坐标，此處啟動服務後我們檢視控制台輸出的資訊，能夠看到響應的地理位置資訊：
索引你的資料到Elasticsearch
在這段配置中，logstash用http協定連接配接到elasticsearch，此處是指定遠端的elasticsearch執行個體，啟動服務後，我們檢視elasticsearch的索引，資料已經存儲進去。
指令行啟動logstash
用如下指令啟動logstash服務：
bin/logstash -f logstash-waf.conf
-f 意為加載指定的logstash配置檔案,但此處啟動的服務沒有以守護程序運作,日志會直接列印在控制台;
正常的logstash服務應該以守護程序在背景啟動,指令如下:
nohup bin/logstash -f logstash-waf.conf>>/data/logstash.out --config.reload.automatic &
nohup 背景啟動
–config.reload.automatic 監視配置檔案的改變，并且當配置檔案被修改以後自動重新加載配置檔案。
構思了很久才開始寫CSDN部落格, 自知排版很不好看, 各位小主勿嫌棄, 後續慢慢改進~