天天看點

ELK之ES-Logstash-Kibana互聯

es是一個文檔資料庫,logstash是一個資料收集工具,kibana是一個資料處理工具,這麼去了解這三個元件是無可厚非的。我們通過logstash把資料收集起來,無論是通過讀取日志,還是讀取資料庫,亦或是去監聽某一個日志輸出端口,總之logstash就是一個資料收集工具,收集到資料之後再把資料發送給es進行固化。好了,現在我們在es中已經有了資料了,那麼,通過什麼來分析呢?沒錯,就是通過kibana,它需要去es資料庫拿去資料,然後對資料進行分析。

現在我們應該可以理elk三個元件的邏輯關系了。

ELK之ES-Logstash-Kibana互聯

現在把三者的關系了解清楚以後,就可以進行配置了。

根據關系圖我們可以知道,第一步需要做的是連接配接資料源和logstash。

第一步:連接配接資料源和logstsh

事例代碼如下:

path屬性是指定中繼資料位置

type屬性是指點該批中繼資料在es中的類型

start_position 屬性表示從頭開始讀取資料

sincedb_path 屬性辨別為/dev/null'時辨別無論如何從頭開始讀取檔案

更多file插件的字段屬性,可以參考elk文檔。

hosts屬性是表示es在哪

index 屬性表示事件要被寫進的索引

idle_flush_time 屬性表示每10秒發送一次資料到es

active屬性表示es要執行的動作

前面我們已經把需要的資料發送到es進行了存儲了,現在要做的就是通過kibana來分析我們的資料。

編輯kibana的.ylm

ELK之ES-Logstash-Kibana互聯

設定es的位址。

至此,elk三大元件的連接配接已經完成。

你可以開心的去編輯你的資料格式和圖示了...