21.ELK實時日志分析平台之Logstash簡介

轉載*請注明原始出處：http://blog.csdn.net/a464057216/article/details/50930319

後續此部落格不再更新，歡迎大家搜尋關注微信公衆号“測開之美”，測試開發工程師技術修煉小站，持續學習持續進步。

Logstash是一個具備實時處理能力的開源的資料收集引擎。可以動态地從不同的來源收集資料，将資料處理（過濾、變形）過之後統一輸出到某個特定位址，為将來更多樣化的資料分析做準備。

Logstash的作用：

• Elasticsearch的資料采集的利器，可以配合Elasticsearch和Kibana使用。
• 對input、filter及output部分可以使用多種插件靈活配合部署用以實作不同功能。
• 所有的插件都是非常靈活且有社群支援的，也可以開發自己的插件。

除此之外，Logstash接受各種各樣格式的資料，比如：

• 各類系統日志：如Apache日志、log4j（Java程式日志）、Windows系統事件日志。通過Filebeat能夠實作安全、快速的的日志傳輸。能夠與很多采用UDP及TCP協定的工具對接，如JMX、NetFlow等等。
• 在Web接口服務中，可以收集HTTP請求。
• 能夠與各類SQL或非SQL資料庫對接，隻要這個資料庫支援JDBC接口。

而且，Logstash提供了很多其他工具，比如：Grok是一個從無規則資訊中比對有結構資料的插件工具，geo可以根據IP位址擷取地理位置資訊，key-value工具，處理CSV資料的工具，處理日期的工具，處理json格式資料的工具。

如果覺得我的文章對您有幫助，歡迎關注我(CSDN:Mars Loo的部落格)或者為這篇文章點贊，謝謝！