本節書摘來自華章出版社《elk stack權威指南(第2版)》一書中的第1章,第x節,作者 饒琛琳 更多章節内容可以通路雲栖社群“華章計算機”公衆号檢視。
第一部分 part 1
logstash
第1章 入門示例
第2章 插件配置
第3章 場景示例
第4章 性能與監控
第5章 擴充方案
第6章 logstash源碼解析
第7章 插件開發
第8章 beats
logstash is a
tool for managing events and logs. you can use it to collect logs, parse them,
and store them for later use (like, for searching). —http://logstash.net
logstash項目誕生于2009年8月2日。其作者是世界著名的運維工程師喬丹·西塞(jordan sissel),喬丹·西塞當時是著名虛拟主機托管商dreamhost的員工,還釋出過非常棒的軟體打包工具fpm,并主辦着一年一度的sysadmin advent calendar(advent calendar文化源自基督教氛圍濃厚的perl社群,在每年聖誕來臨的12月舉辦,從12月1日起至12月24日止,每天釋出一篇小短文介紹主題相關技術)。
logstash動手很早,對比一下,scribed誕生于2008年,flume誕生于2010年,graylog2誕生于2010年,fluentd誕生于2011年。scribed在2011年進入半死不活的狀态,大大激發了其他各種開源日志收集處理架構的蓬勃發展,logstash也從2011年開始進入commit密集期并延續至今。
作為一個系出名門的産品,logstash的身影多次出現在sysadmin weekly上,它和小夥伴們elasticsearch、kibana直接成為了和商業産品splunk做比較的開源項目(喬丹·西塞曾經在部落格上承認設計想法來自aws平台上最大的第三方日志服務商loggly,而loggly兩位創始人都曾是splunk員工)。
2013年,logstash被elasticsearch公司收購,elk stack正式成為官方用語。elasticsearch本身也是近兩年最受關注的大資料項目之一,三次融資已經超過一億美元。在elasticsearch開發人員的共同努力下,logstash的釋出機制、插件架構也愈發科學和合理。
社群文化
日志收集處理架構很多,如scribe是facebook出品,flume是apache基金會項目,都算聲名赫赫。但logstash因喬丹·西塞的個人性格,形成了一套獨特的社群文化。每一個在google groups的logstash-users組裡問答的人都會看到這麼一句話:
remember: if a
new user has a bad time, it抯 a bug in logstash.
是以,logstash是一個開放的、極其互助和友好的大家庭。如有問題,僅管在github issue、google groups、freenode#logstash channel上發問就好!