本节书摘来自华章出版社《elk stack权威指南(第2版)》一书中的第1章,第x节,作者 饶琛琳 更多章节内容可以访问云栖社区“华章计算机”公众号查看。
第一部分 part 1
logstash
第1章 入门示例
第2章 插件配置
第3章 场景示例
第4章 性能与监控
第5章 扩展方案
第6章 logstash源码解析
第7章 插件开发
第8章 beats
logstash is a
tool for managing events and logs. you can use it to collect logs, parse them,
and store them for later use (like, for searching). —http://logstash.net
logstash项目诞生于2009年8月2日。其作者是世界著名的运维工程师乔丹·西塞(jordan sissel),乔丹·西塞当时是著名虚拟主机托管商dreamhost的员工,还发布过非常棒的软件打包工具fpm,并主办着一年一度的sysadmin advent calendar(advent calendar文化源自基督教氛围浓厚的perl社区,在每年圣诞来临的12月举办,从12月1日起至12月24日止,每天发布一篇小短文介绍主题相关技术)。
logstash动手很早,对比一下,scribed诞生于2008年,flume诞生于2010年,graylog2诞生于2010年,fluentd诞生于2011年。scribed在2011年进入半死不活的状态,大大激发了其他各种开源日志收集处理框架的蓬勃发展,logstash也从2011年开始进入commit密集期并延续至今。
作为一个系出名门的产品,logstash的身影多次出现在sysadmin weekly上,它和小伙伴们elasticsearch、kibana直接成为了和商业产品splunk做比较的开源项目(乔丹·西塞曾经在博客上承认设计想法来自aws平台上最大的第三方日志服务商loggly,而loggly两位创始人都曾是splunk员工)。
2013年,logstash被elasticsearch公司收购,elk stack正式成为官方用语。elasticsearch本身也是近两年最受关注的大数据项目之一,三次融资已经超过一亿美元。在elasticsearch开发人员的共同努力下,logstash的发布机制、插件架构也愈发科学和合理。
社区文化
日志收集处理框架很多,如scribe是facebook出品,flume是apache基金会项目,都算声名赫赫。但logstash因乔丹·西塞的个人性格,形成了一套独特的社区文化。每一个在google groups的logstash-users组里问答的人都会看到这么一句话:
remember: if a
new user has a bad time, it抯 a bug in logstash.
所以,logstash是一个开放的、极其互助和友好的大家庭。如有问题,仅管在github issue、google groups、freenode#logstash channel上发问就好!