天天看点

《ELK Stack权威指南(第2版)》一第一部分 Part 1

本节书摘来自华章出版社《elk stack权威指南(第2版)》一书中的第1章,第x节,作者 饶琛琳  更多章节内容可以访问云栖社区“华章计算机”公众号查看。 

第一部分 part 1

logstash

第1章 入门示例

第2章 插件配置

第3章 场景示例

第4章 性能与监控

第5章 扩展方案

第6章 logstash源码解析

第7章 插件开发

第8章 beats

logstash is a

tool for managing events and logs. you can use it to collect logs, parse them,

and store them for later use (like, for searching). —http://logstash.net

logstash项目诞生于2009年8月2日。其作者是世界著名的运维工程师乔丹·西塞(jordan sissel),乔丹·西塞当时是著名虚拟主机托管商dreamhost的员工,还发布过非常棒的软件打包工具fpm,并主办着一年一度的sysadmin advent calendar(advent calendar文化源自基督教氛围浓厚的perl社区,在每年圣诞来临的12月举办,从12月1日起至12月24日止,每天发布一篇小短文介绍主题相关技术)。

logstash动手很早,对比一下,scribed诞生于2008年,flume诞生于2010年,graylog2诞生于2010年,fluentd诞生于2011年。scribed在2011年进入半死不活的状态,大大激发了其他各种开源日志收集处理框架的蓬勃发展,logstash也从2011年开始进入commit密集期并延续至今。

作为一个系出名门的产品,logstash的身影多次出现在sysadmin weekly上,它和小伙伴们elasticsearch、kibana直接成为了和商业产品splunk做比较的开源项目(乔丹·西塞曾经在博客上承认设计想法来自aws平台上最大的第三方日志服务商loggly,而loggly两位创始人都曾是splunk员工)。

2013年,logstash被elasticsearch公司收购,elk stack正式成为官方用语。elasticsearch本身也是近两年最受关注的大数据项目之一,三次融资已经超过一亿美元。在elasticsearch开发人员的共同努力下,logstash的发布机制、插件架构也愈发科学和合理。

社区文化

日志收集处理框架很多,如scribe是facebook出品,flume是apache基金会项目,都算声名赫赫。但logstash因乔丹·西塞的个人性格,形成了一套独特的社区文化。每一个在google groups的logstash-users组里问答的人都会看到这么一句话:

remember: if a

new user has a bad time, it抯 a bug in logstash.

所以,logstash是一个开放的、极其互助和友好的大家庭。如有问题,仅管在github issue、google groups、freenode#logstash channel上发问就好!

继续阅读