21.ELK实时日志分析平台之Logstash简介

转载*请注明原始出处：http://blog.csdn.net/a464057216/article/details/50930319

后续此博客不再更新，欢迎大家搜索关注微信公众号“测开之美”，测试开发工程师技术修炼小站，持续学习持续进步。

Logstash是一个具备实时处理能力的开源的数据收集引擎。可以动态地从不同的来源收集数据，将数据处理（过滤、变形）过之后统一输出到某个特定地址，为将来更多样化的数据分析做准备。

Logstash的作用：

• Elasticsearch的数据采集的利器，可以配合Elasticsearch和Kibana使用。
• 对input、filter及output部分可以使用多种插件灵活配合部署用以实现不同功能。
• 所有的插件都是非常灵活且有社区支持的，也可以开发自己的插件。

除此之外，Logstash接受各种各样格式的数据，比如：

• 各类系统日志：如Apache日志、log4j（Java程序日志）、Windows系统事件日志。通过Filebeat能够实现安全、快速的的日志传输。能够与很多采用UDP及TCP协议的工具对接，如JMX、NetFlow等等。
• 在Web接口服务中，可以收集HTTP请求。
• 能够与各类SQL或非SQL数据库对接，只要这个数据库支持JDBC接口。

而且，Logstash提供了很多其他工具，比如：Grok是一个从无规则信息中匹配有结构数据的插件工具，geo可以根据IP地址获取地理位置信息，key-value工具，处理CSV数据的工具，处理日期的工具，处理json格式数据的工具。

如果觉得我的文章对您有帮助，欢迎关注我(CSDN:Mars Loo的博客)或者为这篇文章点赞，谢谢！