天天看點

ELK Stack & Elastic Stack

ELK 是什麼呢?

ELK 是三個開源項目的首字母縮寫,這三個項目分别是:Elasticsearch、Logstash 和 Kibana。

Elasticsearch 是搜尋和分析引擎,Logstash 資料采集和處理的工具,Kibana 是與 Elasticsearch互動使資料可視化的工具。在2015年,Elastic公司在 ELK Stack 中加入輕量級的采集工具 Beats,那就是現在的 Elastic Stack了。

ELK Stack & Elastic Stack

Elasticsearch

Elasticsearch 在2010年首次釋出,基于 Lucene 開發,是一個高度可擴充的分布式開源搜尋和分析引擎,适用于所有類型的資料,包括文本、數字、地理空間、結構化和非結構化資料。支援多種開發語言的用戶端調用以及 REST API來對叢集進行資料操作,并且支援多種文本語言的存儲。

Kibana

Kibana 在2013年首次釋出,是一個管理 Elasticsearch 叢集的開源工具,通過 Kibana 可以對 Elasticsearch 資料進行操作,也可以将資料可視化分析并進行展示等操作,通常會使用 Kibana 進行應用程式性能監測、安全分析、業務分析、運作狀态監測、地理空間分析等用途。

LogStach

Logstash 是一個開源的伺服器端資料處理管道,可以從各種來源收集資料并進行動态轉換,最後将資料發送到 Elasticsearch ,目前 Github 上已釋出了200多個插件,通過插件可以更加輕松的完成資料的處理,也可以自行定義插件來滿足實際的需求。

Beats

Beats 是一個輕量級的開源資料采集工具 Beats,針對單一種類的服務應用進行資料采集,目前最新版本7.9 一共提供8種不同類型的 Beats,可以根據使用場景進行選擇,在采集完資料之後發送到 LogStach 進行加工處理,或者直接存儲到 Elasticsearch。

Elastic Stack可以做什麼呢

通過 Beats 采集 Nginx 性能名額輸送到 Elasticsearch 中存儲,并且通過 Kibana 進行繪圖并展示。

通過 Metricbeat 采集到 Elasticsearch 中的資料
ELK Stack & Elastic Stack
通過 Kibana 将 Elasticsearch 中的資料進行可視化展示
ELK Stack & Elastic Stack

專輯文章目錄 (實際會更多,後續還會添加)

  1. ELK Stack (Elastic Stack)
  2. Elasticsearch & Kibana - Docker 部署配置
  3. Elasticsearch & Kibana - Kubernetes 部署配置
  4. Elasticsearch Mapping & Setting
  5. Elasticsearch Index & Document Type & Document
  6. Elasticsearch DSL - CRUD
  7. Elasticsearch 中文分詞和英文分詞
  8. Elasticsearch 工作原理 - 反向索引
  9. Elasticsearch DSL 擴充 - 聚合、多字段、跨叢集查詢
  10. Elasticsearch 架構設計 - 資料管理模組化
  11. Elasticsearch 架構設計 - 冷熱資料分離
  12. Elasticsearch 架構設計 - 叢集資源規劃
  13. Kibana - Discover
  14. Kibana - Visualize
  15. Kibana - Canvas
  16. Kibana - Dashboard
  17. Logstash - 日志采集及資料處理
  18. Logbeat - 采集 Nginx 日志并展示通路量
  19. Metricbeat - 采集 Nginx 名額并展示性能
  20. Heartbeat - 采集 Nginx 心跳并展示SLA
  21. Winlogbeat - 采集 Windows 日志并設定告警
  22. APM 采集 Java 應用程式性能名額
  23. APM 采集 Golang 應用程式性能名額

繼續閱讀