文章目錄
- 基于elk的日志分析平台（一）簡介
-
- elk介紹
- 一般用途
基于elk的日志分析平台（一）簡介
官網
elk介紹
ELK是Elasticsearch、Logstash、Kibana三大開源架構首字母大寫簡稱。市面上也被成為Elastic Stack。其中Elasticsearch是一個基于Lucene、分布式、通過Restful方式進行互動的近實時搜尋平台架構。像類似百度、谷歌這種大資料全文搜尋引擎的場景都可以使用Elasticsearch作為底層支援架構
- Elasticsearch是實時全文搜尋和分析引擎，提供搜集、分析、存儲資料三大功能；是一套開放REST和JAVA API等結構提供高效搜尋功能，可擴充的分布式系統。它建構于Apache Lucene搜尋引擎庫之上。
- Logstash是一個用來搜集、分析、過濾日志的工具。它支援幾乎任何類型的日志，包括系統日志、錯誤日志和自定義應用程式日志。它可以從許多來源接收日志，這些來源包括 syslog、消息傳遞（例如 RabbitMQ）和JMX，它能夠以多種方式輸出資料，包括電子郵件、websockets和Elasticsearch。
- Kibana是一個基于Web的圖形界面，用于搜尋、分析和可視化存儲在 Elasticsearch名額中的日志資料。它利用Elasticsearch的REST接口來檢索資料，不僅允許使用者建立他們自己的資料的定制儀表闆視圖，還允許他們以特殊的方式查詢和過濾資料
很多開發隻要提到ELK能夠一緻說出它是一個日志分析架構技術棧總稱，但實際上ELK不僅僅适用于日志分析，它還可以支援其它任何資料分析和收集的場景，日志分析和收集隻是更具有代表性。
一般用途
傳統意義上，ELK是作為替代Splunk的一個開源解決方案。Splunk 是日志分析領域的上司者。日志分析并不僅僅包括系統産生的錯誤日志，異常，也包括業務邏輯，或者任何文本類的分析。而基于日志的分析，能夠在其上産生非常多的解決方案，譬如：
1.問題排查。我們常說，運維和開發這一輩子無非就是和問題在戰鬥，是以這個說起來很樸實的四個字，其實是沉甸甸的。很多公司其實不缺錢，就要穩定，而要穩定，就要運維和開發能夠快速的定位問題，甚至防微杜漸，把問題殺死在搖籃裡。日志分析技術顯然問題排查的基石。基于日志做問題排查，還有一個很帥的技術，叫全鍊路追蹤，比如阿裡的eagleeye 或者Google的dapper，也算是日志分析技術裡的一種。
2.監控和預警。 日志，監控，預警是相輔相成的。基于日志的監控，預警使得運維有自己的機械戰隊，大大節省人力以及延長運維的壽命。
3.關聯事件。多個資料源産生的日志進行關聯分析，通過某種分析算法，就能夠解決生活中各個問題。比如金融裡的風險欺詐等。這個可以可以應用到無數領域了，取決于你的想象力。
4.資料分析。 這個對于資料分析師，還有算法工程師都是有所裨益的。