直播：如何通過 ELK 實戰實作《長津湖》影評可視化？

1、Elastic Stack 全局認知

ELK 是 Elasticsearch、Logstash、Kibana 技術棧的簡稱。Elastic 官方已統稱為：Elastic Stack，翻譯成：Elastic 技術棧體系。

單獨使用 Elasticsearch 能應對很多業務場景，包含但不限于：

• 全文檢索場景。
• 日志分析場景。
• 大資料可視化商業 BI 場景。

但，還不夠。Elasticsearch 擅長資料存儲和檢索。以下兩個問題問題還搞不定？

• 資料如何導入 Elasticsearch？
• 如何對資料進行可視化分析？

Logstash、Beats 就是資料接入的引流器。

其中，Logstash 以其精簡的“三段論”回答了資料流的三個經典問題：

• input：從哪裡來？
• output：到哪裡去？
• filter：中間做什麼處理？

可視化部分就交給了 Kibana，這個貌似運維工程師開發的工具在可視化方面大放異彩。

• 餅圖
• 折線圖
• 方框圖
• 坐标打點圖
• ......

等等基礎圖形一應俱全。

這些技術體系聽是都聽過，不見得實踐環節都用過。

2、ELK 可視化分析文章釋出之後

《​​ELK 可視化分析熱血電影長津湖15萬+影評​​》文章釋出之後，關注度比較高，讀者回報如下幾個問題：

• 全程沒有用python采集資料，都是ES完成的不？
• Kibana 怎麼展示詞雲的？
• 腳本與配置能寫個文檔分享下不？
• 想學習，有沒有源碼位址？

文字畢竟是幹巴巴的，不能活靈活現；大家的時間寶貴，很多源碼的長文反而閱聽人少。

介于此，非常有必要通過直播實操分享一下具體實作步驟。

3、 本次直播分享目标及大綱

3.1 課程目标

通過一個小項目實戰，打通你對 ELK 的全景認知。

3.2 适合群體

• Elastic Stack 開發、運維工程師
• 準備參加 Elastic 認證考試的工程師
• Elastic Stack 技術發燒友
• 對資料可視化感興趣的Elastic 愛好者
• 在校大資料專業的大學生或研究所學生

3.3 習得幹貨

通過本次分享，你能習得：

• Elasticsearch 資料預處理的強大。
• Elasticsearch 資料模組化的重要性。
• Kibana 可視化的便捷和威力。
• 全方位認識ELK（Elasticsearch、Logstash、kibana）。

3.4 細分内容

3.4.1、架構設計

• 資料從哪裡來？資料到哪裡去？
• 以終為始，可視化倒逼資料。

3.4.2、資料預處理

• 雜亂無章資料如何清洗？
• Elasticsearch 預處理能做啥？
• 如何不寫或者少寫代碼實作新增字段和資料？

3.4.3、資料模組化

• 資料模組化的作用。
• 模組化注意事項。
• 模組化遇到的坑？

3.4.4、資料同步

• input。
• filter。
• output。

3.4.5、資料存儲與檢索

為可視化打下資料基礎。

3.4.6、多元資料可視化

• 強大的 kibana 如何用起來？
• 詞雲圖、餅圖、走勢圖、地理位置坐标分布圖如何使用？