直播：如何通过 ELK 实战实现《长津湖》影评可视化？

1、Elastic Stack 全局认知

ELK 是 Elasticsearch、Logstash、Kibana 技术栈的简称。Elastic 官方已统称为：Elastic Stack，翻译成：Elastic 技术栈体系。

单独使用 Elasticsearch 能应对很多业务场景，包含但不限于：

• 全文检索场景。
• 日志分析场景。
• 大数据可视化商业 BI 场景。

但，还不够。Elasticsearch 擅长数据存储和检索。以下两个问题问题还搞不定？

• 数据如何导入 Elasticsearch？
• 如何对数据进行可视化分析？

Logstash、Beats 就是数据接入的引流器。

其中，Logstash 以其精简的“三段论”回答了数据流的三个经典问题：

• input：从哪里来？
• output：到哪里去？
• filter：中间做什么处理？

可视化部分就交给了 Kibana，这个貌似运维工程师开发的工具在可视化方面大放异彩。

• 饼图
• 折线图
• 方框图
• 坐标打点图
• ......

等等基础图形一应俱全。

这些技术体系听是都听过，不见得实践环节都用过。

2、ELK 可视化分析文章发布之后

《​​ELK 可视化分析热血电影长津湖15万+影评​​》文章发布之后，关注度比较高，读者反馈如下几个问题：

• 全程没有用python采集数据，都是ES完成的不？
• Kibana 怎么展示词云的？
• 脚本与配置能写个文档分享下不？
• 想学习，有没有源码地址？

文字毕竟是干巴巴的，不能活灵活现；大家的时间宝贵，很多源码的长文反而受众少。

介于此，非常有必要通过直播实操分享一下具体实现步骤。

3、 本次直播分享目标及大纲

3.1 课程目标

通过一个小项目实战，打通你对 ELK 的全景认知。

3.2 适合群体

• Elastic Stack 开发、运维工程师
• 准备参加 Elastic 认证考试的工程师
• Elastic Stack 技术发烧友
• 对数据可视化感兴趣的Elastic 爱好者
• 在校大数据专业的本科生或研究生

3.3 习得干货

通过本次分享，你能习得：

• Elasticsearch 数据预处理的强大。
• Elasticsearch 数据建模的重要性。
• Kibana 可视化的便捷和威力。
• 全方位认识ELK（Elasticsearch、Logstash、kibana）。

3.4 细分内容

3.4.1、架构设计

• 数据从哪里来？数据到哪里去？
• 以终为始，可视化倒逼数据。

3.4.2、数据预处理

• 杂乱无章数据如何清洗？
• Elasticsearch 预处理能做啥？
• 如何不写或者少写代码实现新增字段和数据？

3.4.3、数据建模

• 数据建模的作用。
• 建模注意事项。
• 建模遇到的坑？

3.4.4、数据同步

• input。
• filter。
• output。

3.4.5、数据存储与检索

为可视化打下数据基础。

3.4.6、多维数据可视化

• 强大的 kibana 如何用起来？
• 词云图、饼图、走势图、地理位置坐标分布图如何使用？