天天看點

Spark Sreaming實戰(一)-教程概述1 實戰目标2 實戰流程3 可視化顯示4 教程概要5 計劃6 預備知識7 環境

1 實戰目标

  • 至今實戰教程的通路量
  • 至今從搜尋引擎引流過來的實戰教程的通路量

2 實戰流程

Spark Sreaming實戰(一)-教程概述1 實戰目标2 實戰流程3 可視化顯示4 教程概要5 計劃6 預備知識7 環境

3 可視化顯示

  • 使用Spring Boot整合Echarts
  • 阿裡雲DataV資料可視化架構

4 教程概要

Spark Sreaming實戰(一)-教程概述1 實戰目标2 實戰流程3 可視化顯示4 教程概要5 計劃6 預備知識7 環境

5 計劃

  • 整合Flume、Kafka、 Spark Streaming打造通用的流處理平台基礎
  • Spark Streaming項目實戰
  • 資料處理結果可視化
  • 拓展

6 預備知識

  • 熟悉Linux基本指令
  • 熟悉Scala、Python、 Java中的任何一門程式設計語言
  • 有Hadoop和Spark基礎

7 環境

  • OS: macOS
  • JDK : 1.8
  • Hadoop: CDH ( 5.7 )
  • Scala : 2.12
  • IDE : IDEA
  • Spark: 2.4.1