spark streaming 初始_3 | 學習筆記

開發者學堂課程【大資料實時計算架構 Spark 快速入門： spark streaming初始_3】學習筆記，與課程緊密聯系，讓使用者快速學習知識。

課程位址：

https://developer.aliyun.com/learning/course/100/detail/1721

 spark streaming 初始_3

内容簡介：

一、具體内容

Dstream 對它應用算子操作，它會把算子運用到每個 RDD 上面去，既然是把沒個算子應用到每個 RDD 上面去，那最終就會落到每個元素上面。

是以 lines ， Dstream 可以傳起來的每一個元素就是之前的每一行，然後經過flatmap 做成每一行就是自己寫，經過 Dstream 的操作加了一下就是javaDstream， maptopair 變成 word1，reducebykey 的操作，按之前的邏輯去排洩物，有一個 action 操作， print 會列印前十行。

開始運作:

通過 nc 這個小工具， yum 一把就可以了， nc_1k_888 可以往上面打資料。