StreamingPro 支援Spark Structured Streaming

<b>前言</b>

<b>下載下傳</b>

<a href="https://pan.baidu.com/s/1hrckvec" target="_blank">spark 2.0.2 based on scala-2.10</a>

<a href="https://pan.baidu.com/s/1geniq1x" target="_blank">streamingpro 預編譯版本</a>

假設我們都放在/tmp目錄下

<b>寫邏輯</b>

建立一個檔案,/tmp/ss-test.json,内容如下：

streamingpro 現在支援短名稱了，不用寫那麼冗長的package名。

ss 開頭指的是structrued streaming。

batch 則是spark 批處理

stream 則是 spark streaming

邏輯：

配置模拟資料

映射為表

使用sql查詢

輸出(console)

如果是接的kafka,則配置如下即可：

<b></b>

<b>運作</b>