天天看點

StreamingPro 簡化流式計算配置

<b>前言</b>

另外未來等另外一個項目穩定,會釋放出來配合streamingpro使用,它可以讓你很友善的讀寫hbase,比如可以為hbase 表 添加mapping,類似es的做法,也可以不用mapping,系統會自動為你建立列(familly:column作為列名),或者将所有列合并成一個字段讓你做處理。

<b>配置</b>

首先需要配置源:

我們配置了一個kafka流,一個普通的csv檔案。目前streamingpro隻允許配置一個kafka流,但是支援多個topic,按逗号分隔即可。你可以配置多個其他非流式源,比如從mysql,parquet,csv同時讀取資料并且映射成表。

之後你就可以寫sql進行處理了。

我這裡做了簡單的join。

然後把資料追加到mysql裡去。其實你也可以配置多個輸出。

<b>完整配置</b>