<b>前言</b>
另外未來等另外一個項目穩定,會釋放出來配合streamingpro使用,它可以讓你很友善的讀寫hbase,比如可以為hbase 表 添加mapping,類似es的做法,也可以不用mapping,系統會自動為你建立列(familly:column作為列名),或者将所有列合并成一個字段讓你做處理。
<b>配置</b>
首先需要配置源:
我們配置了一個kafka流,一個普通的csv檔案。目前streamingpro隻允許配置一個kafka流,但是支援多個topic,按逗号分隔即可。你可以配置多個其他非流式源,比如從mysql,parquet,csv同時讀取資料并且映射成表。
之後你就可以寫sql進行處理了。
我這裡做了簡單的join。
然後把資料追加到mysql裡去。其實你也可以配置多個輸出。
<b>完整配置</b>