天天看點

StreamingPro 支援多輸入,多輸出配置

<b>前言</b>

最近正好有個需求,就是從不同的資料庫以及表裡拉出資料,經過一定的處理放到es裡供查詢,最好還能放個到parquet裡,這樣可以支援更複雜的sql。之前streamingpro是隻能配置一個資料源的,是以做了些改造,友善配置多個資料源,以及多個寫出。

<b>輸入配置</b>

以前用的是 batch.source, 如果你有多個輸入源,則需要使用batch.sources 元件。每個源需要配置一個outputtable,也就是說這個源取個名字,友善後面使用。

如果是資料庫,則可以這麼寫:

<b>輸出</b>

我這裡同時輸出為json以及parquet格式。

<b>一個簡單但是涉及點比較多的例子</b>

在 batch.sql 裡你可以引用任何一個源的表,或者之前已經在batch.sql裡申明的outputtable, 同理batch.script。 而在batch.outputs裡,你則可以将任何一張表寫入到mysql,es,hdfs等檔案存儲系統中。

将配置檔案儲存一下,然後就可以啟動了: