資料總線(DATAHUB)
DataHub作為一個流式資料總線,為阿裡雲數加平台提供了大資料的入口服務。結合阿裡雲衆多雲産品,可以建構一站式的資料處理平台。實時計算 Flink通常使用DataHub作為流式資料存儲頭和輸出目的端。同時,上遊衆多流式資料,包括DTS、IOT等均選擇DataHub作為大資料平台的資料入口。
DataHub本身是流資料存儲,實時計算隻能将其作為流式資料輸入或者流式資料輸出。
DDL定義
實時計算支援使用Datahub作為結果輸出。
-
create table datahub_output(
-
id int,
-
len int,
-
content VARCHAR
-
) with (
-
type='datahub',
-
endPoint='',
-
project='',
-
accessKey='',
-
accessId='',
-
topic=''
-
);
Datahub DDL
-
create table datahub_output(
-
name varchar,
-
age BIGINT,
-
birthday BIGINT
-
)with(
-
type='datahub',
-
endPoint='http://10XXXXXXX9100',
-
project='blink_connector_datahub_test',
-
topic='topic_1',
-
accessId='LTXXXXXXh',
-
accessKey='CLYqVPjRCIXXXXXXXXATUGoS',
-
batchSize='1',
-
batchWriteTimeoutMs='500'
-
);
注意:推薦使用資料存儲功能。如何使用情您參見 資料總線(DATAHUB) 。
WITH參數
參數 | 注釋說明 | 備注 |
---|---|---|
endPoint | Endpoint位址 | 參見 DataHub的Endpoint位址 |
project | 項目名 | 無 |
topic | topic表名 | |
accessId | ||
accessKey | ||
maxRetryTimes | 最大嘗試插入次數 | 可選,預設為3 |
batchSize | 每次寫的批次大小 | 可選,預設為300 |
batchWriteTimeoutMs | 緩存資料的最大逾時時間 | 可選,預設為5000 |
maxBlockMessages | 每次寫入的最大Block數 | 可選,預設為100 |
本文轉自實時計算——
建立資料總線(DataHub)結果表