天天看點

建立資料總線(DataHub)結果表

資料總線(DATAHUB)

DataHub作為一個流式資料總線,為阿裡雲數加平台提供了大資料的入口服務。結合阿裡雲衆多雲産品,可以建構一站式的資料處理平台。實時計算 Flink通常使用DataHub作為流式資料存儲頭和輸出目的端。同時,上遊衆多流式資料,包括DTS、IOT等均選擇DataHub作為大資料平台的資料入口。

DataHub本身是流資料存儲,實時計算隻能将其作為流式資料輸入或者流式資料輸出。

DDL定義

實時計算支援使用Datahub作為結果輸出。

  1. create table datahub_output(

  2. id int,

  3. len int,

  4. content VARCHAR

  5. ) with (

  6. type='datahub',

  7. endPoint='',

  8. project='',

  9. accessKey='',

  10. accessId='',

  11. topic=''

  12. );

Datahub DDL

  1. create table datahub_output(

  2. name varchar,

  3. age BIGINT,

  4. birthday BIGINT

  5. )with(

  6. type='datahub',

  7. endPoint='http://10XXXXXXX9100',

  8. project='blink_connector_datahub_test',

  9. topic='topic_1',

  10. accessId='LTXXXXXXh',

  11. accessKey='CLYqVPjRCIXXXXXXXXATUGoS',

  12. batchSize='1',

  13. batchWriteTimeoutMs='500'

  14. );

注意:推薦使用資料存儲功能。如何使用情您參見 資料總線(DATAHUB)

WITH參數

參數 注釋說明 備注
endPoint Endpoint位址 參見 DataHub的Endpoint位址
project 項目名
topic topic表名
accessId
accessKey
maxRetryTimes 最大嘗試插入次數 可選,預設為3
batchSize 每次寫的批次大小 可選,預設為300
batchWriteTimeoutMs 緩存資料的最大逾時時間 可選,預設為5000
maxBlockMessages 每次寫入的最大Block數 可選,預設為100

本文轉自實時計算——

建立資料總線(DataHub)結果表