天天看點

TiDb和MaxCompute同步資料一、環境準備二、TiDb同步資料到MaxCompute上1、允許TiDb遠端連接配接2、添加測試資料3、建立結果表4、添加資料源三、MaxCompute同步資料到TiDb上1首先在TiDb建立對應的結果表2.建立離線同步節點3.選擇資料來源和資料去向

一、環境準備

  • 保證TiDb叢集外網可以通路
  • DataWorks

二、TiDb同步資料到MaxCompute上

1、允許TiDb遠端連接配接

  • 登入到TiDb執行授權語句
grant all privileges on *.* to 'user'@'%' identified by 'password' with grant option;
FLUSH PRIVILEGES;           

2、添加測試資料

TiDb和MaxCompute同步資料一、環境準備二、TiDb同步資料到MaxCompute上1、允許TiDb遠端連接配接2、添加測試資料3、建立結果表4、添加資料源三、MaxCompute同步資料到TiDb上1首先在TiDb建立對應的結果表2.建立離線同步節點3.選擇資料來源和資料去向

3、建立結果表

  • 登入到DataWorks界面建立資料流程
  • 建立資料同步的結果表
TiDb和MaxCompute同步資料一、環境準備二、TiDb同步資料到MaxCompute上1、允許TiDb遠端連接配接2、添加測試資料3、建立結果表4、添加資料源三、MaxCompute同步資料到TiDb上1首先在TiDb建立對應的結果表2.建立離線同步節點3.選擇資料來源和資料去向

4、添加資料源

  • 選擇MySQL資料源
    TiDb和MaxCompute同步資料一、環境準備二、TiDb同步資料到MaxCompute上1、允許TiDb遠端連接配接2、添加測試資料3、建立結果表4、添加資料源三、MaxCompute同步資料到TiDb上1首先在TiDb建立對應的結果表2.建立離線同步節點3.選擇資料來源和資料去向
  • 選擇連接配接串聯模式
    TiDb和MaxCompute同步資料一、環境準備二、TiDb同步資料到MaxCompute上1、允許TiDb遠端連接配接2、添加測試資料3、建立結果表4、添加資料源三、MaxCompute同步資料到TiDb上1首先在TiDb建立對應的結果表2.建立離線同步節點3.選擇資料來源和資料去向

說明:jdbc url 填寫TiDb對應的端口和ip

使用者名和密碼:TiDb允許遠端使用者連接配接的使用者名和密碼
           
  • 點選測試連通性
    TiDb和MaxCompute同步資料一、環境準備二、TiDb同步資料到MaxCompute上1、允許TiDb遠端連接配接2、添加測試資料3、建立結果表4、添加資料源三、MaxCompute同步資料到TiDb上1首先在TiDb建立對應的結果表2.建立離線同步節點3.選擇資料來源和資料去向

5、資料內建

  • 建立離線同步節點

    輸入建立節點的名稱

  • 選擇剛才添加的TiDb資料源
    TiDb和MaxCompute同步資料一、環境準備二、TiDb同步資料到MaxCompute上1、允許TiDb遠端連接配接2、添加測試資料3、建立結果表4、添加資料源三、MaxCompute同步資料到TiDb上1首先在TiDb建立對應的結果表2.建立離線同步節點3.選擇資料來源和資料去向
  • 點選資料預覽,進行資料預覽
    TiDb和MaxCompute同步資料一、環境準備二、TiDb同步資料到MaxCompute上1、允許TiDb遠端連接配接2、添加測試資料3、建立結果表4、添加資料源三、MaxCompute同步資料到TiDb上1首先在TiDb建立對應的結果表2.建立離線同步節點3.選擇資料來源和資料去向
  • 點選運作按鈕進行測試
  • 檢視結果,選擇臨時查詢
    TiDb和MaxCompute同步資料一、環境準備二、TiDb同步資料到MaxCompute上1、允許TiDb遠端連接配接2、添加測試資料3、建立結果表4、添加資料源三、MaxCompute同步資料到TiDb上1首先在TiDb建立對應的結果表2.建立離線同步節點3.選擇資料來源和資料去向

執行sql語句

select * from tidb_user;           

運作結果

TiDb和MaxCompute同步資料一、環境準備二、TiDb同步資料到MaxCompute上1、允許TiDb遠端連接配接2、添加測試資料3、建立結果表4、添加資料源三、MaxCompute同步資料到TiDb上1首先在TiDb建立對應的結果表2.建立離線同步節點3.選擇資料來源和資料去向

三、MaxCompute同步資料到TiDb上

1首先在TiDb建立對應的結果表

TiDb和MaxCompute同步資料一、環境準備二、TiDb同步資料到MaxCompute上1、允許TiDb遠端連接配接2、添加測試資料3、建立結果表4、添加資料源三、MaxCompute同步資料到TiDb上1首先在TiDb建立對應的結果表2.建立離線同步節點3.選擇資料來源和資料去向

2.建立離線同步節點

TiDb和MaxCompute同步資料一、環境準備二、TiDb同步資料到MaxCompute上1、允許TiDb遠端連接配接2、添加測試資料3、建立結果表4、添加資料源三、MaxCompute同步資料到TiDb上1首先在TiDb建立對應的結果表2.建立離線同步節點3.選擇資料來源和資料去向

3.選擇資料來源和資料去向

TiDb和MaxCompute同步資料一、環境準備二、TiDb同步資料到MaxCompute上1、允許TiDb遠端連接配接2、添加測試資料3、建立結果表4、添加資料源三、MaxCompute同步資料到TiDb上1首先在TiDb建立對應的結果表2.建立離線同步節點3.選擇資料來源和資料去向

資料來源:odps

資料去向:mysql、選擇步驟二中TiDb同步資料到MaxCompute上的資料源,選擇剛建立的表(tidb_user)

3.點選運作檢視結果

  • 進入到TiDb檢視結果
select * from tidb_user;           
TiDb和MaxCompute同步資料一、環境準備二、TiDb同步資料到MaxCompute上1、允許TiDb遠端連接配接2、添加測試資料3、建立結果表4、添加資料源三、MaxCompute同步資料到TiDb上1首先在TiDb建立對應的結果表2.建立離線同步節點3.選擇資料來源和資料去向