天天看點

TableStore: 使用Datax将執行個體A的資料遷移到執行個體B中

現在我們需要将資料從一個老的執行個體a遷移到執行個體b上面,做一下備份,我們打算使用datax作為我們的資料傳輸工具,其中用到了otsreader和otswriter。

第一步,tablestore環境準備,目前datax不支援自動建表的功能,是以我們需要在b中建立遷移對應的表。建立表的時候有兩個選擇,第一是使用 ots cli,第二是使用table store的sdk。我們建議使用sdk。

第二步,datax環境準備,找一台機器兩邊都能聯通的ecs,在ecs上面部署datax

第三步,編輯datax job的配置

第四步,啟動datax

由于很多時候資料量會非常大,但是全量遷移(備份)的時間因為業務的原因受到了限制,需要很快的将資料備份過去。這個時候需要開啟進階選項。插件支援并發的的遷移資料,這裡需要利用到otsreader的range并發讀功能。其實原理很簡單,就是講表拆分成多份,并發的讀取資料。步驟如下