作者:張醫博
在前遷移說明
- 目前由于 OSS 資料遷移服務涉及到對目标的 OSS 要有很多 action 的 API 授權,為避免使用者産生過多的學習成本,我們直接強制使用主賬号進行遷移;
- 該服務正在公測中,目前仍在免費使用階段;服務使用需要提前工單申請賬号 UID 加入白名單;
線上遷移分類
離線遷移:這裡是指的閃電立方硬碟資料 copy 的方式遷移到 OSS;适合用在專有雲,以及海量 PB 級别資料想要快速遷移的需求;

線上遷移:包含了第三方存儲遷移到 OSS 以及 ECS 資料遷移到 OSS
1、建立資料位址,類似 ossimport job.cfg 的操作,配置遷移的資料源,以及目标 OSS bucket 相關配置;
- 遷移資料用的 accesskeyID 要具有對應的權限,授予子賬号存儲空間讀寫權限(AliyunOSSFullAccess)和線上遷移管理權限(AliyunMGWFullAccess)
- 資料位址要建立兩個,一個源資料位址,一個目标資料位址;
2、建立遷移任務
3、任務類型說明
全量遷移:上傳所有的源檔案到 OSS;
增量遷移:上傳前先 list 所有的源檔案,比對哪些是已經上傳過的,将不再重複上傳;
資料同步:這裡注意下,當部署的是 OSS 之間遷移的任務時,可以在同區域進行資料同步操作,定期的同步源 bucket 資料到目标 bucket;
同時還可以針對指定檔案的時間進行資料遷移;
4、調優設定
使用者配置好遷移體量和檔案大緻數量後,可以根據設定自動計算配置設定的工作線程數,同時使用者也可以靈活的按時間段限流,或者不限流;
5、注意
在建立遷移任務後,OSS 會去源拉個别檔案進行測試,如果恰好源檔案含有非法命名的 object 就會導緻整個任務失敗,
非法字元包含 "/ .. " 以及長度不能超過 1024位元組;
線上遷移管理
已經建立好的遷移任務,使用者可以對其進行管理和監控;
- 進入到管理界面後我們可以看到遷移任務的整體監控(流量,任務狀态,遷移進展)
- 任務遷移過程中如果出現失敗,使用者可以進行重試;
- 任務遷移完成後,使用者生成遷移報告,包含來整體的遷移實際數量,是否有報錯,以及報錯原因等資訊;報告是儲存在 OSS 上的;