天天看點

【大資料新手上路】“零基礎”系列課程--MySQL 資料整庫遷移到 MaxCompute

随着公司業務的增多,雲資料庫 rds 下的 mysql 資料庫的表越來越多,想要把它全部遷移到 maxcompute 中進行計算分析,但又愁要配置太多次同步任務。如何能将大量的資料表一次性上傳到 maxcompute 中呢?通過大資料開發套件的整庫遷移功能,便可快速完成 mysql 資料整庫遷移到 maxcompute,進而節省同步時間,提高工作效率。

下面介紹一個适用于中小企業使用者,高效率低成本的資料同步方案:

對于自建或雲資料庫 rds 的 mysql 資料庫中的資料,都可以通過整庫遷移功能,快速同步到 maxcompute 中進行存儲與分析,流程圖如下:

【大資料新手上路】“零基礎”系列課程--MySQL 資料整庫遷移到 MaxCompute

實驗目的:

通過大資料開發套件的整庫遷移功能,快速把雲資料庫中的資料同步到 maxcompute 中。

前期說明:

使用者擁有阿裡雲官網實名認證賬号,并且建立好賬号 access key。

【大資料新手上路】“零基礎”系列課程--MySQL 資料整庫遷移到 MaxCompute

3 . 建立項目。進入控制台頁面後導航至 大資料開發套件 — 項目清單,點選 建立項目,如圖所示:

【大資料新手上路】“零基礎”系列課程--MySQL 資料整庫遷移到 MaxCompute

4 . 在彈出框中選擇區域和付費方式,輸入項目名稱:

【大資料新手上路】“零基礎”系列課程--MySQL 資料整庫遷移到 MaxCompute

2 . 在 執行個體清單 頁面,單擊 建立執行個體,進入 建立 頁面;

5 . 單擊立即購買,進入訂單确認頁面;

6 . 閱讀關系型資料庫 rds 服務條款後,根據後續提示完成支付流程。

2 . 在執行個體左側菜單中選擇 資料安全性;

3 . 在資料安全性頁面的預設分組後單擊 修改,如下圖所示:

【大資料新手上路】“零基礎”系列課程--MySQL 資料整庫遷移到 MaxCompute

4 . 在修改白名單分組頁面删除預設白名單 127.0.0.1,填寫自定義白名單後,單擊 确定,如下圖所示:

【大資料新手上路】“零基礎”系列課程--MySQL 資料整庫遷移到 MaxCompute

2 . 選擇左側菜單中的 賬号管理,單擊 建立賬号,如下圖所示:

【大資料新手上路】“零基礎”系列課程--MySQL 資料整庫遷移到 MaxCompute

3 . 輸入要建立的賬号資訊,單擊 确定,如下圖所示:

【大資料新手上路】“零基礎”系列課程--MySQL 資料整庫遷移到 MaxCompute

4 . 選擇菜單中的 資料庫管理,單擊 建立資料庫,如下圖所示:

【大資料新手上路】“零基礎”系列課程--MySQL 資料整庫遷移到 MaxCompute

5 . 輸入要建立的資料庫資訊,單擊 确定,如下圖所示:

【大資料新手上路】“零基礎”系列課程--MySQL 資料整庫遷移到 MaxCompute

進入資料庫管理頁面,點選上側 登入資料庫,在彈出頁面填寫資料庫使用者名和密碼,如下圖所示:

【大資料新手上路】“零基礎”系列課程--MySQL 資料整庫遷移到 MaxCompute

1 . 成功登入資料庫後,點選 sql 操作下的 sql 視窗,如下圖所示:

【大資料新手上路】“零基礎”系列課程--MySQL 資料整庫遷移到 MaxCompute

2 . 輸入建表語句,點選執行,示例如下:

3 . 根據自身需求寫入資料即可,insert 語句如下:

【大資料新手上路】“零基礎”系列課程--MySQL 資料整庫遷移到 MaxCompute

2 . 點選右上角的 新增資料源,添加一個面向整庫遷移的 mysql 資料源 mysql_demo,填寫相關資訊,如下圖所示:

【大資料新手上路】“零基礎”系列課程--MySQL 資料整庫遷移到 MaxCompute

3 . 點選 測試連通性 驗證資料源通路正确無誤後,确認并儲存此資料源。

1 . 進入資料源清單頁面,找到新增的資料源,點選對應 mysql 資料源後的 整庫遷移,即可進入對應資料源的整庫遷移功能界面,如下圖所示:

【大資料新手上路】“零基礎”系列課程--MySQL 資料整庫遷移到 MaxCompute
【大資料新手上路】“零基礎”系列課程--MySQL 資料整庫遷移到 MaxCompute

2 . 點選右上角 進階設定 按鈕,您可以根據自身需求選擇轉換規則。比如 maxcompute 端建表時統一增加了 ods_ 這一字首,如下圖所示:

【大資料新手上路】“零基礎”系列課程--MySQL 資料整庫遷移到 MaxCompute

3 . 根據自身需求選擇需要遷移的資料表、同步方式、日期字段、同步并發配置、開始時間和同步數量,如下圖所示:

【大資料新手上路】“零基礎”系列課程--MySQL 資料整庫遷移到 MaxCompute

4 . 點選 a1 表後對應的檢視任務,會跳轉到資料內建的任務開發界面。如下圖所示:

【大資料新手上路】“零基礎”系列課程--MySQL 資料整庫遷移到 MaxCompute

由上圖可以看到:源頭 a1 表對應的 maxcompute 表 ods_a1 建立成功,列的名字和類型也符合之前映射轉換配置。在左側目錄樹 mysql_demo 目錄下,會有對應的所有整庫遷移任務,任務命名規則是: mysql2odps 源表名,如上圖紅框部分所示。

5 . 此時便成功将一個 mysql 資料源 mysql_demo 整庫遷移到 maxcompute 的工作。這些任務會根據配置的排程周期(預設天排程)被排程執行,您也可以使用 dataworks dataide 排程補資料功能完成曆史資料的傳輸。