大資料開發套件—資料內建常見問題

q： 配置資料同步任務，在選擇資料源時，出現下圖中的錯誤，該怎麼辦？

a： 建議您重新整理頁面，清空緩存，重新登入。

q：資料同步時，如何進行增量同步？

q：新增資料源時，rds 資料源測試連通性不通怎麼辦？

a：當 rds 資料源測試連通性不通時，需要到自己的 rds 上添加資料同步機器 ip 白名單：

10.152.69.0/24,10.153.136.0/24,10.143.32.0/24,120.27.160.26,10.46.67.156,120.27.160.81,10.46.64.81,121.43.110.160,10.117.39.238,121.43.112.137,10.117.28.203,118.178.84.74,10.27.63.41,118.178.56.228,10.27.63.60,118.178.59.233,10.27.63.38,118.178.142.154,10.27.63.15,100.64.0.0/8

注意：若使用自定義資源組排程 rds 的資料同步任務，必須把自定義資源組的機器 ip 也加到 rds 的白名單中 ，同時要確定以下問題正常：

網絡：確定網絡和端口之間是能夠聯通，網絡連接配接失敗，可以再檢查一下 ecs 的防火牆以及安全組設定；

確定添加的資訊正确：使用者名密碼jdbcurl 中的 ip 位址和端口必須確定正确；

確定自建的資料庫涉及的安全通路限制，權限的限制和能否遠端登入的情況；

在 vpc 的環境下購買的 ecs 隻能用腳本模式運作任務，在添加資料源時測試連通性不能成功 。購買 ecs 可以添加自定義資源，将同步任務下發到相應的資源組運作 。

q. 配置資料同步任務時，到字段映射步驟時頁面一直處于跳轉狀态？

a. 為了防止緩存問題導緻使用異常，請先清理緩存，若依舊有誤，請確定資料源存在并有效。

q. 為什麼在浏覽器和版本都正确的情況下，進入資料內建總是空白頁？

a. 檢視是否綁定了host。

q. maxcompute的資料怎麼同步到mysql?

q. 資料同步時報錯，日志提示： code:[framework-13], description:[datax插件運作時出錯, 具體原因請參看datax運作結束時的錯誤診斷資訊 .]. - java.lang.outofmemoryerror: java heap space at java.util.arrays.copyof(arrays.java:3236)

a. 由于您的任務資料量稍大并且同步的速度太快，一般是接近10m每秒，導緻排程伺服器記憶體溢出報錯。您可以通過以下幾種方法進行調錯：

在大資料開發套件->資料內建-檢視資料同步任務的速度情況，一般出現記憶體溢出都是速度設定過大導緻的，這裡建議嘗試把同步速度調小；

在大資料開發套件->資料開發-檢視資料同步任務的同步速度是否太大，檢查該排程資源是否有其他大的任務或有比較多的任務在執行；

先嘗試把同步速度調小，檢視其他任務執行狀态，資源比較多的時候執行同步；

将資料任務分時間段來執行，不要在同一時間執行，另外同步速度不宜很大。如果有需求，可以考慮增加排程伺服器的配置或者執行個體。

q. maxcompute 可以通過同步任務回流資料到使用者自建的 mysql（非阿裡雲 mysql）嗎?

a. 可以

q. 對于大量資料，可以配置很長的任務間隔嗎？比如千萬級的資料，是否可以實作秒級同步？

a. 暫時不支援, 目前支援的最小的任務間隔是 5 分鐘同步一次。

q. 配置 maxcompute 資料同步時，在腳本開發中，是否可以設定函數？

a. 目前不可以。

q. maxcompute 資料同步到 sql sever 時， 是否可以留下原來的資料，沒有清除髒資料？

a. 需要在配置資料同步任務時，配置 “導入前準備語句”。

q. rds 的 mysql 資料庫資料同步到 maxcompute，源庫中的 varbinary 字段在做資料同步時如何轉化為 string 類型？

a. rds _mysql 的 varbinary 類型不能直接同步到 maxcompute 中轉化為 string 類型，但可以先将 varbinary 轉化成 string 類型後再同步到 maxcompute。