大資料開發套件(data ide) 基于maxcompute作為核心的計算、存儲引擎,提供了海量資料的離線加工分析、資料挖掘的能力。
![](https://img.laitimes.com/img/9ZDMuAjOiMmIsIjOiQnIsIyZuBnLzgDMzczNjNTYlNWZykTY1YTMmJWZwU2NzYjYwQDNkJmZyczY4MDZm9CXt92Yu4GZjlGbh5SZslmZxl3Lc9CX6MHc0RHaiojIsJye.png)
<b>一、計費問題</b>
q:大資料開發套件貴不貴?
q:項目表不用是否産生費用?
a:存儲需要收費,隻要清除項目表和資料就不會産生費用。
<b>二、功能問題</b>
2.1 同步問題
q:如何開始資料同步?
q:支援的資料源類型?
q:在使用大資料開發套件時,rds同步失敗,提示請檢查您的賬号、密碼、資料庫名稱等;
q:資料內建服務(di)和資料傳輸服務(dts)有什麼差別?
q:資料同步失敗,從maxcompute導入資料到rds,執行報錯?
q:1000萬資料如果我隻想同步過去 100條資料,在where 處應該怎麼寫 limit?
a:limit暫時不支援在 過濾語句中使用,可以現在資料庫中使用sql篩選出來100條,再同步。
q:表中的資料較多,我可以同時跑兩個任務操作嗎?
a:關系型資料庫可以使用切分鍵。
q:資料同步時,過多導入,産生資料備援,怎麼删除;
a:每一列都一樣的就算重複資料的話,可以 group by 所有列,比方有三列 c1,c2,c3 insert overwrite table xx select c1,c2,c3 from tablename group by c1,c2,c3
2.2 排程問題
q:跑了幾個定時任務,現在發現由于失誤,有幾天資料沒有存到表中,我在運維中心看到有補資料這個功能,怎麼使用?
2.3 資料開發問題
q:如何寫sql函數?
q:ide裡或者console執行sql,sql沒執行完就關閉了頁面或用戶端,在想看執行日志怎麼辦?
a:執行show p檢視instance ,然後 wait instanceid就能看見日志logview了。
q:如何寫mr?
2.4 項目管理問題
q:所有項目的資料量在哪裡看?
<b>三、限制問題</b>
q:浏覽器支援哪些?
a:僅支援chrome浏覽器54以上版本。
q:資料加工分析隻能在maxcompute?
a:是的,目前無法支援sql運作在 阿裡雲雲資料庫、阿裡雲分析型資料庫 等産品,僅支援maxcompute。
q:maxcompute mr 限制項彙總
歡迎大家一起補充知識貼。