天天看點

阿裡雲大資料開發套件 新手不得不面對的問題(持續更新)

大資料開發套件(data ide) 基于maxcompute作為核心的計算、存儲引擎,提供了海量資料的離線加工分析、資料挖掘的能力。

阿裡雲大資料開發套件 新手不得不面對的問題(持續更新)
阿裡雲大資料開發套件 新手不得不面對的問題(持續更新)

<b>一、計費問題</b>

q:大資料開發套件貴不貴?

q:項目表不用是否産生費用?

a:存儲需要收費,隻要清除項目表和資料就不會産生費用。

<b>二、功能問題</b>

2.1 同步問題

q:如何開始資料同步?

q:支援的資料源類型?

q:在使用大資料開發套件時,rds同步失敗,提示請檢查您的賬号、密碼、資料庫名稱等;

q:資料內建服務(di)和資料傳輸服務(dts)有什麼差別?

q:資料同步失敗,從maxcompute導入資料到rds,執行報錯?

q:1000萬資料如果我隻想同步過去 100條資料,在where 處應該怎麼寫 limit?

a:limit暫時不支援在 過濾語句中使用,可以現在資料庫中使用sql篩選出來100條,再同步。

q:表中的資料較多,我可以同時跑兩個任務操作嗎?

a:關系型資料庫可以使用切分鍵。

q:資料同步時,過多導入,産生資料備援,怎麼删除;

a:每一列都一樣的就算重複資料的話,可以 group by 所有列,比方有三列 c1,c2,c3 insert overwrite table xx select c1,c2,c3 from tablename group by c1,c2,c3

2.2 排程問題

q:跑了幾個定時任務,現在發現由于失誤,有幾天資料沒有存到表中,我在運維中心看到有補資料這個功能,怎麼使用?

2.3 資料開發問題

q:如何寫sql函數?

q:ide裡或者console執行sql,sql沒執行完就關閉了頁面或用戶端,在想看執行日志怎麼辦?

a:執行show p檢視instance ,然後 wait instanceid就能看見日志logview了。

q:如何寫mr?

2.4 項目管理問題

q:所有項目的資料量在哪裡看?

<b>三、限制問題</b>

q:浏覽器支援哪些?

a:僅支援chrome浏覽器54以上版本。

q:資料加工分析隻能在maxcompute?

a:是的,目前無法支援sql運作在 阿裡雲雲資料庫、阿裡雲分析型資料庫 等産品,僅支援maxcompute。

q:maxcompute mr 限制項彙總

歡迎大家一起補充知識貼。

阿裡雲大資料開發套件 新手不得不面對的問題(持續更新)