天天看點

MaxCompute Studio使用心得系列1——本地資料上傳下載下傳

用過大資料開發套件的同學,對于本地資料上傳下載下傳,都會遇到這樣的問題:

‘導入本地資料’功能,限制本地資料檔案大小最大為10MB;

查詢結果導出本地時,由于select語句傳回結果最大為10000行的限制,最多隻能導出1W資料;

資料導出本地檔案的功能隻有‘查詢結果導出本地’。

前提條件:表、分區已經存在,操作人有權限對表進行資料寫入。

進入MaxCompute Studio的Project Explorer視窗,展開Data Preview,滑鼠對需要導入資料的表右鍵,選擇 Import data into table

MaxCompute Studio使用心得系列1——本地資料上傳下載下傳

彈出的框裡選擇上傳的本地資料檔案路徑、分區(非分區表無需填)、分隔符、行數限制、大小限制等:

注意:大小限制(Size Limit)不限于10MB。
MaxCompute Studio使用心得系列1——本地資料上傳下載下傳

點選OK後可以看右下角進度條,最終成功與否會在Event Log裡可檢視相關日志。導入成功日志中會給出寫入成功的行數和寫入失敗的行數。如:

<code>上午10:35 Success: Import to table tablename from file /Users/.../Documents/.../t_data.txt finished, success [ 220977 ], failed [ 0 ].</code>

前提條件:操作人有權限對表進行資料導出。

進入MaxCompute Studio的Project Explorer視窗,展開Data Preview,滑鼠對需要導入資料的表右鍵,選擇 Export data from table

MaxCompute Studio使用心得系列1——本地資料上傳下載下傳

彈出框輸入導出檔案位址包括檔案名檔案類型(CSV或TXT)、選擇需要下載下傳的分區(非分區表直接下載下傳整張表)、導出行數限制、大小限制等。

注意:行數不限于10000行,大小不限于10MB,可以下載下傳整張非分區表或分區表的整個分區。
MaxCompute Studio使用心得系列1——本地資料上傳下載下傳

點選OK後可以看右下角進度條,最終成功與否會在Event Log裡可檢視相關日志。導出成功日志中會給出導出成功的行數和導出失敗的行數。如:

<code>上午10:47 Success: Export from table tablename to file /Users/..../Desktop/... finished, success [ 220977 ], failed [ 0 ].</code>

繼續閱讀