天天看點

MaxCompute問答整理之2020-02月

本文是基于本人對MaxCompute産品的學習進度,再結合開發者社群裡面的一些問題,進而整理成文。希望對大家有所幫助。

問題一、子賬号無法通路DataWorks工作空間,提示缺少AccessKey ID,但這個賬号已經有AccessKey ID的,是什麼原因造成無法通路?

在控制台的個人資訊中進行綁定AK資訊,才可以使用大資料開發平台。

問題二、MaxCompute使用Tunnel指令上傳資料時,源檔案是csv格式,字段中有逗号分隔的資料,上傳會被拆分成多列,這個怎麼設定能避免這個問題?

如果描述字段中本身有逗号的話,建議轉換資料的分隔符為其他符号,即修改csv檔案的預設分隔符為其他分隔符。再通過-fd指定為其他分隔符進行上傳。

問題三、如何檢視MaxCompute JDBC Driver的日志?

MaxCompute JDBC Driver的日志預設放在Driver Jar包所在的同級目錄,檔案名為jdbc.log。如果将使用者代碼與Driver打包為一個超級Jar,日志将會在超級Jar所在的同級目錄。

問題四、MaxCompute有資料庫一緻性和鎖的處理機制嗎?

MaxCompute支援ACID語義原子性(Atomicity):一個操作或是全部完成,或是全部不完成,不會結束在中間某個環節。一緻性(Consistency):從操作開始至結束的期間,資料對象的完整性沒有被破壞。隔離性(Isolation):操作獨立于其它并發操作完成。持久性(Durability):操作處理結束後,對資料的修改将永久有效,即使出現系統故障,該修改也不會丢失。

問題五、在MaxCompute中運作SQL語句查詢表test中資料,test表中資料為1萬條,查詢一直處于Job Quening...狀态,無法執行,原因是什麼?

請排查任務運作狀态,可能有個任務運作完了所有的資源,請先中止或者等待此任務。可以在MaxCompute用戶端中運作Show Instances/Show P指令來檢視執行個體資訊。

問題六、使用MaxCompute SQLTask執行cost sql sql指令時報錯ODPS-0130161:[1,1] Parse exception - invalid token 'cost'怎麼解決呢?

需要使用Java SDK中的SQLCostTask接口來實作單條SQL費用的查詢。接口使用方式可以參考:

https://www.javadoc.io/doc/com.aliyun.odps/odps-sdk-core/latest/com/aliyun/odps/task/SQLCostTask.html

問題七、MaxCompute中為什麼SQL查詢不同的分區,費用差異比較大?

分區Size較大就會造成費用較多。您可以使用desc table_name partition(pt_spec)指令檢視具體分區大小。

分區表的意義在于優化查詢。查詢表時通過WHERE子句查詢指定所需查詢的分區,避免全表掃描,提高處理效率,降低計算費用。

問題八、MaxCompute中如何删除生産環境的表?

可以在MaxCompute用戶端或DataStudio中使用 drop table project_name.table_name; 删除生産環境的表。

問題九、MaxCommpute中,是否可以添加或删除列?

可以添加列,但不可以删除列。如果有删除列的需求,可以建立表,再重命名表。

問題十、如何了解開源與雲原生的大資料技術與産品?

2020 大資料技術公開課第一季《從開源到雲原生,你不得不知的大資料實戰》,通過比較和實操,幫助開發者們更好的了解和掌握大資料技術。大家可以通過文字和視訊觀看學習。

https://yq.aliyun.com/articles/744581

歡迎掃碼加入 MaxCompute開發者社群釘釘群,或

點選連結

申請加入。

MaxCompute問答整理之2020-02月