MaxCompute問答整理之2020-04~05月

本文是基于本人對MaxCompute産品的學習進度，再結合開發者社群釘群裡的一些問題，進而整理成文。希望對大家有所幫助。

問題一、MaxCompute SQL支援with as語句嗎？

支援，MaxCompute支援SQL标準的CTE，提高SQL語句的可讀性與執行效率。具體文法可參考官網文檔：

https://help.aliyun.com/document_detail/73788.html

問題二、MaxCompute Spark 如何在本地進行調試？

可以使用IDEA進行MaxCompute Spark進行本地調試。可參考官方文檔：

https://help.aliyun.com/document_detail/118144.html

問題三、使用MMA工具做資料遷移時，有個job一直處于pending狀态，無法删除pending的job，如何删除呢？

目前隻能取消遷移succeeded和failed任務。會有一個重試，重試結果任務挂掉就可以删除。

MaxCompute Migration Assist（MMA）是一款MaxCompute資料遷移工具。MMA官方介紹：

https://help.aliyun.com/document_detail/149668.html

問題四、在MaxCompute中，100億條資料，使用Group by分組查詢會不會影響性能？使用Group by對資料量有沒有限制？

無影響，無限制。具體Group by分組查詢使用規則可參考官網文檔：

https://help.aliyun.com/document_detail/73777.html

問題五、建立MaxCompute項目空間，是隻能在DataWorks控制台中建立嗎？

是的，MaxCompute控制台即為DataWorks控制台，可在DataWorks建立工作空間。可參考官方文檔進行操作：

https://help.aliyun.com/document_detail/27815.html 問題六、

select a.*,b.ce from a left join b on a.cente_id = b.id WHERE a.pt='20200518' and b.pt='20200518'           

選擇a和b表的分區20200518的資料，做left join？不行嗎？

可以改成下面這樣：

select a1.*,b1.ce
from （select * from a where pt='20200518'）a1
left join （select * from b where pt='20200518'）b1 on a1.cente_id = b1.id           

問題七、開通MaxCompute服務，如何根據本身資料存儲量以及計算任務評估開通哪些産品規格？

新使用者建議開通MaxCompute按量付費版本，存儲和下載下傳都是按量付費，正式跑一段時間之後再評估是否需要變換産品規格。

MaxCompute計費項可參考官方文檔：

https://help.aliyun.com/document_detail/53056.html

問題八、有什麼指令可以查詢MaxCompute内表的存儲量和記錄條數？

單表的存儲量可以使用desc指令檢視，記錄條數可以使用count。

問題九、MaxCompute資料類型版本如何了解？

目前Maxompute一共支援3個資料類型版本：

1、MaxCompute 2.0資料類型

2、MaxCompute 1.0資料類型

3、MaxCompute Hive相容模式（即部分資料類型和SQL行為相容Hive）

具體參數設定可參考官方文檔:

https://help.aliyun.com/document_detail/27821.html

問題十、MaxCompute建表預設有壓縮功能嗎？可以指定壓縮格式和存儲格式嗎？

目前MaxCompute預設自動壓縮，預設存儲格式AliORC，不支援自定義。

MaxComptue存儲性能可參考官方文檔:

https://help.aliyun.com/document_detail/162573.html

問題十一、DataWorks中的排程參數如何配置？

目前排程參數支援系統參數和自定義參數兩種形式：

• 系統參數可以在代碼中直接使用。

• 自定義參數需要在排程參數指派處，給該變量指派自定義參數後，在代碼中調用變量名。

可參考官方文檔：

https://help.aliyun.com/document_detail/137548.html

問題十二、使用jdbc方式通路MaxCompute可以向MaxComptue中插入資料嗎？

可以執行INSERT，具體可參考官方文檔：

https://help.aliyun.com/document_detail/161246.html

問題十三、MaxCompute的存儲壓縮比是多少？

一般壓縮比是1:4，如果您有什麼具體的表或者分區覺得壓縮比不正常可以在MaxCompute社群釘群回報，我們一起分析一下。

問題十四、資料源連通性測試失敗如何解決？

關于資料源連通性常見的問題可參考官方文檔：

https://help.aliyun.com/document_detail/137671.html

問題十五、PyODPS節點是否支援python 3？

DataWorks在2020.05.21新增PyODPS 3節點，可參考官方文檔進行操作：

https://help.aliyun.com/document_detail/167964.html

歡迎掃碼加入 MaxCompute開發者社群釘釘群，或

點選

申請加入。