本文是基于本人對MaxCompute産品的學習進度,再結合開發者社群裡面的一些問題,進而整理成文。希望對大家有所幫助。
問題一、DataStudio中是否可以通過shell節點調取MaxCompute sql語句?
不可以的,Shell節點支援标準Shell文法,不支援互動性文法。如果任務較多,可以使用ODPS SQL節點來完成任務的執行。關于DataStudio的其他介紹請參考官方文檔:
https://help.aliyun.com/document_detail/74423.html問題二、MaxCompute支援修改表字段的資料類型嗎?
不支援,隻能添加字段列,生産表不允許删除字段、修改字段及分區字段,如果必須修改,請删除之後重建立表,可以将表建立成外部表,在表删除重建以後,能将資料重新加載回來。
資料類型請參考官方文檔:
https://help.aliyun.com/document_detail/27821.html問題三、MaxCompute除了UDF函數的方式外,有沒有别的辦法将兩個沒有任何關聯關系的表合并成一張表呢?
可以縱向合并使用union all,橫向合并的話可以借助row number,兩張表都新加一個新的ID列,進行ID關聯,然後取兩張表的字段。
問題四、現有賬号的AK禁用,建立一個新的AK,會對之前AK建立的周期性任務有影響嗎?
有的,如果AccessKey被禁用或删除,将直接影響您的DataWorks中各類任務的正常運作。
AK資訊謹慎操作。其餘AK操作請參考官方文檔:
https://help.aliyun.com/document_detail/27803.html問題五、在Java-sdk連接配接的情況下,如果Endpoint用的
http://service.cn.maxcompute.aliyun.com/api,如果我沒有顯式配置Tunnel Endpoint,用到TunnelServer時會路由到哪個Tunnel Endpoint?
如果不配置Tunnel Endpoint,Tunnel會自動路由到Service Endpoint所在網絡對應的Tunnel Endpoint,例如Service Endpoint為公網就路由到公網的Tunnel Endpoint;Service Endpoint為内網就路由到内網的Tunnel Endpoint。若您繼續手動配置,則以手動配置為準,不進行自動路由。具體可以參考官方文檔:
https://help.aliyun.com/document_detail/34951.html問題六、請問Tunnel可以上傳json格式的資料到MaxCompute表嗎?
可以把json檔案作為一個整體的字段來進行上傳,然後在MaxCompute進行拆分,或者利用MaxCompute内建函數及UDTF轉換json格式日志資料。可以參考這個文檔 :
https://yq.aliyun.com/articles/627758問題七、如何正确安裝MaxCompute用戶端?
1、根據自身系統安裝比對JDK(建議1.7/1.8)并配置環境;
2、官網文檔下載下傳最新版用戶端檔案并解壓;
3、根據開通好的工作空間配置config檔案;
4、根據自身系統選擇執行檔案(bin檔案内);
5、執行測試建表語句:create table tbll(id bigint)。
安裝及配置用戶端過程中,可能會出現錯誤,請參考官方文檔解決:
https://help.aliyun.com/document_detail/142260.html問題八、MaxCompute支援将2010/1/3這種格式轉成 2010-01-03嗎?
如果是2010/01/03這種格式的話可以使用to_char(TO_DATE(‘2019/04/02’, ‘yyyy/mm/dd’), ‘yyyy-mm-dd’)去進行轉換,
如果是2010/1/3就需要去編寫UDF函數去實作日期的轉換。
更多日期函數請參考官方文檔:
https://help.aliyun.com/document_detail/48974.html問題九、使用OSS外部表怎麼樣将多個小檔案,輸出為一個檔案?
檢視Logview日志,看SQL的執行計劃,看最後一個是Reducer還是Joiner,
如果是Reducer則設定參數為set odps.stage.reducer.num=1,
如果是Joiner,則設定為set odps.stage.joiner.num=1。
問題十、DataWorks業務流程中,根據業務需求進行節點連接配接之後自動解析上下遊是否會發生錯誤?
不會,在排程系統中,每一個工作空間中預設會建立一個projectname_root節點作為根節點。如果本節點沒有上遊節點,可以直接依賴根節點。依賴屬性中配置節點的上遊依賴,表示即使目前節點的執行個體已經到定時時間,也必須等待上遊節點的執行個體運作完畢,才會觸發運作。
歡迎加入“MaxCompute開發者社群2群”,點選連結申請加入或掃描二維碼
https://h5.dingtalk.com/invite-page/index.html?bizSource=____source____&corpId=dingb682fb31ec15e09f35c2f4657eb6378f&inviterUid=E3F28CD2308408A8&encodeDeptId=0054DC2B53AFE745