DataWorks使用Shell節點調用自定義資源組執行腳本
背景描述：
本文主要介紹DataWorks使用Shell節點排程自定義資源組執行Shell腳本，且使用該功能需要使用者的DataWorks版本為企業版。文中主要内容包括配置自定義資源組，以及設定ECS的amdin使用者權限，腳本模式使用MaxCompute用戶端，并配置手動業務流程執行對應的Shell腳本在開發環境運作，檢測其腳本執行的指令是否正确。該功能對于使用者排程使用者ECS上的的程式提供了便利，使其他的任務能和DataWorks的排程結合起來。
一、設定自定義資源組并配置權限ECS權限
1.1根據文檔添加對應空間下的自定義資源組
https://help.aliyun.com/document_detail/169950.html1.2檢視添加的自定義資源組
1.3登陸添加為自定義資源組的ECS，建立對應目錄，并給admin使用者設定權限
目錄下的odps_haudong為MaxCompute的用戶端
upfile.txt内容為
chown -R amdin:admin /home
二、DataWorks建立Shell節點，并進行編輯腳本
2.1建立臨時節點，并執行以下語句
create table shell_test(key string);
insert overwrite table shell_test values('hadoop'),('kafka'),('habse');
select * from shell_test;
檢視目前資料展示
2.2建立手動業務流程，并配置Shell腳本，以及添加排程資源組為自定義資源組
/home/export/odps_huadong/bin/odpscmd -e "tunnel upload -overwrite true /home/export/upfile.txt shell_test"
三、送出shell節點到生産環境，并進行執行
3.1送出業務流程
3.2釋出任務到生産環境,并在手動任務執行
顯示執行指令成功
四、檢測指令是否執行
4.1傳回資料開發界面執行語句，确認資料是否被覆寫寫入
select * from shell_test;
可以看到資料寫入成功
歡迎加入“MaxCompute開發者社群2群”,點選連結申請加入或掃描二維碼
https://h5.dingtalk.com/invite-page/index.html?bizSource=____source____&corpId=dingb682fb31ec15e09f35c2f4657eb6378f&inviterUid=E3F28CD2308408A8&encodeDeptId=0054DC2B53AFE745image