天天看點

阿裡雲建立E-MapReduce 3 建立作業

要運作一個計算任務,首先需要定義一個作業,其步驟如下:

2.選擇地域(region),則作業将會建立在對應的地域内。

3.單擊該頁右上角的建立作業,進入建立作業頁面,如下圖所示:

阿裡雲建立E-MapReduce 3 建立作業

4.填寫作業名稱。

5.選擇作業類型。

6.填寫作業的應用參數。應用參數需要完整填寫該作業運作的 jar 包、作業的資料輸入輸出位址以及一些指令行參數,也就是将使用者在指令行的所有參數填寫在這裡。如果有使用到 oss 的路徑,可以單擊下方的“選擇 oss 路徑”選擇 oss 資源路徑。關于各作業類型的參數配置,請參見使用者指南中的作業。

7.實際執行指令。這裡會顯示作業在 ecs 上實際被執行的指令。使用者如果把這個指令直接複制下來,就能夠在 e-mapreduce 叢集的指令行環境中直接運作。

8.選擇執行失敗後政策。暫停目前執行計劃會在這個作業失敗後,暫停目前整個執行計劃,等待使用者處理。而繼續執行下一個作業在這個作業失敗以後,會忽略這個錯誤繼續執行後一個作業。

9.單擊确定完成建立。

這是一個 spark 類型的作業,應用參數中設定了相關的參數,輸入輸出路徑等。

注意:本作業僅僅示例,不能實際運作。

阿裡雲建立E-MapReduce 3 建立作業

oss:// 的字首代表資料路徑指向一個 oss 路徑,當要讀寫該資料的時候,這個指明了操作的路徑,與 hdfs:// 類似。

ossref:// 同樣是指向一個 oss 的路徑,不同的是它會将對應的代碼資源下載下傳到本地,然後将指令行中的路徑替換為本地路徑。它是用于更友善地運作一些本地代碼,而不需要登入到機器上去上傳代碼和依賴的資源包。

上面的例子中, ossref://xxxxxx/xxx.jar 這個參數代表作業資源的jar,這個jar存放在oss上,在運作的時候,e-mapreduce會自動下載下傳到叢集中運作。而跟在jar後面的2個 oss://xxxx 以及另外2個值則是作為參數出現,他們會被作為參數傳遞給jar中的主類來處理。

注意: ossref 不可以用來下載下傳過大的資料資源,否則會導緻叢集作業的失敗。