天天看點

一文讓你秒懂批量計算的功能特性

雲栖号快速入門: 【點選檢視更多雲産品快速入門】 不知道怎麼入門?這裡分分鐘解決新手入門等基礎問題,可快速完成産品配置操作!

1. 送出作業

使用者使用工具(如 SDK,指令行工具等)向 BatchCompute 送出作業,BatchCompute 使用使用者指定的鏡像(如:ubuntu)啟動虛拟機(VM), 在虛拟機中運作使用者程式, 運作完成後釋放虛拟機(VM)。

  • BatchCompute 中使用 OSS 作為持久化存儲。您可以在程式運作完成時将結果資料儲存到 OSS 中。在批量計算中,也可以通過檔案接口的方式通路 OSS 上的資料,請參閱 OSS 挂載功能
  • BatchCompute 程式預設運作在 VM 中,也支援 Docker容器。 也就是說,您可以 自定義 ECS 鏡像或者使用 Docker ,在鏡像中安裝自己需要的任何軟體,用來運作您的任何程式。

作業描述

使用者需要送出一個作業(Job)描述 JSON 檔案到批量計算服務,該 JSON 檔案中較長的描述了需要執行哪些程式(支援多個程式),運作哪些程式需要啟動多少台機器,機器的規格(記憶體和CPU等),運作日志列印到哪裡,完成後結果輸出到哪裡等。

一個作業(Job)包含多個任務(Task), 按照您指定 DAG 描述的順序執行。

一文讓你秒懂批量計算的功能特性

每個任務定義了使用哪個鏡像,使用什麼執行個體規格,運作哪個程式,需要多少台機器運作,還有結果存儲在哪裡等。

一文讓你秒懂批量計算的功能特性

2. 管理我的作業

您可以使用工具(控制台,指令行工具等),檢視我送出的作業,可以停止,重新開機,或删除作業。 檢視各個任務的情況,各個執行個體(VM 執行個體)的情況和日志。下圖是控制台的作業管理界面:

一文讓你秒懂批量計算的功能特性

3. 使用叢集

由于每次運作程式前需要啟動虛拟機,會占用一定的時間(一般幾分鐘左右),遇到忙時有可能申請不到資源(虛拟機被其他客戶使用了),您送出作業後可能需要等待一段時間才能運作。

如果您想要提高運作效率,可以先建立好叢集,指定需要的虛拟機數量(比如:5台)和鏡像ID,BatchCompute 會為您配置設定好機器并啟動,這些機器會一直處于運作狀态,一旦您送出作業上來,就可以直接運作,效率較高。

4. 自定義鏡像

您送出作業或者建立叢集時,可以使用批量計算官方提供的鏡像,也可以使用自定義鏡像。自定義鏡像的好處是,可以自己安裝需要的軟體。詳情可以看

這裡

本文來自 阿裡雲文檔中心

批量計算 功能特性

【雲栖号線上課堂】每天都有産品技術專家分享!

課程位址:

https://yqh.aliyun.com/zhibo

立即加入社群,與專家面對面,及時了解課程最新動态!

【雲栖号線上課堂 社群】

https://c.tb.cn/F3.Z8gvnK

繼續閱讀