天天看點

Cloudera 軟體分發管理

Cloudera Manager的主要功能是安裝和更新Cloudera Runtime和其他托管服務。Cloudera Manager支援兩種軟體分發格式:package和parcel。

package 是包含了編譯的代碼和元資訊的二進制分發格式,其中中繼資料包括諸如 package 描述、版本、和依賴。程式包管理系統評估此元資訊,以允許程式包搜尋,執行對較新版本的更新并確定滿足程式包的所有依賴關系。Cloudera Manager 對每個受支援的 OS 使用原生的系統軟體包管理器來安裝和更新 Cloudera Manager。

Parcel 是包含程式檔案的二進制分發格式,與由 Cloudera 的管理器使用的附加中繼資料。parcel 具有以下優點:

  • parcel 是獨立的,并安裝在版本目錄中,這意味着可以并行安裝給定 parcel 的多個版本。然後,您可以将這些已安裝版本之一指定為活動版本。使用軟體 package 時,一次隻能安裝一個軟體 package,是以在安裝内容和活動内容之間沒有差別。
  • 滾動更新需要 parcel。
  • 您可以在檔案系統中的任何位置安裝 parcel。它們預設安裝在中/opt/cloudera/parcels。相反,軟體 package 安裝在中/usr/lib。
  • 從 parcel 安裝時頁面上,Cloudera Manager 會自動為群集中每個主機上運作的作業系統下載下傳、分發和激活正确的 parcel。組成邏輯叢集的所有 Cloudera Runtime 主機必須在相同的主要OS版本上運作,才能被 Cloudera 支援覆寫。Cloudera Manager 必須與其所管理的至少一個 Cloudera Runtime 叢集在相同的主要OS版本上運作,才能被 Cloudera 支援所涵蓋。運作不同的次要作業系統版本引起的問題風險被認為低于運作不同的次要作業系統版本引起的風險。Cloudera 建議運作相同的次要發行版跨叢集,因為它可以簡化問題跟蹤和可支援性。
Cloudera 軟體分發管理

由于其獨特的屬性,與 package 相比,parcel 具有以下優點:

  • 将 Cloudera Runtime 分發為單個對象-将 parcel 作為單個對象分發,而不是為 Cloudera Runtime 的每個元件都具有單獨的 package。這樣可以更輕松地将軟體分發到未連接配接到 Internet 的群集。
  • 内部一緻性-所有 Cloudera Runtime 元件都比對,進而消除了從不同 Cloudera Runtime 版本安裝元件的可能性。
  • /usr之外安裝-在某些環境中,Hadoop 管理者沒有安裝系統軟體包的特權。有了 parcel,管理者可以安裝到 /opt或其他任何地方。

注意

使用 parcel,Cloudera Runtime 庫的路徑/opt/cloudera/parcels/Cloudera Runtime/lib 不是通常的 /usr/lib。不要将 /usr/lib/ 元素連結到 parcel 部署的路徑,因為連結會導緻無法區分兩個路徑的腳本。

  • 不使用 sudo 指令就可以安裝 Cloudera Runtime。parcel 的安裝由以 root 或另一個使用者身份運作的 Cloudera Manager Agent 處理,是以您可以不帶 sudo。
  • 分發與激活脫鈎-通過并行安裝功能,您可以在切換到叢集之前在叢集中暫存新版本的 Cloudera Runtime。這樣可以在不影響群集操作的情況下提前完成更新中最耗時的部分,進而減少停機時間。
  • 滾動更新-使用軟體包要求您關閉舊程序,更新軟體 package,然後啟動新程序。錯誤可能很難恢複,更新需要與程式包管理系統進行廣泛內建才能無縫運作。使用 parcel,并排暫存新版本時,您可以通過簡單地更改重新啟動每個程序時使用的Cloudera Runtime 版本來切換到新的次要版本。然後,您可以通過滾動重新啟動來執行更新,其中以正确的順序重新啟動服務角色,以最小的服務中斷切換到新版本。在整個群集中暫存新版本時,您的群集可以繼續在現有已安裝的元件上運作,不會影響您目前的營運。主要版本更新(例如,從 CDH5到 Cloudera Runtime 7)需要重新啟動所有服務,因為版本之間存在重大變化。最後,您可以同時更新單個 parcel 或多個 parcel。
  • 更新管理-Cloudera Manager 管理 Cloudera Runtime 叢集更新中的所有步驟。
  • 其他元件-parcel 不局限于 Cloudera Runtime。LZO 和附加服務的 parcel 也可以使用。
  • 與其他分發工具的相容性-Cloudera Manager 與您用于下載下傳和分發的其他工具(例如Puppet)一起使用。或者,如果您的叢集沒有 Internet 連接配接,則可以手動将parcel 下載下傳到 Cloudera Manager Server,然後讓 Cloudera Manager 将 parcel 分發到叢集。

點選連結參與

阿裡雲CDP限時免費測試

啦~

https://survey.aliyun.com/apps/zhiliao/owtTaIQU3

釘釘掃描下方二維碼加入阿裡雲 Cloudera 企業資料雲交流群一起參與讨論吧!

Cloudera 軟體分發管理

繼續閱讀