Cloudera Manager 理論

• • • • Cloudera Manager介紹
      • ClouderaManager整體架構
      • Cloudera Management Service
      • 信号檢測
      • 狀态管理
      • 伺服器和用戶端配置
      • 程序管理
      • 主機管理
      • 安全身份驗證

Cloudera Manager介紹

• Cloudera Manager是cloudera公司提供的一種大資料的解決方案，可以通過ClouderaManager管理界面來對我們的叢集進行安裝和操作，提供了良好的UI界面互動，使得我們管理叢集不用熟悉任何的linux技術，隻需要通過網頁浏覽器就可以實作我們的叢集的操作和管理，讓我們使用和管理叢集更加的友善。

ClouderaManager整體架構

Cloudera Manager的核心是Cloudera Manager Server。Server托管Admin Console Web Server和應用程式邏輯。它負責安裝軟體、配置、啟動和停止服務以及管理運作服務的群集。

解釋：

• Agent：安裝在每台主機上。它負責啟動和停止程序，解壓縮配置，觸發安裝和監控主機
• Management Service：執行各種監控、報警和報告功能的一組角色的服務。
• Database：存儲配置和監控資訊
• Cloudera Repository：可供Cloudera Manager配置設定的軟體的存儲庫（repo庫）
• Client：用于與伺服器進行互動的接口：
• Admin Console：管理者控制台
• API：開發人員使用 API可以建立自定義的Cloudera Manager應用程式

Cloudera Management Service

Cloudera Management Service 可作為一組角色實施各種管理功能

• Activity Monitor：收集有關服務運作的活動的資訊
• Host Monitor：收集有關主機的運作狀況和名額資訊
• Service Monitor：收集有關服務的運作狀況和名額資訊
• Event Server：聚合元件的事件并将其用于警報和搜尋

• Alert Publisher ：為特定類型的事件生成和提供警報

  Reports Manager：生成圖表報告，它提供使用者、使用者組的目錄的磁盤使用率、磁盤、io等曆史視圖

信号檢測

• 預設情況下，Agent 每隔 15 秒向 Cloudera Manager Server 發送一次檢測信号。但是，為了減少使用者延遲，在狀态變化時會提高頻率。

狀态管理

模型狀态捕獲什麼程序應在何處運作以及具有什麼配置

運作時狀态是哪些程序正在何處運作以及正在執行哪些指令（例如，重新平衡 HDFS 或執行備份/災難恢複計劃或滾動更新或停止）

當您更新配置（例如Hue Server Web 端口）時，您即更新了模型狀态。但是，如果 Hue 在更新時正在運作，則它仍将使用舊端口。當出現這種不比對情況時，角色會标記為具有”過時的配置”。要重新同步，您需重新開機角色（這會觸發重新生成配置和重新開機程序）

特殊情況如果要加入一些clouder manager控制台沒有的屬性時候都在進階裡面嵌入

伺服器和用戶端配置

如使用HDFS，檔案 /etc/hadoop/conf/hdfs-site.xml 僅包含與 HDFS 用戶端相關的配置

而 HDFS 角色執行個體（例如，NameNode 和 DataNode）會從/var/run/cloudera-scm-agent/process/unique-process-name下的每個程序專用目錄擷取它們的配置

程序管理

在 Cloudera Manager 管理的群集中，隻能通過 Cloudera Manager 啟動或停止服務。ClouderaManager 使用一種名為 supervisord的開源程序管理工具，它會重定向日志檔案，通知程序失敗，為合适使用者設定調用程序的有效使用者 ID 等等

Cloudera Manager 支援自動重新開機崩潰程序。如果一個角色執行個體在啟動後反複失敗，Cloudera Manager還會用不良狀态标記該執行個體

特别需要注意的是，停止 Cloudera Manager 和 Cloudera Manager Agent 不會停止群集；所有正在運作的執行個體都将保持運作

Agent 的一項主要職責是啟動和停止程序。當 Agent 從檢測信号檢測到新程序時，Agent 會在/var/run/cloudera-scm-agent 中為它建立一個目錄，并解壓縮配置

Agent 受到監控，屬于 Cloudera Manager 的主機監控的一部分：如果 Agent 停止檢測信号，主機将被标記為運作狀況不良

主機管理

Cloudera Manager 自動将作為群集中的托管主機身份：JDK、Cloudera Manager Agent、CDH、Impala、Solr 等參與所需的所有軟體部署到主機

Cloudera Manager 提供用于管理參與主機生命周期的操作以及添加和删除主機的操作

Cloudera Management Service Host Monitor 角色執行運作狀況檢查并收集主機度量，以使您可以監控主機的運作狀況和性能

安全身份驗證

Hadoop中身份驗證的目的僅僅是證明使用者或服務确實是他或她所聲稱的使用者或服務，通常，企業中的身份驗證通過單個分布式系統（例如，輕型目錄通路協定 (LDAP) 目錄）進行管理。LDAP身份驗證包含由各種存儲系統提供支援的簡單使用者名/密碼服務

Hadoop 生态系統的許多元件會彙總到一起來使用 Kerberos 身份驗證并提供用于在 LDAP 或 AD 中管理和存儲憑據的選項授權 

CDH 目前提供以下形式的通路控制： 

适用于目錄和檔案的傳統 POSIX 樣式的權限

适用于 HDFS 的擴充的通路控制清單 (ACL)

Apache HBase 使用 ACL 來按列、列族和列族限定符授權各種操作 (READ, WRITE, CREATE, ADMIN)

使用 Apache Sentry 基于角色進行通路控制加密 

需要獲得企業版的Cloudera（Cloudera Navigator 許可）