EMR學習筆記（1）HDFS

EMR HDFS Architecture

本文以非HA叢集，2個worker的叢集為例。

非HA叢集，僅有一個Namenode執行個體，部署在Master節點。

Namenode主要職責：

-管理檔案系統namespace，包括但不僅限于：開、關檔案，檔案改名，目錄操作等。

-管控用戶端對檔案的通路

EMR hadoop叢集，每個Worker節點僅部署一個Datanode執行個體。

Datanode主要職責：

-管理所在節點挂載的存儲

-提供給用戶端讀寫服務

-block建立、删除以及replication

登入EMR叢集實作基本運維

在較新的叢集版本中（3.2 以上版本），所有的服務操作都可以通過叢集的配置管理功能來完成。推薦優先使用 Web 頁面的管理方式。

若您覺得在網頁上的作業和執行計劃無法滿足您更加複雜的應用需求，您可以登入到 E-MapReduce 叢集的主機上。找到叢集的詳情頁，其中就有叢集 master 機器的公網 IP 位址，您可以直接 SSH 登入到這台機器上，檢視各種設定與狀态。

登入 Master 主機步驟

1. 使用如下指令 SSH 登入到 master 主機。請在叢集詳情頁的主機資訊欄中擷取叢集 master 機器的公網 IP。

   ssh [email protected]

2. 輸入建立叢集時設定的密碼。

如何登入 Core 節點

A：按照如下步驟：

1. 首先在 Master 節點上切換到 Hadoop 賬号：

   su hadoop

2. 然後即可免密碼 SSH 登入到對應的 Core 節點：

   ssh emr-worker-1

3. 通過 sudo 可以獲得 root 權限：

   sudo vi /etc/hosts

通過指令行方式啟停服務程序

操作用賬号：hdfs

• NameNode （Master 節點）

// 啟動
/usr/lib/hadoop-current/sbin/hadoop-daemon.sh start namenode
// 停止
/usr/lib/hadoop-current/sbin/hadoop-daemon.sh stop namenode           

• DataNode （Core 節點）

// 啟動
/usr/lib/hadoop-current/sbin/hadoop-daemon.sh start datanode
// 停止
/usr/lib/hadoop-current/sbin/hadoop-daemon.sh stop datanode           

示例：登入實際emr叢集示範停止datanode程序操作