大資料||hadoop分布式叢集安裝

基于僞分布式環境安裝進行展開

規劃機器與服務（）

HDFS 檔案系統

YARN “雲作業系統”

JobHistoryServer 曆史服務監控

修改配置檔案，設定服務運作機器節點（）

分發HADOOP安裝包至各個機器節點

依據官方叢集安裝文檔，分别啟動各節點相應服務

測試 HDFS 、YARN、 MapReduce ，Web UI 監控叢集（）

配置主節點至各從節點 SSH 無密鑰登陸

叢集基準測試（實際環境必須的，面試題）

copy 僞分布模式步驟

image.png

配置hdfs

配置jdk。

配置hdfs的nameNode位址

配置hadoop資料存儲目錄及垃圾回收時間

建立hadoop資料存儲目錄 mkdir -p /opt/app/hadoop-2.5.0/data/tmp

配置secondaryNameNode

vi /opt/app/hadoop-2.5.0/etc/hadoop/hdfs-site.xml

配置叢集 slaves

vi /opt/app/hadoop-2.5.0/etc/hadoop/slaves

yarn配置

yarn的環境變量配置 。

vi /opt/app/hadoop-2.5.0/etc/hadoop/yarn-env.sh

resourceManager配置

vi /opt/app/hadoop-2.5.0/etc/hadoop/yarn-site.xml

配置叢集slaves

配置MapReduce

mapReduce環境變量

vi /opt/app/hadoop-2.5.0/etc/hadoop/mapred-env.sh

配置jobhistoryserver

vi /opt/app/hadoop-2.5.0/etc/hadoop/mapred-site.xml

首先删除doc檔案，此檔案夾不需要分發

從主節點（131）到從節點（132,133）無密碼登入及測試

ssh-copy-id hadoop-senior02.beifeng.com ssh-copy-id hadoop-senior03.beifeng.com 說明：ssh-copy-id指令可以把本地主機的公鑰複制到遠端主機的authorized_keys檔案上，ssh-copy-id指令也會給遠端主機的使用者主目錄（home）和<code>~/.ssh</code>, 和<code>~/.ssh/authorized_keys</code>設定合适的權限

分發hadoop安裝包到子節點（132,133node節點）

指令scp（ssh copy）

删除複制過來的虛拟機

兩個linux機器之間使用ssh不需要使用者名和密碼

指令：ssh-keygen -t rsa 。 兩個linux機器之間使用ssh不需要使用者名和密碼,采用了數字簽名RSA或者DSA來完成這個操作

公鑰複制到遠端主機的authorized_keys檔案上

ssh-copy-id hadoop-senior.beifeng.com