天天看點

搭建hadoop1.2叢集環境準備建立使用者為本機(master)和子節點(node..)安裝JDK環境。修改本機(master)和子節點(node..)機器名本機(master)和子節點(son..)安裝ssh服務建立ssh無密碼登入環境為mater安裝hadoop啟動hadoop運作示例

我使用的是vmware workstation,首先安裝ubuntu 12.04,安裝完成後通過vmware的clone,clone出兩個虛機,設定的IP分别是:

然後修改各個主機的/etc/hosts中的内容。

使用vi或者gedit,将上邊的内容編緝進去。

先建立hadoop使用者組:

然後建立使用者hadoop:

注:在centos 和 redhat下直接建立使用者就行,會自動生成相關的使用者組和相關檔案,而ubuntu下直接建立使用者,建立的使用者沒有根目錄。

給hadoop使用者添權重限,打開/etc/sudoers檔案;

按Enter鍵後就會打開/etc/sudoers檔案了,給hadoop使用者賦予root使用者同樣的權限。

在root   ALL=(ALL:ALL)   ALL下添加hadoop   ALL=(ALL:ALL)  ALL,

其實網上挺多的,參考http://blog.csdn.net/klov001/article/details/8075237,這裡不較長的描述了。

打開/etc/hostname檔案;

分别改為master、node1和node2。

主要為ubuntu安裝,cents和redhat系統自帶。

ubuntu下:

做這一步之前首先建議所有的機子全部轉換為hadoop使用者,以防出現權限問題的幹擾。

ssh生成密鑰有rsa和dsa兩種生成方式,預設情況下采用rsa方式。

建立ssh-key,這裡我們采用rsa方式;

 (注:回車後會在~/.ssh/下生成兩個檔案:id_rsa和id_rsa.pub這兩個檔案是成對出現的)

進入~/.ssh/目錄下,将id_rsa.pub追加到authorized_keys授權檔案中,開始是沒有authorized_keys檔案的;

 可以使用ssh 主機名測試一下是否成功。

在hadoop使用者下建立hadoop檔案夾,然後将hadoop-1.2.0.tar.gz上傳到這個目錄下。

解壓縮。然後到hadoop目錄下conf下找到hadoop-env.sh

配置JAVA_HOME為你上面配置的JAVA_HOME。

找到core-site.xml,配置資訊如下:

 修改hdfs-site.xml:

修改mapred-site.xml:

修改masters:

master

修改slaves:

在master主機上的hadoop安裝目錄下的bin目錄下,執行格式化

正常情況下會出現如下提示:

搭建hadoop1.2叢集環境準備建立使用者為本機(master)和子節點(node..)安裝JDK環境。修改本機(master)和子節點(node..)機器名本機(master)和子節點(son..)安裝ssh服務建立ssh無密碼登入環境為mater安裝hadoop啟動hadoop運作示例

說明格式化成功。

啟動所有結點:

搭建hadoop1.2叢集環境準備建立使用者為本機(master)和子節點(node..)安裝JDK環境。修改本機(master)和子節點(node..)機器名本機(master)和子節點(son..)安裝ssh服務建立ssh無密碼登入環境為mater安裝hadoop啟動hadoop運作示例

會按先後順序啟動,啟動完成後,分别到主機和兩個node上使用jps檢視。

master上顯示如下:

搭建hadoop1.2叢集環境準備建立使用者為本機(master)和子節點(node..)安裝JDK環境。修改本機(master)和子節點(node..)機器名本機(master)和子節點(son..)安裝ssh服務建立ssh無密碼登入環境為mater安裝hadoop啟動hadoop運作示例

node1和node2上顯示:

搭建hadoop1.2叢集環境準備建立使用者為本機(master)和子節點(node..)安裝JDK環境。修改本機(master)和子節點(node..)機器名本機(master)和子節點(son..)安裝ssh服務建立ssh無密碼登入環境為mater安裝hadoop啟動hadoop運作示例

在操作的過程中遇到了DataNode不能啟動的問題,經過檢視node1的hadoop的日志,發現提示錯誤資訊:

經過查找是因為權限的問題,于是

問題解決。

在根目錄下建立檔案a,并且向a中随意添加字元串資訊。

然後在hdfs上建立目錄:

把剛才建立的檔案a上傳到test1下:

然後檢視檔案中的内容:

顯示結果如下:

搭建hadoop1.2叢集環境準備建立使用者為本機(master)和子節點(node..)安裝JDK環境。修改本機(master)和子節點(node..)機器名本機(master)和子節點(son..)安裝ssh服務建立ssh無密碼登入環境為mater安裝hadoop啟動hadoop運作示例