我使用的是vmware workstation,首先安裝ubuntu 12.04,安裝完成後通過vmware的clone,clone出兩個虛機,設定的IP分别是:
然後修改各個主機的/etc/hosts中的内容。
使用vi或者gedit,将上邊的内容編緝進去。
先建立hadoop使用者組:
然後建立使用者hadoop:
注:在centos 和 redhat下直接建立使用者就行,會自動生成相關的使用者組和相關檔案,而ubuntu下直接建立使用者,建立的使用者沒有根目錄。
給hadoop使用者添權重限,打開/etc/sudoers檔案;
按Enter鍵後就會打開/etc/sudoers檔案了,給hadoop使用者賦予root使用者同樣的權限。
在root ALL=(ALL:ALL) ALL下添加hadoop ALL=(ALL:ALL) ALL,
其實網上挺多的,參考http://blog.csdn.net/klov001/article/details/8075237,這裡不較長的描述了。
打開/etc/hostname檔案;
分别改為master、node1和node2。
主要為ubuntu安裝,cents和redhat系統自帶。
ubuntu下:
做這一步之前首先建議所有的機子全部轉換為hadoop使用者,以防出現權限問題的幹擾。
ssh生成密鑰有rsa和dsa兩種生成方式,預設情況下采用rsa方式。
建立ssh-key,這裡我們采用rsa方式;
(注:回車後會在~/.ssh/下生成兩個檔案:id_rsa和id_rsa.pub這兩個檔案是成對出現的)
進入~/.ssh/目錄下,将id_rsa.pub追加到authorized_keys授權檔案中,開始是沒有authorized_keys檔案的;
可以使用ssh 主機名測試一下是否成功。
在hadoop使用者下建立hadoop檔案夾,然後将hadoop-1.2.0.tar.gz上傳到這個目錄下。
解壓縮。然後到hadoop目錄下conf下找到hadoop-env.sh
配置JAVA_HOME為你上面配置的JAVA_HOME。
找到core-site.xml,配置資訊如下:
修改hdfs-site.xml:
修改mapred-site.xml:
修改masters:
master
修改slaves:
在master主機上的hadoop安裝目錄下的bin目錄下,執行格式化
正常情況下會出現如下提示:

說明格式化成功。
啟動所有結點:
會按先後順序啟動,啟動完成後,分别到主機和兩個node上使用jps檢視。
master上顯示如下:
node1和node2上顯示:
在操作的過程中遇到了DataNode不能啟動的問題,經過檢視node1的hadoop的日志,發現提示錯誤資訊:
經過查找是因為權限的問題,于是
問題解決。
在根目錄下建立檔案a,并且向a中随意添加字元串資訊。
然後在hdfs上建立目錄:
把剛才建立的檔案a上傳到test1下:
然後檢視檔案中的内容:
顯示結果如下: