采用4台安裝Linux環境的機器來建構一個小規模的分布式叢集。
圖1 叢集的架構
其中有一台機器是Master節點,即名稱節點,另外三台是Slaver節點,即資料節點。這四台機器彼此間通過路由器相連,進而實驗互相通信以及資料傳輸。它們都可以通過路由器通路Internet,實驗網頁文檔的采集。
名稱
詳細資訊
機器名稱
Master.Hadoop
機器IP位址
192.168.1.2
最高使用者名稱(Name)
root
最用使用者密碼(PWD)
hadoop(全小寫)
一般使用者名稱(Name)
一般使用者密碼(PWD)
Slave1.Hadoop
192.168.1.3
Slave2.Hadoop
192.168.1.4
Slave3.Hadoop
192.168.1.5
備注:
添加新使用者指令:useradd;修改新使用者密碼:passwd 使用者名
退出目前使用者:exit; 登入root使用者:su –
下面是幾張Hadoop叢集實際機器的部署情況,可以從圖中看到那時的我們怎麼實際配置Hadoop叢集的。
該Hadoop叢集機器是學習和研究之用,上面運作着已經搭建好的的Hadoop平台以及運作着一些實際程式。
圖3.1-1 Hadoop工作叢集部署圖(1)
圖3.1-2 Hadoop工作叢集部署圖(2)
上面從兩個角度來分别觀察Hadoop叢集部署,作為Hadoop叢集的Master節點,用的是機器較為不錯的新Dell,而三台Slave機器則是實驗室淘汰的舊Lenovo,用一個小路由器他們組成了一個區域網路。
圖3.1-3 路由器特寫
為了友善新成員練習Hadoop技術,又防止在實際Hadoop叢集上破壞已運作的程式,故另外弄了兩台舊Lenovo電腦組成:一個"主——TMaster";一個"輔——TSlave"。
圖3.2-1 Hadoop實驗叢集部署
上面就是實驗室Hadoop叢集的樣子,雖然很簡陋,但足夠學習用了。
如果,您認為閱讀這篇部落格讓您有些收獲,不妨點選一下右下角的【<b>推薦</b>】。
如果,您希望更容易地發現我的新部落格,不妨點選一下左下角的【<b>關注我</b>】。
本文版權歸作者和部落格園共有,歡迎轉載,但未經作者同意必須保留此段聲明,且在文章頁面明顯位置給出原文連接配接,否則保留追究法律責任的權利。
本文轉自蝦皮部落格園部落格,原文連結:http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503837.html