《Hadoop與大資料挖掘》一2.2 Hadoop配置及IDE配置

本節書摘來華章計算機《hadoop與大資料挖掘》一書中的第2章 ，第2.2節，張良均　樊　哲　位文超　劉名軍 許國傑　周　龍　焦正升　著 更多章節内容可以通路雲栖社群“華章計算機”公衆号檢視。

2.2.1　準備工作

相關軟體及版本如表2-1所示。

在安裝配置hadoop叢集前，需要先準備需要的機器。按照下面的順序配置相關機器：

1）建立虛拟機master，安裝linux系統（本書使用的是centos 6.7 64位）；

2）配置固定ip；

3）關閉防火牆；

4）安裝必要軟體；

5）克隆master到slave1、slave2、slave3；

6）修改slave1～slave3的ip，改為固定ip。

虛拟機參數配置如下。

1）master：1.5g～2g記憶體、20g硬碟、nat、1～2核

2）slave1～slave3：1g記憶體、20g硬碟、nat、1核

上面的虛拟機參數配置隻是參考，可以根據自身機器的實際情況進行調整。

在配置好hadoop叢集所需機器後，先确認下叢集拓撲，本次部署采用的叢集拓撲如圖2-16所示。

如文中未做說明，則所有操作都是在root使用者下執行。但是，在生産環節，一般不會使用root使用者，這點需要注意。