天天看點

關于搭建haddoop分布式系統的全部過程複習

1\在vmware中更改了虛拟機的網絡類型,--->NAT方式,(虛拟交換機的ip可以從vmvare的edit-->vertual network editor看到)

2、根據這個交換機(網關)的位址,來設定我們的用戶端windown7的ip(Vmnet8這塊網卡)

3、啟動linux主機,修改linux系統的ip位址(通過圖形界面修改),修改完成之後在terminal(指令行終端)中切換到root使用者執行指令重新開機網絡服務來讓ip生效

4/修改主機名: 在root身份下,用指令修改 vi /etc/sysconfig/network 把hostname改為 yun-10-1

5/添加主機名和ip的映射 在root身份下 vi /etc/hosts 添加一行 192.168.2.100 yun-10-1

6/講hadoop這個使用者添加到sudoers裡面去 在root身份下 vi /etc/sudoers ,在檔案中找到 root ALL=ALL ALL ,下面加一行hadoop的

7/停止防火牆服務 在root身份下 service iptables stop

8、關閉防火牆的自動啟動 在root身份下 chkconfig iptables off

9、reboot

10/用ping指令檢測一下windows主機和linux伺服器之間的網絡連通性

11、進入linux修改圖形界面啟動配置,不要再啟動圖形界面了,在root身份下, vi /etc/inittab 将其改為id:3:initdefault:

12/再次reboot,将不會啟動到圖形界面了 

(當以後你想啟動圖形界面的時候可以在指令行下敲startx (init 5) ,在圖形界面下你想關閉圖形界面,敲指令init 3)

===========華麗的分割線=============================

1/用終端連接配接linux伺服器進行軟體的安裝(用secureCRT來連接配接)

2/安裝jdk

--用filezilla工具上傳jdk的壓縮包

--解壓jdk的壓縮包到一個專門的安裝目錄下 /home/hadoop/app

--在hadoop的主目錄下敲指令 tar -zxvf jdk-7u65-linux-i586.tar.gz -C ./app

--配置java的環境變量 sudo vi /etc/profile

在檔案的最後添加:

export JAVA_HOME=/home/hadoop/app/jdk1.7.0_65

export PATH=$PATH:$JAVA_HOME/bin

3/讓配置生效, source /etc/profile

===========帥酷的分割線=============================

1/用filezilla工具上傳hadoop的安裝包

2/把hadoop解壓到app目錄中去 tar -zxvf hadoop-2.4.1.tar.gz -C ./app/

3/修改hadoop的5大配置檔案,位置在 /home/hadoop/app/hadoop-2.4.1/etc/hadoop目錄下

-- vi hadoop-env.sh 改其中的JAVA_HOME為我們安裝jdk的路徑JAVA_HOME=/home/hadoop/app/jdk1.7.0_65

-- vi core-site.xml 

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://yun-10-1:9000</value>

</property>

<name>hadoop.tmp.dir</name>

<value>/home/hadoop/app/hadoop-2.4.1/tmp</value>

</configuration>

-- vi hdfs-site.xml

<name>dfs.replication</name>

<value>1</value>

-- 先修改檔案名 mv mapred-site.xml.template mapred-site.xml

在編輯 vi mapred-site.xml

<name>mapreduce.framework.name</name>

<value>yarn</value>

-- vi yarn-site.xml

<name>yarn.resourcemanager.hostname</name>

<value>yun-10-1</value>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

4/配置一下hadoop的環境變量

sudo vi /etc/profile

=============優美的分割線====================

1/無密登陸的配置

首先在用戶端生成密鑰對 ssh-keygen -t rsa 緊接着一直回車

然後在用戶端拷貝公鑰到遠端 ssh-copy-id desthost

本文轉自SummerChill部落格園部落格,原文連結:http://www.cnblogs.com/DreamDrive/p/4585771.html,如需轉載請自行聯系原作者