Hadoop叢集配置各種問題解決(node為0,ssh連不通等等)與小白們共勉



http://blog.csdn.net/hguisu/article/details/7237395

首先參考這邊blog配置的叢集但是出現了很多的問題,如下列出并解決:

1.一開始看的配置教程是單機的,而後來配叢集的時候,就漏掉了很多配置,認真看上邊這篇部落格應該就沒問題了,叢集中要有一個master和如幹個slaves(    通常，叢集裡的一台機器被指定為 NameNode，另一台不同的機器被指定為JobTracker。這些機器是masters。餘下的機器即作為DataNode也作為TaskTracker。這些機器是slaves\)

2.應該是/etc/hosts配置不當的問題:(host每個節點都要配)

         hosts應該把master和slaves的IP和主機名對應起來.

         我第一次沒有把master的127.0.0.1的本地位址改成主機的IP位址,導緻了hadoop啟動後,namenode程序正常啟動,任然看不到dfs中的node,費了很大的勁兒.

3.hosts中的配置同樣關系到SSH能不能正常的通路

         127.0.0.1一開始master SSH slaves的機子,用 IP能行,但是用slaves機子的名字怎麼都不行,就是 IP和機子名沒有對應的,沒有配置好hosts檔案的原因.

總算配成了hadoop的叢集環境,下一步就是要學習mapreduce了,可能要繼續悲劇了.....加油吧,與小白們共勉