天天看點

Hadoop叢集中hosts檔案配置問題

最近一直在做hadoop的應用,但是無奈于并行加速比一直不理想,兩台機器運作的時間和一台機器運作的時間差不多,老師還一直要這個資料,并行計算比至少應該為1.5,這樣的并行程式才有意義。

加了個qq群,發現了問題所在,再說我解決方法之前,先說一下我hadoop叢集的配置:

2台筆記本,其中1台為lenovo z460,cpu為core i3,主機名為:liujiacai-ideapad-z460;另一台是acer  aspire 4743 cpu為奔騰p6200,主機名為:liujiacai-aspire-4743。

系統都裝的是ubuntu13.04。

我直接用網線把兩台機器連起來,手動指定ip,其中lenovo的機器的ip為 202.194.124.24,acer的機器ip為202.194.124.75,子網路遮罩都是255.255.255.128,網關202.194.124.126(其實這個網關應該不起作用,因為我不連外網)。

Hadoop叢集中hosts檔案配置問題

)。

現在我把202.194.124.24也加入到conf/slave檔案中,這樣hadoop叢集中就可以真正運作了,但是運作到一半reduce停止不允許了,打開http://localhost:50030,發現又報錯了,看了日志是liujiacai-aspire-4743主機名找不到,後來上網查,發現需要把叢集中所有叢集中的主機名與ip配置到hosts檔案中。

這樣的話當hadoop機器中看到liujiacai-ideapad-z460主機名是就直接對于到127.0.1.1機器了,而不是機器在叢集中的ip了(我這裡是202.194.124.24)把127.0.1.1這一行也登出掉就可以了。這樣是以的配置檔案就算是改好了。但是~~~~~~~~

運作到一半就報錯了,說是202.194.124.75連接配接不上了,我很郁悶 ,然後在202.194.124.24上ping 202.194.124.75,竟然ping不通了,在開啟hadoop程式是還是ping通的,把網線拔一下再插上就又能ping通了,而且機器中兩個datanode也都能運作job了,我還懷疑是網線口松了吧,但是看看電腦網線口也還有燈亮,換了一根網線還是出現相同的問題,我都讓整吐了,現在就是守在電腦旁邊看它運作,發現運作慢了就把網線拔下來再插上~~~~~~

Hadoop叢集中hosts檔案配置問題
Hadoop叢集中hosts檔案配置問題

~~~~~~~

功夫不負苦心人,這樣得到的加速比是1.8了,但是這網線問題到底是什麼問題我還不清楚,估計不是什麼網絡不好這麼一類回答就能搪塞過去的,這點記下了回來探讨吧。

Hadoop叢集中hosts檔案配置問題

,不知道神馬情況~~~~~(我當時出現這種情況用的是ubuntu12.10)

還好在ubuntu13.04中沒出現這種情況,ssh免登陸正常,再次感謝無私奉獻的ubuntu團隊。

繼續閱讀