天天看點

hadoop常見問題總結1

問題1:http://localhost:50030

http error: 404

/jobtracker.jsp

requesturi=/jobtracker.jsp

powered by jetty://

解決辦法:

buid本地庫存後,應該把build目錄删除,否則啟動腳本會把目錄重定向到build目錄中,導緻web管理頁面打不開,啟動腳本中,如果有build目錄,就将路徑轉到build下.

問題2、http://localhost:50070

unable to connect

如下圖所示:

hadoop常見問題總結1

解決辦法:首次運作,需要對namenode進行格式化:bin/hadoop namenode -format  

注意:上面的指令應該是cd 到hadoop檔案夾下

解決問題以後出現如下頁面:

hadoop常見問題總結1

問題3:hadoop在子節點上沒有datanode程序 

1.先停止hadoop,bin/stop-all.sh

2.把hadoop/tmp下所有檔案删除

3.重新格式化dfs  bin/hadoop namenode -format

4.再重新開機bin/start-all.sh

5.檢視各節點jps,就有datanode和tasktracker了

問題4:

exception in thread "main" org.apache.hadoop.mapreduce.lib.input.invalidinputexception: input path does not exist: hdfs://localhost:9000/user/wu/in

解決方法:

hadoop處理的檔案都是在hdfs中,是以必須把要處理的檔案複制到hadoop 某個檔案夾中。

下面舉例,在in中建立檔案夾,把提前做好的wordcount檔案複制到hdfs中,最後運作程式

問題5:

exception in thread "main" org.apache.hadoop.mapred.filealreadyexistsexception: output directory out already exists

删除output檔案夾即可解決