天天看點

hadoop常見錯誤及解決方法

1、解決"no datanode to stop"問題

jps 中看不到namenode

删除/tmp 檔案中 紅色框 中的檔案

hadoop常見錯誤及解決方法

節點

$rm -rf /usr/hadoop/tmp/*

$rm -rf /tmp/hadoop*

主管理

$rm -rf /usr/hadoop/tmp/*

$rm -rf /tmp/hadoop*

$hadoop namenode -format

$start-all.sh

2、節點jps沒有datanode 和tasktracker 程序

檢視節點日志 cat hadoop-hadoop-datanode-Slave2.Hadoop.log日志

ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.lang.IllegalArgumentException: Does not contain a valid host:port authority: file:///

        at org.apache.hadoop.net.NetUtils.createSocketAddr(NetUtils.java:164)

Master core-site.xml

        fs.default.name

        hdfs://192.168.19.100:9000</ value>

找個3天才發現,配置節點的時候遺漏的内容。

解決方式:因為需要在每個節點上 配置core-site.xml檔案 、 mapred-site.xml檔案 、hdfs-site.xml檔案、mapred-site.xml檔案和conf/Master檔案

,是以建議在Master機上 scp -r /usr/hadoop root@節點IP:/usr/  這樣隻需要修改下conf/slaves檔案即可。

3、:50070/nn_browsedfscontent.jsp 無法打開

因為用的虛拟機進行測試,本機電腦無法浏覽,但是在虛拟機裡面可以打開。