天天看点

Hadoop的配置文件

hadoop 安装和配置的一些文件内容信息,以及配置过程中出现的一些其他问题的解决方案。​

/etc/profile

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
export JRE_HOME=$JAVA_HOME/jre
export HADOOP_HOME=/opt/hadoop-1.2.1
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$PATH      

hadoop-env.sh

JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64      

core-site.xml

<property>
<name>hadoop.tmp.dir</name>
<value>/hadoop</value>
</property>

<property>
<name>dfs.name.dir</name>
<value>/hadoop/name</value>
</property>

<property>
<name>fs.default.name</name>
<value>hdfs://mingo:9000</value>
</property>      

hdfs-site.xml

<property>
<name>dfs.data.dir</name>
<value>/hadoop/data</value>
</property>      

mapred-site.xml

<property>
<name>mapred.job.tracker</name>
<value>mingo:9001</value>
</property>      

输入 hadoop 运行

如果出现 onnect to host localhost port 22:Connection refused 问题,是因为没有安装ssh或者未启动 (ubuntu 11.10 默认安装openssh-client,但是木有安装server)

解决方案:

  1. 运行 ps -e | grep ssh,查看是否有sshd进程
  2. 如果没有,说明server没启动,通过 /etc/init.d/ssh -start 启动server进程,如果提示ssh不存在 那么就是没安装server
  3. 通过 sudo apt-get install openssh-server命令安装即可

切换到目录 /opt/hadoop-1.2.1/bin 下面

hadoop namenode -format

启动

start-all.sh

7085 JobTracker
7329 Jps
6824 DataNode
7259 TaskTracker
6647 NameNode
7001 SecondaryNameNode