Hadoop2.7.5安装及环境部署

• 将压缩包（可私聊我拿）解压到目录，放在

  D:\bigdata\hadoop-2.7.5

  目录下。配置 Hadoop 环境变量。

  1、 新建

  HADOOP_HOME

  ;变量值设为

  D:\bigdata\hadoop-2.7.5

  （视自己解压路径而定）

  

  2、在"path"后添加

  %HADOOP_HOME%\bin

• 修改 hadoop 配置文件

  1、修改“D:\bigdata\hadoop-2.7.5\etc\hadoop”下的 core-site.xml 文件（添加到末尾）

<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/D:/bigdata/hadoop-2.7.5/workplace/tmp</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/D:/bigdata/hadoop-2.7.5/workplace/name</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
           

2、修改“D:\bigdata\hadoop-2.7.5\etc\hadoop”目录下的 mapred-site.xml(没有就将

mapred-site.xml.template 重命名为 mapred-site.xml)文件

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapred.job.tracker</name>
<value>hdfs://localhost:9001</value>
</property>
</configuration>
           

3、修改“D:\bigdata\hadoop-2.7.5\etc\hadoop”目录下的 hdfs-site.xml 文件

<configuration>
<!-- 这个参数设置为 1，因为是单机版 hadoop -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/D:/bigdata/hadoop-2.7.5/workplace/data</value>
</property>
</configuration>
           

4、修改D:\bigdata\hadoop-2.7.5\etc\hadoop”目录下的 yarn-site.xml 文件

<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
           

5、修改“D:\bigdata\hadoop-2.7.5\etc\hadoop”目录下的 hadoop-env.cmd 文件，将

JAVA_HOME 用 @rem 注释掉，编辑为 JAVA_HOME 的路径，然后保存:

@rem set JAVA_HOME=%JAVA_HOME%
set JAVA_HOME= D:\bigdata\Java\jdk1.8.0_131
           

• 测试配置的 hadoop 运行环境：

  1、通过 CMD DOS（以管理员身份），切换到hadoop解压的bin目录：

  cd D:\bigdata\hadoop-2.7.5\bin

  。然后执行“

  hdfs namenode -format

  ”，如下图所示。

  

等待几秒会出现Y or N ,继续输入’y’。如下图：

2、启动进程：

切换到 hadoop 的 sbin 目录，

cd D:\bigdata\hadoop-2.7.5\sbin

，执行“

start-all.cmd

”，如下图所示。（可用jps查看进行的进程）

执行 start-all.cmd命令后，会弹出进程，如下图所示。

• 测试hdfs

  根据core-site.xml 的配置，通过：hdfs://localhost:9000 来对hdfs 进行操作了。

  doc命令下输入

hadoop fs -mkdir hdfs://localhost:9000/user/
           

hadoop fs -mkdir hdfs://localhost:9000/user/wcinput
           

输入一下命令测试：

hdfs dfs -ls /

• hadoop 自带的 web 控制台 GUI

  1、资源管理 GUI:

  http://localhost:8088/

  ；

  hdfs haadmin

  

测试到这一步就成功了。

2、节点管理 GUI:

http://localhost:50070/

；

注意：使用jsp查看进程时，若发现丢失进程的问题，首先将hadoop解压目录下的workplace内的内容全部删除，再重新format一次。且每次关闭hadoo执行

stop-all.cmd

，否则也会出现下次启用丢失节点的问题。