天天看点

Hadoop2.7.5安装及环境部署

Hadoop2.7.5安装及环境部署

  • 将压缩包(可私聊我拿)解压到目录,放在

    D:\bigdata\hadoop-2.7.5

    目录下。配置 Hadoop 环境变量。

    1、 新建

    HADOOP_HOME

    ;变量值设为

    D:\bigdata\hadoop-2.7.5

    (视自己解压路径而定)
    Hadoop2.7.5安装及环境部署
    2、在"path"后添加

    %HADOOP_HOME%\bin

  • 修改 hadoop 配置文件

    1、修改“D:\bigdata\hadoop-2.7.5\etc\hadoop”下的 core-site.xml 文件(添加到末尾)

<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/D:/bigdata/hadoop-2.7.5/workplace/tmp</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/D:/bigdata/hadoop-2.7.5/workplace/name</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
           

2、修改“D:\bigdata\hadoop-2.7.5\etc\hadoop”目录下的 mapred-site.xml(没有就将

mapred-site.xml.template 重命名为 mapred-site.xml)文件

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapred.job.tracker</name>
<value>hdfs://localhost:9001</value>
</property>
</configuration>
           

3、修改“D:\bigdata\hadoop-2.7.5\etc\hadoop”目录下的 hdfs-site.xml 文件

<configuration>
<!-- 这个参数设置为 1,因为是单机版 hadoop -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/D:/bigdata/hadoop-2.7.5/workplace/data</value>
</property>
</configuration>
           

4、修改D:\bigdata\hadoop-2.7.5\etc\hadoop”目录下的 yarn-site.xml 文件

<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
           

5、修改“D:\bigdata\hadoop-2.7.5\etc\hadoop”目录下的 hadoop-env.cmd 文件,将

JAVA_HOME 用 @rem 注释掉,编辑为 JAVA_HOME 的路径,然后保存:

@rem set JAVA_HOME=%JAVA_HOME%
set JAVA_HOME= D:\bigdata\Java\jdk1.8.0_131
           
  • 测试配置的 hadoop 运行环境:

    1、通过 CMD DOS(以管理员身份),切换到hadoop解压的bin目录:

    cd D:\bigdata\hadoop-2.7.5\bin

    。然后执行“

    hdfs namenode -format

    ”,如下图所示。
    Hadoop2.7.5安装及环境部署

等待几秒会出现Y or N ,继续输入’y’。如下图:

Hadoop2.7.5安装及环境部署

2、启动进程:

切换到 hadoop 的 sbin 目录,

cd D:\bigdata\hadoop-2.7.5\sbin

,执行“

start-all.cmd

”,如下图所示。(可用jps查看进行的进程)

Hadoop2.7.5安装及环境部署

执行 start-all.cmd命令后,会弹出进程,如下图所示。

Hadoop2.7.5安装及环境部署
  • 测试hdfs

    根据core-site.xml 的配置,通过:hdfs://localhost:9000 来对hdfs 进行操作了。

    doc命令下输入

hadoop fs -mkdir hdfs://localhost:9000/user/
           
hadoop fs -mkdir hdfs://localhost:9000/user/wcinput
           
Hadoop2.7.5安装及环境部署

输入一下命令测试:

hdfs dfs -ls /

  • hadoop 自带的 web 控制台 GUI

    1、资源管理 GUI:

    http://localhost:8088/

    hdfs haadmin

    Hadoop2.7.5安装及环境部署

测试到这一步就成功了。

Hadoop2.7.5安装及环境部署

2、节点管理 GUI:

http://localhost:50070/

Hadoop2.7.5安装及环境部署

注意:使用jsp查看进程时,若发现丢失进程的问题,首先将hadoop解压目录下的workplace内的内容全部删除,再重新format一次。且每次关闭hadoo执行

stop-all.cmd

,否则也会出现下次启用丢失节点的问题。