（二）hue与HDFS、YARN集成配置与测试

1、安装环境

• hadoop2.5.0
• centOS6.4
• jdk7
• hue3.7.0

2、hadoop配置

2.1、配置hdfs-site.xml

<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>

<!-- historyserver configue start-->
<property>
    <name>dfs.permissions.enabled</name>
    <value>false</value>
</property>
<!-- historyserver configue end-->

<!-- hue configure start -->
<property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
</property>
<!-- hue configure end -->
           

2.2、配置core-site.xml

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://xuxudede.com:9000</value>
</property>

<!-- hue configure start-->
<property>
    <name>hadoop.proxyuser.hue.hosts</name>
    <value>*</value>
</property>
<property>
    <name>hadoop.proxyuser.hue.groups</name>
    <value>*</value>
</property>
<!-- hue configure end-->
           

2.3、配置yarn-site.xml

<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
</property>
<property>
        <name>yarn.resourcemanager.hostname</name>
        <value>xuxudede.com</value>
</property>

<!-- historyserver############ -->
<property> 
    <name>yarn.log-aggregation-enable</name> 
    <value>true</value> 
</property> 
<property> 
    <name>yarn.log-aggregation.retain-seconds</name> 
    <value>106800</value> 
</property> 
<!-- historyserver############ -->
           

2.4、配置httpfs-site.xml

<configuration>

    <!-- hue configure start-->
    <property>
        <name>httpfs.proxyuser.hue.hosts</name>
        <value>*</value>
    </property>
    <property>
        <name>httpfs.proxyuser.hue.groups</name>
        <value>*</value>
    </property>
    <!-- hue configure end-->

</configuration>
           

3、hue配置

hue的配置位于HUE_HOME/desktop/conf下的hue.ini文件

3.1、配置【hdfs_clusters】

# Enter the filesystem uri
fs_defaultfs=hdfs://xuxudede.com:9000

# Use WebHdfs/HttpFs as the communication mechanism.
# Domain should be the NameNode or HttpFs host.
# Default port is 14000 for HttpFs.
webhdfs_url=http://xuxudede.com:50070/webhdfs/v1

# This is the home of your Hadoop HDFS installation
hadoop_hdfs_home=xuxudede.com

# Use this as the HDFS Hadoop launcher script
hadoop_bin=xuxudede.com

# Directory of the Hadoop configuration
hadoop_conf_dir=/home/xusy/share/cdh5/hadoop--cdh5/etc/hadoop
           

3.2、配置【yarn_clusters】

# Enter the host on which you are running the ResourceManager
resourcemanager_host=xuxudede.com

# The port where the ResourceManager IPC listens on
resourcemanager_port=

# Whether to submit jobs to this cluster
submit_to=True

# URL of the ResourceManager API
resourcemanager_api_url=http://xuxudede.com:8088

# URL of the ProxyServer API
proxy_api_url=http://xuxudede.com:8088

# URL of the HistoryServer API
history_server_api_url=http://xuxudede.com:19888
           

4、重启hadoop进程

命令如下：

sbin/yarn-daemon.sh stop nodemanager
sbin/yarn-daemon.sh stop resourcemanager
sbin/mr-jobhistory-daemon.sh stop historyserver
sbin/hadoop-daemon.sh  stop datanode 
sbin/hadoop-daemon.sh  stop namenode 

sbin/hadoop-daemon.sh  start namenode
sbin/hadoop-daemon.sh  start datanode
sbin/mr-jobhistory-daemon.sh start historyserver
sbin/yarn-daemon.sh start resourcemanager  
sbin/yarn-daemon.sh start nodemanager
           

5、启动hue

到hue根目录下，执行

build/env/bin/supervisor 
           

如下图：

6、HDFS测试

进入HDFS如下图：

6.1、文件操作

注意：需要选中某一个文件才能对其进行操作，不用敲命令也可以达到修改文件的效果，非常棒！

6.2、删除文件

6.3、还原已经删除的文件

进入垃圾桶

6.4、上传文件

上传宿主机文件

上传linux系统上的文件的话，需要安装samba服务器，将linux文件系统映射到宿主机。

另外，还可以对文件进行创建等等的操作，集成了hadoop成功后自己对进行操作测试。

7、mapreduce测试

查看job页面如下图所示：

当前只有一个运行成功的job，可以选择查看“正在运行”、“失败”等的job。

8、查看日志、计数器等

点击id查看此作业：

任务查询：

标准输出日志：

标准错误日志：

系统日志：