Hue部署

不推荐将hue和mysql装在同一台机器，因为会有依赖冲突，不好解决

安装在root用户下用yum安装所依赖的系统包
[[email protected] hue-3.12.0]# yum -y install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi gcc gcc-c++ krb5-devel libtidy libxml2-devel libxslt-devel openldap-devel python-devel sqlite-devel openssl-devel mysql-devel gmp-devel
[[email protected] apps]# tar -zxvf hue-3.12.0.gz
[[email protected] apps]# cd hue-3.12.0
[[email protected] hue-3.12.0]# make apps
可能会报一系列错，运行以下命令：
yum install -y gcc openssl-devel
yum install -y gcc gcc-c++ kernel-devel
yum install -y libxslt-devel
yum install -y gmp-devel
yum install -y sqlite-devel
yum install -y libffi-devel openssl-devel
yum install -y openldap-devel 
yum install -y mysql-server mysql mysql-devel
再次make apps进行编译
           

编译成功修改配置文件：

在hadoop的配置文件中加入以下配置：

core-site.xml:

<property>
      <name>hadoop.http.staticuser.user</name>
      <value>hadoop</value>
    </property>
    <property>
      <name>hadoop.proxyuser.root.hosts</name>
      <value>*</value>
    </property>
    <property>
      <name>hadoop.proxyuser.root.groups</name>
      <value>*</value>
    </property>
           

hdfs-site.xml:

<property>
       <name>dfs.webhdfs.enabled</name>
       <value>true</value>
    </property>
           

httpfs-site.xml:

<property>
      <name>httpfs.proxyuser.root.hosts</name>
      <value>*</value>
    </property>
    <property>
      <name>httpfs.proxyuser.root.groups</name>
      <value>*</value>
    </property>
           

改完之后分发配置文件并重启hadoop

配置hue文件

[[email protected] hue-3.12.0]# vim desktop/conf/hue.ini

配置[desktop]:
secret_key=qiaowenxuandeCSDNboke
http_host=hadoop001
http_port=8888
time_zone=Asia/Shanghai

配置hue的数据库为mysql:(此处需注意，一定要配置两个database)
第一个[[database]]：下翻即可发现
engine=mysql
host=hadoop000
port=3306
user=root
password=123456
name=hue

第二个[[database]]：
通过搜索postgresql_psycopg2, mysql, sqlite3 or oracle.得到
相同的配置

在mysql创建相应的hue表。
msyql>create database hue ;

初始化数据表：
同步数据库：
[[email protected] hue-3.12.0]# build/env/bin/hue syncdb
导入数据,主要包括oozie、pig、desktop所需要的表：
[[email protected] hue-3.12.0]# build/env/bin/hue migrate

查看mysql中是否生成表：
msyql>show tables ;
           

配置HDFS：

搜索 [[hdfs_clusters 直达：
fs_defaultfs=hdfs://hadoop000:8020
logical_name=root
webhdfs_url=http://hadoop000:50070/webhdfs/v1
hadoop_conf_dir=/apps/hadoop-2.9.0/etc/hadoop
hadoop_conf_dir=/apps/hadoop-2.9.0/etc/hadoop
hadoop_bin=/apps/hadoop-2.9.0/bin
hadoop_hdfs_home=/apps/hadoop-2.9.0
           

此时启动hue进程：

进入webui：host：8888，使用root登录

显示Cannot access: /user/root. Note: you are a Hue admin but not a HDFS superuse

是因为root与hue的默认配置用户不同

解决方式：

在hue.ini搜索：Webserver runs as this user，将默认配置改为登录用户root
# Webserver runs as this user
server_user=root
server_group=root
# This should be the Hue admin and proxy user
default_user=root
           

配置ResourceManager：

搜索 [[yarn_clusters 直达
找到[[[ha]]]  修改的是高可用配置
logical_name=my-rm-name
submit_to=True
resourcemanager_api_url=http://hadoop000:8088
           

配置hive

搜索 [beeswax 直达
hive_server_host=hadoop000
hive_server_port=10000
hive_conf_dir=/apps/hive-2.3.6/conf
           

进入到hive的webUI，如果英文红字显示10000端口无法访问

到hive客户端启动hiveserver2

后台启动的三种方式：
nohup  bin/hiveserver2 1 > logs/hiveserver2.log 2 > logs/hiveserver2.err &
nohup hiveserver2 1>/dev/null 2>/dev/null &
nohup hiveserver2 >/dev/null 2>&1 &
           

再次进入hue的webUI

如果显示红字： Could not start SASL: Error in sasl_client_start (-4) SASL(-4): no mechanism available

在hue服务器运行：

yum install cyrus-sasl-plain  cyrus-sasl-devel  cyrus-sasl-gssapi
或
sudo yum install apache-maven ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi gcc gcc-c++ krb5-devel libxml2-devel libxslt-devel make mysql mysql-devel openldap-devel python-devel sqlite-devel gmp-devel
           

如果在hue的about页面显示红字 Failed to access Hive warehouse: /user/hive/warehouse

是因为在安装配置hive时指定的hive数据存储的hdfs地址和hue指定的默认hdfs地址不同，只需在hdfs创建/user/hive/warehouse 就可以消除这个警告

配置hbase

hbase配置的是thriftserver2服务器地址，不是master地址，而且需要用小括号包起来。thriftserver需要单独启动。

搜索 [hbase 直达

hbase_clusters=(hadoop005:9090)
hbase_conf_dir=/apps/hbase-1.4.11/conf
           

启动thriftserver服务器

查看端口9090

netstat -anop | grep 9090

配置spark

hue与spark的集成使用livy server进行中转，livy server类似于hive server2。提供一套基于restful风格的服务，接受client提交http的请求，然后转发给spark集群。livy server不在spark的发行包中，需要单独下载。

注意：hue中通过netebook编写scala或者python程序，要确保notebook可以使用，需要启动hadoop的httpfs进程–切记！

注意下载使用较高的版本，否则有些类找不到。下载地址如下：

[[email protected] apps]# wget http://mirrors.tuna.tsinghua.edu.cn/apache/incubator/livy/0.5.0-incubating/livy-0.5.0-incubating-bin.zip
[[email protected] apps]# unzip livy-0.5.0-incubating-bin.zip
[[email protected] livy-0.5.0-incubating-bin]# bin/livy-server &
           

配置hue

推荐使用local或yarn模式启动job，这里我们配置成spark://s101:7077。

搜索 Spark application 直达
livy_server_host=hadoop001
livy_server_port=8998
livy_server_session_kind=spark://hadoop000:7077
           

配置zookeeper

搜索 [zookeeper 直达
host_ports=hadoop005:2181,hadoop006:2181,hadoop007:2181