Hue部署

不推薦将hue和mysql裝在同一台機器，因為會有依賴沖突，不好解決

安裝在root使用者下用yum安裝所依賴的系統包
[[email protected] hue-3.12.0]# yum -y install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi gcc gcc-c++ krb5-devel libtidy libxml2-devel libxslt-devel openldap-devel python-devel sqlite-devel openssl-devel mysql-devel gmp-devel
[[email protected] apps]# tar -zxvf hue-3.12.0.gz
[[email protected] apps]# cd hue-3.12.0
[[email protected] hue-3.12.0]# make apps
可能會報一系列錯，運作以下指令：
yum install -y gcc openssl-devel
yum install -y gcc gcc-c++ kernel-devel
yum install -y libxslt-devel
yum install -y gmp-devel
yum install -y sqlite-devel
yum install -y libffi-devel openssl-devel
yum install -y openldap-devel 
yum install -y mysql-server mysql mysql-devel
再次make apps進行編譯
           

編譯成功修改配置檔案：

在hadoop的配置檔案中加入以下配置：

core-site.xml:

<property>
      <name>hadoop.http.staticuser.user</name>
      <value>hadoop</value>
    </property>
    <property>
      <name>hadoop.proxyuser.root.hosts</name>
      <value>*</value>
    </property>
    <property>
      <name>hadoop.proxyuser.root.groups</name>
      <value>*</value>
    </property>
           

hdfs-site.xml:

<property>
       <name>dfs.webhdfs.enabled</name>
       <value>true</value>
    </property>
           

httpfs-site.xml:

<property>
      <name>httpfs.proxyuser.root.hosts</name>
      <value>*</value>
    </property>
    <property>
      <name>httpfs.proxyuser.root.groups</name>
      <value>*</value>
    </property>
           

改完之後分發配置檔案并重新開機hadoop

配置hue檔案

[[email protected] hue-3.12.0]# vim desktop/conf/hue.ini

配置[desktop]:
secret_key=qiaowenxuandeCSDNboke
http_host=hadoop001
http_port=8888
time_zone=Asia/Shanghai

配置hue的資料庫為mysql:(此處需注意，一定要配置兩個database)
第一個[[database]]：下翻即可發現
engine=mysql
host=hadoop000
port=3306
user=root
password=123456
name=hue

第二個[[database]]：
通過搜尋postgresql_psycopg2, mysql, sqlite3 or oracle.得到
相同的配置

在mysql建立相應的hue表。
msyql>create database hue ;

初始化資料表：
同步資料庫：
[[email protected] hue-3.12.0]# build/env/bin/hue syncdb
導入資料,主要包括oozie、pig、desktop所需要的表：
[[email protected] hue-3.12.0]# build/env/bin/hue migrate

檢視mysql中是否生成表：
msyql>show tables ;
           

配置HDFS：

搜尋 [[hdfs_clusters 直達：
fs_defaultfs=hdfs://hadoop000:8020
logical_name=root
webhdfs_url=http://hadoop000:50070/webhdfs/v1
hadoop_conf_dir=/apps/hadoop-2.9.0/etc/hadoop
hadoop_conf_dir=/apps/hadoop-2.9.0/etc/hadoop
hadoop_bin=/apps/hadoop-2.9.0/bin
hadoop_hdfs_home=/apps/hadoop-2.9.0
           

此時啟動hue程序：

進入webui：host：8888，使用root登入

顯示Cannot access: /user/root. Note: you are a Hue admin but not a HDFS superuse

是因為root與hue的預設配置使用者不同

解決方式：

在hue.ini搜尋：Webserver runs as this user，将預設配置改為登入使用者root
# Webserver runs as this user
server_user=root
server_group=root
# This should be the Hue admin and proxy user
default_user=root
           

配置ResourceManager：

搜尋 [[yarn_clusters 直達
找到[[[ha]]]  修改的是高可用配置
logical_name=my-rm-name
submit_to=True
resourcemanager_api_url=http://hadoop000:8088
           

配置hive

搜尋 [beeswax 直達
hive_server_host=hadoop000
hive_server_port=10000
hive_conf_dir=/apps/hive-2.3.6/conf
           

進入到hive的webUI，如果英文紅字顯示10000端口無法通路

到hive用戶端啟動hiveserver2

背景啟動的三種方式：
nohup  bin/hiveserver2 1 > logs/hiveserver2.log 2 > logs/hiveserver2.err &
nohup hiveserver2 1>/dev/null 2>/dev/null &
nohup hiveserver2 >/dev/null 2>&1 &
           

再次進入hue的webUI

如果顯示紅字： Could not start SASL: Error in sasl_client_start (-4) SASL(-4): no mechanism available

在hue伺服器運作：

yum install cyrus-sasl-plain  cyrus-sasl-devel  cyrus-sasl-gssapi
或
sudo yum install apache-maven ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi gcc gcc-c++ krb5-devel libxml2-devel libxslt-devel make mysql mysql-devel openldap-devel python-devel sqlite-devel gmp-devel
           

如果在hue的about頁面顯示紅字 Failed to access Hive warehouse: /user/hive/warehouse

是因為在安裝配置hive時指定的hive資料存儲的hdfs位址和hue指定的預設hdfs位址不同，隻需在hdfs建立/user/hive/warehouse 就可以消除這個警告

配置hbase

hbase配置的是thriftserver2伺服器位址，不是master位址，而且需要用小括号包起來。thriftserver需要單獨啟動。

搜尋 [hbase 直達

hbase_clusters=(hadoop005:9090)
hbase_conf_dir=/apps/hbase-1.4.11/conf
           

啟動thriftserver伺服器

檢視端口9090

netstat -anop | grep 9090

配置spark

hue與spark的內建使用livy server進行中轉，livy server類似于hive server2。提供一套基于restful風格的服務，接受client送出http的請求，然後轉發給spark叢集。livy server不在spark的發行包中，需要單獨下載下傳。

注意：hue中通過netebook編寫scala或者python程式，要確定notebook可以使用，需要啟動hadoop的httpfs程序–切記！

注意下載下傳使用較高的版本，否則有些類找不到。下載下傳位址如下：

[[email protected] apps]# wget http://mirrors.tuna.tsinghua.edu.cn/apache/incubator/livy/0.5.0-incubating/livy-0.5.0-incubating-bin.zip
[[email protected] apps]# unzip livy-0.5.0-incubating-bin.zip
[[email protected] livy-0.5.0-incubating-bin]# bin/livy-server &
           

配置hue

推薦使用local或yarn模式啟動job，這裡我們配置成spark://s101:7077。

搜尋 Spark application 直達
livy_server_host=hadoop001
livy_server_port=8998
livy_server_session_kind=spark://hadoop000:7077
           

配置zookeeper

搜尋 [zookeeper 直達
host_ports=hadoop005:2181,hadoop006:2181,hadoop007:2181