1. 寫在前面的話

此處省略150字…

2. Hue的編譯安裝

2.1 hue相關的網址

Hue官方網站

Hue官方使用者手冊

官方安裝文檔

HUE下載下傳位址

2.2 安裝說明

由于官方沒有提供編譯好的軟體包,是以這裡需要自己下載下傳源碼,安裝依賴,編譯安裝.安裝Hue的節點上最好沒有安裝過MySQL,否則可能有版本沖突.本次安裝環境為python2.7.5,阿裡雲ECS伺服器,CentOS7.x版本.

2.3 具體安裝步驟

2.3.1 下載下傳Hue軟體包,上傳至伺服器

百度網盤下載下傳連結

提取碼：kepa

2.3.2 解壓源碼包

[[email protected] software]# yum install -y unzip
[[email protected] software]# unzip hue-release-4.3.0.zip

2.3.3 安裝相關依賴

#安裝編譯hue需要的依賴庫
yum -y install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi \
cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libxml2-devel \
libxslt-devel make mysql mysql-devel openldap-devel python-devel \
sqlite-devel gmp-devel

2.4 安裝Maven

編譯Hue還需要安裝Maven環境,是以在編譯前需要安裝Maven

#解壓安裝包
[[email protected] software]# tar -zvxf apache-maven-3.6.3-bin.tar.gz -C /opt/servers/
#配置maven環境變量
[[email protected] maven-3.6.3]# vim /etc/profile
#MAVEN_HOME
export MAVEN_HOME=/opt/servers/maven-3.6.3
export PATH=$PATH:$MAVEN_HOME/bin
#驗證maven是否安裝成功
[[email protected] maven-3.6.3]# mvn -v
Apache Maven 3.6.3 (cecedd343002696d0abb50b32b541b8a6ba2883f)
Maven home: /opt/servers/maven-3.6.3

将Maven的鏡像修改為阿裡雲的:

[[email protected] conf]# vim /opt/servers/maven-3.6.3/conf/settings.xml
<mirror>
      <id>aliyun</id>
      <mirrorOf>central</mirrorOf>
      <name>aliyun repository</name>
      <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
</mirror>

2.5 開始編譯

進入hue源碼目錄,進行編譯,使用PREFIX執行安裝Hue的路徑

[[email protected] ~]# cd /opt/software/hue-release-4.3.0
#編譯需要花點時間
[[email protected] hue-release-4.3.0]# PREFIX=/opt/servers make install

編譯報錯解決

報錯資訊如下:是因為python中cffi這個子產品版本過低,要求必須>=1.7(現有的是1.6)

原生Hadoop環境下安裝Hue1. 寫在前面的話2. Hue的編譯安裝
解決辦法

#1.使用pip安裝cffi子產品.如果發現是1.6或小于1.7版本的就需要更新
[[email protected] servers]# pip install cffi
#2.先更新pip(這步不一定做,看第三步執行的情況)
[[email protected] servers]# pip install --upgrade pip
#3.更新cffi子產品
[[email protected] servers]# pip install --upgrade cffi --use-feature=2020-resolver

2.6 Hadoop的配置

2.6.1 修改Hadoop配置檔案

修改hdfs-site.xml檔案

[[email protected] ~]# vim /opt/servers/hadoop-2.9.2/etc/hadoop/hdfs-site.xml
<!-- 啟用HDFS的Web頁面業務 -->
<property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
</property>
<!--關閉HDFS的權限檢查-->
<property>
    <name>dfs.permissions.enabled</name>
    <value>false</value>
</property>

修改core-site.xml檔案

[[email protected] ~]# vim /opt/servers/hadoop-2.9.2/etc/hadoop/core-site.xml 
<!-- 使用hue可以代理所有使用者 -->
<property>
    <name>hadoop.proxyuser.hue.hosts</name>
    <value>*</value>
</property>
<property>
    <name>hadoop.proxyuser.hue.groups</name>
    <value>*</value>
</property>
<!--使用hdfs可以代理所有使用者-->
<property>
    <name>hadoop.proxyuser.hdfs.hosts</name>
    <value>*</value>
</property>
<property>
    <name>hadoop.proxyuser.hdfs.groups</name>
    <value>*</value>
</property>

修改https-site.xml檔案

[[email protected] ~]# vim /opt/servers/hadoop-2.9.2/etc/hadoop/httpfs-site.xml
<!-- 針對httpfs可以使用hue代理所有使用者通路 -->
<property>
    <name>httpfs.proxyuser.hue.hosts</name>
    <value>*</value>
</property>
<property>
    <name>httpfs.proxyuser.hue.groups</name>
    <value>*</value>
</property>

将修改後的配置檔案資訊同步到叢集中的其它節點

2.7 Hue相關配置

複制配置并重命名

修改配置檔案

[[email protected] conf]# vim pseudo-distributed.ini
# [desktop](21行)
http_host=linux122
http_port=8000
is_hue_4=true
time_zone=Asia/Shanghai
dev=true
server_user=hue(92行)
server_group=hue
default_user=hue
#禁用solr，規避報錯(211行)
app_blacklist=search
# [[database]],Hue預設使用SQLite資料庫記錄相關中繼資料，替換為mysql(631行)
engine=mysql(639行)
host=linux123(640行)
port=3306(641行)
user=hive(642行)
password=12345678(643行)
name=hue(增加)
# 1003行左右，Hadoop配置檔案的路徑
hadoop_conf_dir=/opt/servers/hadoop-2.9.2/etc/hadoop

在MySQL中建立hue資料庫,就是上面name指定的資料庫,用來存放中繼資料

[[email protected] hadoop]# mysql -uhive -p12345678
mysql> create database hue;

初始化hue資料庫

[[email protected] hue]# pwd
/opt/servers/hue
[[email protected] hue]# ./build/env/bin/hue syncdb
[[email protected] hue]# ./build/env/bin/hue migrate

檢視MySQL的hue資料庫,多了很多表,存放的都是中繼資料資訊

mysql> use hue;
mysql> show tables;

2.8 啟動Hue服務

#先增加hue使用者和使用者組
groupadd hue
useradd -g hue hue
#在hue安裝路徑下執行啟動指令
[[email protected] hue]# pwd
/opt/servers/hue
[[email protected] hue]# ./build/env/bin/supervisor

2.9 通路WebUI界面

http://linux122:8000

說明:第一次通路UI界面輸入的使用者民就是超級使用者,這裡都是以hue使用者,不要輸入其它使用者.

原生Hadoop環境下安裝Hue1. 寫在前面的話2. Hue的編譯安裝

2.10 Hue整合Hadoop,Hive,MySQL

vim /opt/servers/hue/desktop/conf/pseudo-distributed.ini

內建HDFS和YARN

#修改HDFS相關配置[[hdfs_clusters]](981行)
fs_defaultfs=hdfs://linux121:9000
webhdfs_url=http://linux121:50070/webhdfs/v1

#修改yarn相關配置[[yarn_clusters]](1008行)
resourcemanager_host=linux123
resourcemanager_port=8032
resourcemanager_api_url=http://linux123:8088
proxy_api_url=http://linux123:8088
history_server_api_url=http://linux123:19888

內建Hive的配置

#[beeswax](1063行)
hive_server_host=linux123
hive_server_port=10000
hive_conf_dir=/opt/servers/hive-2.3.7/conf/

內建MySQL

# [[[mysql]]](1637行)
# 注意: 1637行原文: ##[[mysql]]前面的兩個#要去掉
[[[mysql]]]
nice_name="My SQL"
name=test
engine=mysql
host=linux123
port=3306
user=hive

重新開機Hue服務

[[email protected] ~]# lsof -i:8000
[[email protected] ~]# kill -9 13670
[[email protected] hue]# ./build/env/bin/superviso

原生Hadoop環境下安裝Hue1. 寫在前面的話2. Hue的編譯安裝

1. 寫在前面的話

2. Hue的編譯安裝

2.1 hue相關的網址

2.2 安裝說明

2.3 具體安裝步驟

2.3.1 下載下傳Hue軟體包,上傳至伺服器

2.3.2 解壓源碼包

2.3.3 安裝相關依賴

2.4 安裝Maven

2.5 開始編譯

2.6 Hadoop的配置

2.6.1 修改Hadoop配置檔案

2.7 Hue相關配置

2.8 啟動Hue服務

2.9 通路WebUI界面

2.10 Hue整合Hadoop,Hive,MySQL

繼續閱讀

jdk1.7+Eclipse+Maven3.5+Hadoop2.7.3建構hadoop項目

HDFS指令行工具

【51CTO學院三周年】自學路上的伴侶

線上教育巨頭多鄰國Duolingo入華一周年，中國市場馬力全開

【分類算法】什麼是分類算法定義分類與聚類分類過程方法

申請評分模型拒絕推斷（RI）方法申請評分模型拒絕推斷（RI）方法

Sql優化一：sql語句優化

Nacos 2.0 更新前後性能對比壓測

尚矽谷—韓順平—圖解 Java設計模式（結構型）（55～）

Storm編譯打包過程中遇到的一些問題及解決方法

MapReduce的幾個企業級經典面試案例MapReduce的幾個企業級經典面試案例

9.spark Core 進階2--Cashe

淺談企業活動中進行資料分析的重要性

Ambari介紹和架構原理

NOSQL安全攻擊

win10本地scala和spark安裝安裝scala安裝spark