1. 写在前面的话

此处省略150字…

2. Hue的编译安装

2.1 hue相关的网址

Hue官方网站

Hue官方用户手册

官方安装文档

HUE下载地址

2.2 安装说明

由于官方没有提供编译好的软件包,所以这里需要自己下载源码,安装依赖,编译安装.安装Hue的节点上最好没有安装过MySQL,否则可能有版本冲突.本次安装环境为python2.7.5,阿里云ECS服务器,CentOS7.x版本.

2.3 具体安装步骤

2.3.1 下载Hue软件包,上传至服务器

百度网盘下载链接

提取码：kepa

2.3.2 解压源码包

[[email protected] software]# yum install -y unzip
[[email protected] software]# unzip hue-release-4.3.0.zip

2.3.3 安装相关依赖

#安装编译hue需要的依赖库
yum -y install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi \
cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libxml2-devel \
libxslt-devel make mysql mysql-devel openldap-devel python-devel \
sqlite-devel gmp-devel

2.4 安装Maven

编译Hue还需要安装Maven环境,因此在编译前需要安装Maven

#解压安装包
[[email protected] software]# tar -zvxf apache-maven-3.6.3-bin.tar.gz -C /opt/servers/
#配置maven环境变量
[[email protected] maven-3.6.3]# vim /etc/profile
#MAVEN_HOME
export MAVEN_HOME=/opt/servers/maven-3.6.3
export PATH=$PATH:$MAVEN_HOME/bin
#验证maven是否安装成功
[[email protected] maven-3.6.3]# mvn -v
Apache Maven 3.6.3 (cecedd343002696d0abb50b32b541b8a6ba2883f)
Maven home: /opt/servers/maven-3.6.3

将Maven的镜像修改为阿里云的:

[[email protected] conf]# vim /opt/servers/maven-3.6.3/conf/settings.xml
<mirror>
      <id>aliyun</id>
      <mirrorOf>central</mirrorOf>
      <name>aliyun repository</name>
      <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
</mirror>

2.5 开始编译

进入hue源码目录,进行编译,使用PREFIX执行安装Hue的路径

[[email protected] ~]# cd /opt/software/hue-release-4.3.0
#编译需要花点时间
[[email protected] hue-release-4.3.0]# PREFIX=/opt/servers make install

编译报错解决

报错信息如下:是因为python中cffi这个模块版本过低,要求必须>=1.7(现有的是1.6)

原生Hadoop环境下安装Hue1. 写在前面的话2. Hue的编译安装
解决办法

#1.使用pip安装cffi模块.如果发现是1.6或小于1.7版本的就需要升级
[[email protected] servers]# pip install cffi
#2.先升级pip(这步不一定做,看第三步执行的情况)
[[email protected] servers]# pip install --upgrade pip
#3.更新cffi模块
[[email protected] servers]# pip install --upgrade cffi --use-feature=2020-resolver

2.6 Hadoop的配置

2.6.1 修改Hadoop配置文件

修改hdfs-site.xml文件

[[email protected] ~]# vim /opt/servers/hadoop-2.9.2/etc/hadoop/hdfs-site.xml
<!-- 启用HDFS的Web页面业务 -->
<property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
</property>
<!--关闭HDFS的权限检查-->
<property>
    <name>dfs.permissions.enabled</name>
    <value>false</value>
</property>

修改core-site.xml文件

[[email protected] ~]# vim /opt/servers/hadoop-2.9.2/etc/hadoop/core-site.xml 
<!-- 使用hue可以代理所有用户 -->
<property>
    <name>hadoop.proxyuser.hue.hosts</name>
    <value>*</value>
</property>
<property>
    <name>hadoop.proxyuser.hue.groups</name>
    <value>*</value>
</property>
<!--使用hdfs可以代理所有用户-->
<property>
    <name>hadoop.proxyuser.hdfs.hosts</name>
    <value>*</value>
</property>
<property>
    <name>hadoop.proxyuser.hdfs.groups</name>
    <value>*</value>
</property>

修改https-site.xml文件

[[email protected] ~]# vim /opt/servers/hadoop-2.9.2/etc/hadoop/httpfs-site.xml
<!-- 针对httpfs可以使用hue代理所有用户访问 -->
<property>
    <name>httpfs.proxyuser.hue.hosts</name>
    <value>*</value>
</property>
<property>
    <name>httpfs.proxyuser.hue.groups</name>
    <value>*</value>
</property>

将修改后的配置文件信息同步到集群中的其它节点

2.7 Hue相关配置

复制配置并重命名

修改配置文件

[[email protected] conf]# vim pseudo-distributed.ini
# [desktop](21行)
http_host=linux122
http_port=8000
is_hue_4=true
time_zone=Asia/Shanghai
dev=true
server_user=hue(92行)
server_group=hue
default_user=hue
#禁用solr，规避报错(211行)
app_blacklist=search
# [[database]],Hue默认使用SQLite数据库记录相关元数据，替换为mysql(631行)
engine=mysql(639行)
host=linux123(640行)
port=3306(641行)
user=hive(642行)
password=12345678(643行)
name=hue(增加)
# 1003行左右，Hadoop配置文件的路径
hadoop_conf_dir=/opt/servers/hadoop-2.9.2/etc/hadoop

在MySQL中创建hue数据库,就是上面name指定的数据库,用来存放元数据

[[email protected] hadoop]# mysql -uhive -p12345678
mysql> create database hue;

初始化hue数据库

[[email protected] hue]# pwd
/opt/servers/hue
[[email protected] hue]# ./build/env/bin/hue syncdb
[[email protected] hue]# ./build/env/bin/hue migrate

查看MySQL的hue数据库,多了很多表,存放的都是元数据信息

mysql> use hue;
mysql> show tables;

2.8 启动Hue服务

#先增加hue用户和用户组
groupadd hue
useradd -g hue hue
#在hue安装路径下执行启动命令
[[email protected] hue]# pwd
/opt/servers/hue
[[email protected] hue]# ./build/env/bin/supervisor

2.9 访问WebUI界面

http://linux122:8000

说明:第一次访问UI界面输入的用户民就是超级用户,这里都是以hue用户,不要输入其它用户.

原生Hadoop环境下安装Hue1. 写在前面的话2. Hue的编译安装

2.10 Hue整合Hadoop,Hive,MySQL

vim /opt/servers/hue/desktop/conf/pseudo-distributed.ini

集成HDFS和YARN

#修改HDFS相关配置[[hdfs_clusters]](981行)
fs_defaultfs=hdfs://linux121:9000
webhdfs_url=http://linux121:50070/webhdfs/v1

#修改yarn相关配置[[yarn_clusters]](1008行)
resourcemanager_host=linux123
resourcemanager_port=8032
resourcemanager_api_url=http://linux123:8088
proxy_api_url=http://linux123:8088
history_server_api_url=http://linux123:19888

集成Hive的配置

#[beeswax](1063行)
hive_server_host=linux123
hive_server_port=10000
hive_conf_dir=/opt/servers/hive-2.3.7/conf/

集成MySQL

# [[[mysql]]](1637行)
# 注意: 1637行原文: ##[[mysql]]前面的两个#要去掉
[[[mysql]]]
nice_name="My SQL"
name=test
engine=mysql
host=linux123
port=3306
user=hive

重启Hue服务

[[email protected] ~]# lsof -i:8000
[[email protected] ~]# kill -9 13670
[[email protected] hue]# ./build/env/bin/superviso

原生Hadoop环境下安装Hue1. 写在前面的话2. Hue的编译安装

1. 写在前面的话

2. Hue的编译安装

2.1 hue相关的网址

2.2 安装说明

2.3 具体安装步骤

2.3.1 下载Hue软件包,上传至服务器

2.3.2 解压源码包

2.3.3 安装相关依赖

2.4 安装Maven

2.5 开始编译

2.6 Hadoop的配置

2.6.1 修改Hadoop配置文件

2.7 Hue相关配置

2.8 启动Hue服务

2.9 访问WebUI界面

2.10 Hue整合Hadoop,Hive,MySQL

继续阅读

jdk1.7+Eclipse+Maven3.5+Hadoop2.7.3构建hadoop项目

HDFS命令行工具

【51CTO学院三周年】自学路上的伴侣

在线教育巨头多邻国Duolingo入华一周年，中国市场马力全开

【分类算法】什么是分类算法定义分类与聚类分类过程方法

申请评分模型拒绝推断（RI）方法申请评分模型拒绝推断（RI）方法

Sql优化一：sql语句优化

Nacos 2.0 升级前后性能对比压测

尚硅谷—韩顺平—图解 Java设计模式（结构型）（55～）

Storm编译打包过程中遇到的一些问题及解决方法

MapReduce的几个企业级经典面试案例MapReduce的几个企业级经典面试案例

9.spark Core 进阶2--Cashe

浅谈企业活动中进行数据分析的重要性

Ambari介绍和架构原理

NOSQL安全攻击

win10本地scala和spark安装安装scala安装spark