文章目录
- Hue介绍
-
- 概念
- Hue的作用
- Hue 的架构
- 安装部署(以Node01节点为例)
Hue介绍
概念
HUE=Hadoop User Experience
Hue 是一个开源的 Apache Hadoop UI 系统，由 Cloudera Desktop 演化而来， 最后 Cloudera 公司将其贡献给 Apache 基金会的 Hadoop 社区，它是基于 Python Web 框架 Django 实现的。
通过使用 Hue，可以在浏览器端的 Web 控制台上与 Hadoop 集群进行交互，来分析处理数据，例如操作 HDFS 上的数据，运行 MapReduce Job，执行 Hive 的SQL 语句，浏览 HBase 数据库等等。
Hue的作用
- 访问 HDFS 和文件浏览
- 通过 web 调试和开发 hive 以及数据结果展示
- 查询 solr 和结果展示，报表生成
- 通过 web 调试和开发 impala 交互式 SQL
- Query spark 调试和开发
- Pig 开发和调试
- oozie 任务的开发，监控，和工作流协调调度
- Hbase 数据查询和修改，数据展示
- Hive 的元数据（metastore）查询
- MapReduce 任务进度查看，日志追踪
- 创建和提交 MapReduce，Streaming，Java job 任务
- Sqoop2 的开发和调试
- Zookeeper 的浏览和编辑
- 数据库（MySQL，PostGres，SQlite，Oracle）的查询和展示
Hue 的架构
Hue 是一个友好的界面集成框架，可以集成各种大量的大数据体系软件框架，通过一个界面就可以做到查看以及执行所有的框架。
Hue 提供的这些功能相比Hadoop 生态各组件提供的界面更加友好，但是一些需要 debug 的场景可能还是要使用原生系统才能更加深入的找到错误的原因。
安装部署(以Node01节点为例)
1.上传压缩包到 /export/soft
2.解压Hue压缩包
tar -zxvf hue-3.9.0-cdh5.14.0.tar.gz -C ../servers
3.编译初始化工作
联网安装各种必须的依赖包
yum install -y asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libxml2-devel libxslt-devel make openldap-devel python-devel sqlite-devel gmp-devel
4.Hue初始化配置
cd /export/servers/hue-3.9.0-cdh5.14.0/desktop/conf
vim hue.ini
添加如下内容：
#通用配置
[desktop]
secret_key=jFE93j;2[290-eiw.KEiwN2s3['d;/.q[eIW^y#e=+Iei*@Mn<qW5o
http_host=node01
is_hue_4=true
time_zone=Asia/Shanghai
server_user=root
server_group=root
default_user=root
default_hdfs_superuser=root
#配置使用 mysql 作为 hue 的存储数据库,大概在 hue.ini 的 587 行左右
[[database]]
engine=mysql
#本人的mysql安装在node01上,所有指定host=node01w
host=node01
port=3306
user=root
password=1234
name=hue
5.创建 mysql 中 Hue 使用的 DB
6.编译Hue
cd /export/servers/hue-3.9.0-cdh5.14.0
make apps
编译成功后，会在名为hue数据库中创建许多初始化表
7.linux系统添加普通用户hue
useradd hue
passwd hue
8.启动Hue、Web UI访问
cd /export/servers/hue-3.9.0-cdh5.14.0/
build/env/bin/supervisor
9.验证
页面访问路径：http://node01:8888
注：第一次访问的时候，需要设置超级管理员用户和密码。记住它。