Hive | 安裝部署（三種通路Hive的方式）

Hive 安裝（第一種）

1. Hive

   ​​官網位址​​文檔檢視位址

   下載下傳位址

2. 安裝部署

• 上傳、解壓、改名 到​

  ​opt/module/hive​

  ​
• 添加環境變量 ​

  ​ vim /etc/profile.d/my_env.sh​

• 添加内容

  #HIVE_HOME export HIVE_HOME=/opt/module/hive export PATH=$PATH:$HIVE_HOME/bin

• 日志jar會沖突，修改或删掉​

  ​mv $HIVE_HOME/lib/log4j-slf4j-impl-2.10.0.jar $HIVE_HOME/lib/log4j-slf4j-impl-2.10.0.bak​

• 初始化資料庫 ​

  ​ bin/schematool -dbType derby -initSchema​

1. 啟動并使用

• 啟動Hive ​

  ​bin/hive​

• 使用hive

  hive> show databases; hive> show tables; hive> create table test(id int); hive> insert into test values(1); hive> select * from test;

• 開啟另一個視窗開啟 Hive，在/tmp/atguigu 目錄下監控 hive.log 檔案

Hive 預設使用的中繼資料庫為 derby，開啟 Hive 之後就會占用中繼資料庫，且不與其他用戶端共享資料，是以我們需要将 Hive 的中繼資料位址改為 MySQL。
      

mysql安裝 （第二種）

1. 檢查是否安裝過 MySQL 裝過 解除安裝

rpm -qa|grep mariadb
  rpm -e --nodeps mariadb-libs
      

1. 将 MySQL 安裝包拷貝、解壓到 ​

   ​mysql​

2. tar -xf mysql-5.7.28-1.el7.x86_64.rpm-bundle.tar
3. 在安裝目錄下執行rpm安裝

rpm -ivh mysql-community-common-5.7.28-1.el7.x86_64.rpm
rpm -ivh mysql-community-libs-5.7.28-1.el7.x86_64.rpm
rpm -ivh mysql-community-libs-compat-5.7.28-1.el7.x86_64.rpm
rpm -ivh mysql-community-client-5.7.28-1.el7.x86_64.rpm
rpm -ivh mysql-community-server-5.7.28-1.el7.x86_64.rpm
      

注：如果缺少依賴安裝依賴，​

​yum install -y libaio​

1. 删除/etc/my.cnf 檔案中 datadir 指向的目錄下的所有内容,如果有内容的情況下

[mysqld]
  datadir=/var/lib/mysql
      

1. 初始化資料庫 ​

   ​ mysqld --initialize --user=mysql​

2. 生成臨時密碼 在控制台最後一行
3. 啟動mysql服務 ​

   ​start mysqld​

4. 登入 MySQL 資料庫 ​

   ​ mysql -uroot -p​

   ​ ​

   ​臨時密碼​

5. 修改root使用者的密碼否則執行其他操作會報錯 ​

   ​set password = password("新密碼");​

6. 修改 mysql 庫下的 user 表中的 root 使用者允許任意 ip 連接配接

mysql> update mysql.user set host='%' where user='root';
mysql> flush privileges;
      

Hive 中繼資料配置到 MySQL

1. 拷貝驅動

• 将 MySQL 的 JDBC 驅動拷貝到 Hive 的 lib 目錄下

cp /opt/software/mysql-connector-java-5.1.37.jar $HIVE_HOME/lib
      

1. 配置 Metastore 到 MySQL 在$HIVE_HOME/conf 目錄下建立 hive-site.xml 檔案

• 添加如下

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <!-- jdbc 連接配接的 URL -->
  <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://hadoop102:3306/metastore?useSSL=false</value>
  </property>
  <!-- jdbc 連接配接的 Driver-->
  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
  </property>
  <!-- jdbc 連接配接的 username-->
  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
  </property>
  <!-- jdbc 連接配接的 password -->
  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>123456</value>
  </property>
  <!-- Hive 中繼資料存儲版本的驗證 -->
  <property>
    <name>hive.metastore.schema.verification</name>
    <value>false</value>
  </property>
  <!--中繼資料存儲授權-->
  <property>
    <name>hive.metastore.event.db.notification.api.auth</name>
    <value>false</value>
  </property>
  <!-- Hive 預設在 HDFS 的工作目錄 -->
  <property>
    <name>hive.metastore.warehouse.dir</name>
    <value>/user/hive/warehouse</value>
  </property>
</configuration>
      

1. 登入mysql ​

   ​mysql -uroot -p123456​

2. 建立Hive中繼資料庫

create database metastore;
quit;
      

1. ​ schematool -initSchema -dbType mysql -verbose​

2. 啟動 hive ​

   ​bin\hive​

3. 使用hive ​

   ​SQL文法​

4. （可選 在另一個視窗打開Hive通路資料進行驗證）

使用中繼資料服務的方式通路Hive

1. 在hive-site.xml中添加

<!-- 指定存儲中繼資料要連接配接的位址 -->
<property>
  <name>hive.metastore.uris</name>
  <value>thrift://hadoop102:9083</value>
</property>
      

1. 啟動 metastore ​

   ​hive --service metastore​

注意: 啟動後視窗不能再操作，需打開一個新的 shell 視窗做别的操作

1. 啟動 Hive ​

   ​bin\hive​

使用JDBC方式通路Hive （第三種）

1. 在hive-site.xml 檔案添加如下

<!-- 指定 hiveserver2 連接配接的 host -->
<property>
<name>hive.server2.thrift.bind.host</name>
<value>hadoop102</value>
</property>
<!-- 指定 hiveserver2 連接配接的端口号 -->
<property>
<name>hive.server2.thrift.port</name>
<value>10000</value>
</property>
      

1. 啟動 hiveserver2 ​

   ​bin/hive --service hiveserver2​

2. 啟動 beeline 用戶端(多等一會兒) ​

   ​bin/beeline -u jdbc:hive2://hadoop102:10000 -n root​

3. 檢查顯示是否報錯
4. 編寫 hive 服務啟動腳本

• 編寫腳本管理服務的啟動和關閉

#!/bin/bash
HIVE_LOG_DIR=$HIVE_HOME/logs
if [ ! -d $HIVE_LOG_DIR ]
then
  mkdir -p $HIVE_LOG_DIR
fi
#檢查程序是否運作正常，參數 1 為程序名，參數 2 為程序端口
function check_process()
{
  pid=$(ps -ef 2>/dev/null | grep -v grep | grep -i $1 | awk '{print$2}')
  ppid=$(netstat -nltp 2>/dev/null | grep $2 | awk '{print $7}' | cut -d '/' -f 1)
  echo $pid
  [[ "$pid" =~ "$ppid" ]] && [ "$ppid" ] && return 0 || return 1
}
function hive_start()
{
  metapid=$(check_process HiveMetastore 9083)
  cmd="nohup hive --service metastore >$HIVE_LOG_DIR/metastore.log 2>&1 &"
  [ -z "$metapid" ] && eval $cmd || echo "Metastroe 服務已啟動"
  server2pid=$(check_process HiveServer2 10000)
  cmd="nohup hiveserver2 >$HIVE_LOG_DIR/hiveServer2.log 2>&1 &"
  [ -z "$server2pid" ] && eval $cmd || echo "HiveServer2 服務已啟動"
}
function hive_stop()
{
  metapid=$(check_process HiveMetastore 9083)
  [ "$metapid" ] && kill $metapid || echo "Metastore 服務未啟動"
  server2pid=$(check_process HiveServer2 10000)
  [ "$server2pid" ] && kill $server2pid || echo "HiveServer2 服務未啟動"
}
case $1 in
"start")
  hive_start
  ;;
"stop")
  hive_stop
  ;;
"restart")
  hive_stop
  sleep 2
  hive_start
  ;;
"status")
  check_process HiveMetastore 9083 >/dev/null && echo "Metastore 服務運作正常" || echo "Metastore 服務運作異常"
  check_process HiveServer2 10000 >/dev/null && echo "HiveServer2 服務運作正常" || echo "HiveServer2 服務運作異常"
  ;;
*)
  echo Invalid Args!
  echo 'Usage: '$(basename $0)' start|stop|restart|status'
  ;;
esac
      

1. 賦予執行權限 ​

   ​chmod +x $HIVE_HOME/bin/hiveservices.sh​

2. hiveservices.sh start

個人了解：

Hive 第一種方式 使用中繼資料庫為derby 不支援多端同時通路 适合個人測試Hive

Hive 第二種方式 使用mysql作為中繼資料庫 支援多端通路 但跨ip通路較難（請斟酌）

Hive 第三種方式 使用JDBC的方式通路 較為全備，各方面都好 啟動較為麻煩