大資料資料倉庫，一般來說底層都是建設在hive當中，利用hadoop的hdfs分布式檔案系統，可以替代傳統的mysql和oracle等資料庫，進而來存儲上百TB、PB等級别的大資料集。如果公司業務中，每天資料增長多，也可以使用hive存儲資料。跟傳統的關系型資料庫不同，hive資料存儲在hdfs上，底層使用mapreduce計算資料，主要做大資料的分析使用。
在hadoop叢集上安裝hive
一，先在linux上安裝mysql，存儲hive中繼資料資訊。
1、通過下面的指令，擷取mysql 源安裝包，直接複制，浏覽器打開下載下傳即可
2、在Linux上安裝剛下載下傳的 mysql 源
3、使用指令，檢查mysql源是否安裝成功
4、使用 yum 指令安裝mysql
5、配置mysql的檔案目錄資訊
使用下面的指令，檢視mysql配置檔案加載順序：
修改根目錄 /etc/my.cnf 配置檔案内的檔案目錄
datadir=/data/mysql/data
sql_mode=STRICT_TRANS_TABLES,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION
log-error=/data/mysql/log/mysqld.log
注意：
SQL_MODE：通過對其正确的設定可以完成一些限制檢查的工作，設定時，在配置檔案my.cnf 中配置進行全局的設定。
STRICT_TRANS_TALES(嚴格模式)：隻對支援事務的表啟用嚴格模式。
NO_AUTO_CREATE_USER：禁止GRANT建立密碼為空的使用者。
NO_ENGINE_SUBSTITUTION：啟用後，若需要的存儲引擎被禁用或未編譯，則抛出錯誤；未啟用時将用預設的存儲引擎代替，并抛出一個異常。
6、建立 mysql 的檔案目錄
7、使用下面的指令生成首次登入的随機密碼
mysqld --initialize
通過上面指令會在 /data/mysql/log/mysqld.log 中生成随機碼，随機碼用來首次登入mysql。
8、修改mysql 檔案目錄的權限，把所有者修改為 mysql 使用者
9、啟動mysql
systemctl start mysqld.service
10、 關閉并重新開機mysql
systemctl stop mysqld.service
systemctl start mysqld.service
請注意：如果再次啟動報錯，就重新開機Linux 系統。
11、用生成的随機密碼登入mysql
12、使用mysql密碼
用生成的随機密碼登入進入 mysql 指令行後，需要重置密碼，以確定賬戶安全。
在重置密碼時，如果不想密碼設定得那麼複雜，需要設定validate_password_policy 參數：
這樣，判斷密碼的标準就基于密碼的長度了，這個由validate_password_length參數來決定。
validate_password_length預設是8是以密碼長度必須大于8。
設定密碼：
設定完密碼後，用新密碼重新登入。因為mysql5.7是預設安裝validate_password插件 ，那麼如何驗證validate_password插件是否安裝呢？可通過檢視以下參數，如果沒有安裝，則輸出将為空。
安裝mysql錯誤解決：報錯解決，如果啟動一直報錯，根據報錯原因解決不了問題了，可以直接解除安裝mysql，然後重新安裝。
使用下面的指令 檢視已經安裝過的元件：
yum -y remove mysql57-community-release-el7-11.noarch
yum -y remove mysql-community-common-5.7.19-1.el7.x86_64
之後用yum -y remove 解除安裝所有跟mysql有關的元件
yum -y remove mysql57-community-release-el7-11.noarch
yum -y remove mysql-community-common-5.7.19-1.el7.x86_64
解除安裝後再用 rpm -qa | grep -i mysql 檢視是否全部解除安裝完畢。
删除/data/mysql 目錄
二、 在linux上安裝 hive
1、用root使用者上傳并解壓hive的tar安裝包，可以使用xftp上傳安裝包。
#解壓到/usr/local/目錄下
tar -xzf ./apache-hive-2.1.1-bin.tar.gz -C /usr/local/
2、建立hive-2.1.1-bin的軟連結
3、修改/usr/local/hive/apache-hive-2.1.1-bin目錄所有者為hadoop使用者
4、配置環境變量
增加HIVE_HOME和HIVE_CONF_DIR
使用下面的指令，更新剛配置的環境變量：source /etc/profile
5、修改配置
切換到hadoop使用者，修改hive配置在/usr/local/hive/conf目錄。先備份原來的配置：
上傳hive-site.xml 到 /user/local/hive/conf/ 目錄下。
把hive-env.sh.template和mv hive-log4j2.properties.template改名為如下名：
mv hive-env.sh.template hive-env.sh
hive-log4j2.properties
6、在mysql中建立hive用的資料庫和hive使用者
7、拷貝mysql驅動jar包 到/usr/local/hive/lib/
8、如果報錯，删除沖突的log4j日志包
9、在HDFS上建立hive使用的資料目錄
10、hive初始化mysql
11、給mysql中root使用者開通所有權限，友善在用戶端進行檢視
grant all privileges on *.* to [email protected]'%' identified by "1234abcd";
#更新配置使之生效
flush privileges;
使用用戶端檢視，看hive_meta庫中是否已經初始化好hive表。
往期回顧
|| 大資料之資料倉庫，使用Hive倉庫遇到的哪些事
|| 大資料倉庫，Hive複雜的資料結構，SQL列轉行操作
|| 資料倉庫，Hive中使用 != 或 <>; 符号進行條件過濾時的坑
