天天看點

hive使用tez環境配置

Tez引擎包下載下傳:

https://mirrors.tuna.tsinghua.edu.cn/apache/tez/0.8.4/apache-tez-0.8.4-bin.tar.gz

1:将下載下傳的安裝包解壓

$ pwd

/opt/ubd/core

$tar -zxvf apache-tez-0.8.4-bin.tar.gz

重指令tez 檔案夾

$mv apache-tez-0.8.4-bin tez

2:将tez上傳到hdfs目錄下,并修改tez配置

hdfs dfs -mkdir /tez/

hdfs dfs -put tez/share/tez-0.8.4.tar.gz /tez/

修改本地tez檔案

vi  tez/conf/tez-site.xml

hive使用tez環境配置

3:配置環境變量,并複制tez-site.xml到hadoop和hive的配置下

export TEZ_CONF_DIR=/opt/tez/conf
export TEZ_HOME=/opt/tez
export TEZ_JARS=/usr/local/tez/client
export HADOOP_CLASSPATH=${TEZ_CONF_DIR}:${TEZ_JARS}/*:${TEZ_JARS}/lib/*:`hadoop classpath`
      

4:登陸hive測試tez引擎

hive (default)> set hive.execution.engine=tez;

然後跑一段sql,如果成功就可以了

5:可能的問題

有可能碰到kyro的問題,将kyro的包放到tez家目錄的lib下

hive使用tez環境配置

還有記得檢視自己 的環境變量是否準确

如果還繼續報,就把這個jar包 改bak 一下

hive使用tez環境配置

繼續閱讀