sparksql與hive整合

hive配置

編輯 $HIVE_HOME/conf/Hive-site.xml,增加如下内容:

<property>
  <name>hive.metastore.uris</name>
  <value>thrift://master:9083</value>
  <description>Thrift uri for the remote metastore. Used by metastore client to connect to remote metastore.</description>
</property>      

啟動hive metastore

啟動 metastore:

hive   --service metastore &

檢視  metastore:

jobs

關閉 metastore:

$kill %1

kill %jobid,1代表job id

spark配置

将 $HIVE_HOME/conf/hive-site.xml copy或者軟鍊 到 $SPARK_HOME/conf/
将 $HIVE_HOME/lib/mysql-connector-java-5.1.12.jar copy或者軟鍊到$SPARK_HOME/lib/


copy或者軟鍊$SPARK_HOME/lib/ 是友善spark standalone模式使用      

啟動spark-sql

注：