HIVE与HBase的集成

作用：

• 将HBase的数据映射到HIVE表中。

HIVE表类型：

• 管理表：在HIVE表中建表的同时在HBase中不存在该表，HBase创建相同的表·，数据不是在HIVE中而是在HBase中。
• 外部表：在HIVE中建表，同时HBase的表要提前存在，数据同样存储在HBase中。（你创建的外部表的数据来源于HBase中）

框架之间的继承操作，首先考虑的是jar包：

可以把HIVE集成HBase需要的jar包拷贝到hive lib目录下面：

1  hbase-server-0.98.6-cdh5.3.6.jar 
2  hbase-client-0.986-cdh5.3.6.jar
3  hbase-potocol-0.98.6-cdh5.3.6.jar 
4  hbase-it-0.98.6-cdh5.3.6.jar
5 hbase-hadoop2-compat-0.98.6-cdh5.3.6.jar 
6 hbase-hadoop-compat-0.98.6-cdh5.3.6.jar
7  high-scale-lib-1.1.1.jar 
8 hbase-common-0.98.6-cdh5.3.6.jar
                

把以上的jar包拷贝到hive中lib目录下面。

在HIVE中hive-site.xml文件中配置zookeeper信息

<property>
		  <name>hbase.zookeeper.quorum</name>
		  <value>hh</value>
</property>
           

创建表

• 创建内部表：

CREATE TABLE hbase_table_3(key int, value string) 
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf1:val")
TBLPROPERTIES ("hbase.table.name" = "xyz3", "hbase.mapred.output.outputtable" = "xyz3");
                

以上的方式创建表为HIVE中的管理表。

特点：HBase中没有该表的前提下，创建之后，HBase中存在这个表。

在创建之后，需要导入数据，不能用load data local inpath… ,需要跑MR程序，所以要使用insert overwrite，将一张表中的数据加载到HIVE表中，加载后数据也不在HIVE中，而是在HBase中。

• 创建外部表：

CREATE EXTERNAL TABLE hbase_table_4(key int, value string) 
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = "cf1:val")
TBLPROPERTIES("hbase.table.name" = "xyz3", "hbase.mapred.output.outputtable" = "xyz3");
                

创建之后HBase不存在这张表，这张表是在HIVE中的。

用普通的创建外部表的方式，创建出来的外部表是没有数据的，因为你的HIVE中的数据存放在HBase中而不是在HIVE中。

内部表 与外部表的区别？

内部表： 删除表 对应的数据文件会被删除

外部表： 删除表 对应的数据文件不会被删除