天天看点

Hive与Hbase整合

我们这边开始使用hbase做实时查询,但是分析的任务还是得交给hive,hive计算的结果导入到hbase.

hive提供了几个jar包,帮助我们实现:

创建与hbase共享的表,数据(数据和表两边都有)

映射来自hbase的表到hive

hive查询的结果直接导入hbase

启动命令如下,主要是指定jar包,以及hbase使用的zookeeper的地址

我们先在hive中创建测试表:

在hive中创建表时,制定映射到对应的hbase表,默认两边的表名字一样。

切换到hbase shell,查看一下表是否存在:

我们切换到hbase shell,查看一下表是否已经写入信息:

如果想要提高写入hbase表的速度,可以添加如下设置,关闭wal预写日志

<a target="_blank" href="https://cwiki.apache.org/confluence/display/hive/hbaseintegration">https://cwiki.apache.org/confluence/display/hive/hbaseintegration</a>