Habse环境搭建

HBase的环境搭建

独立模式

环境准备

jdk1.7+hbase-1.2.1-bin.tar.gz

独立模式不需要HDFS，使用的是本地文件系统

搭建步骤

1.上传hbase软件包至/opt/software/下，并解压到/opt/apps/里（安装目录） tar -zxvf hbase-1.2.1-bin.tar.gz -C /opt/apps/

2.设置环境变量 vi /etc/profile

export HBASE_HOME=/opt/apps/hbase
export PATH=$PATH:$HBASE_HOME/bin:      

4.使配置文件生效 source /etc/profile

5.修改hbase-env.sh vi $HBASE_HOME/conf/hbase-env.sh

# The java implementation to use.  Java 1.7+ required.
export JAVA_HOME=/usr/local/jdk1.8
​
# Tell HBase whether it should manage it's own instance of Zookeeper or not.
export HBASE_MANAGES_ZK=true       #hbase内置zookeeper开启      

6.修改hbase-site.xml vi $HBASE_HOME/conf/hbase-site.xml

<configuration>
    <!-- 属性hbase.rootdir用于指定hbase产生的数据的存储位置 -->
    <property>
         <name>hbase.rootdir</name>
         <value>file:///opt/apps/hbase/data</value>
    </property>
    <!-- hbase依赖于zookeeper,需要指定内置zookeeper的数据存储位置 -->
     <property>
        <name>hbase.zookeeper.property.dataDir</name>
        <value>/opt/apps/hbase/zookeeper</value>
     </property>
</configuration>      

7.启动hbase守护进程 start-hbase.sh hmaster --hbase的守护进程

8.连接hbase hbase shell

9.退出hbase并停止hbase进程 exit stop-hbase.sh

伪分布式

环境准备

jdk1.7+hadoop-2.7.6hbase-1.2.1.bin.tar.gz

基于普通HDFS集群：hbase使用内置的zookeeper基于HDFS-HA集群：hbase的内置zookeeper设置为false即可

安装步骤

1.基于上面的独立模式的1-6步

2.配置hbase-site.xml

<!-- 属性hbase.rootdir用于指定hbase产生的数据的存储位置 -->
<property>
    <name>hbase.rootdir</name>
    <value>hdfs://hd/hbase</value>
</property>
<!-- 指定hbase使用的zookeeper集群 -->
<property>
    <name>hbase.zookeeper.quorum</name>
    <value>master:2181,hdp01:2181,hdp02:2181</value>
</property>
<!-- 开启用hbase集群模式 -->
<property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
</property>
<!--将属性hbase.unsafe.stream.capability.enforce 改为true -->
<property>
    <name>hbase.unsafe.stream.capability.enforce</name>
    <value>true</value>
</property>      

3.启动集群 启动zookeeper、启动HDFS-HA、启动HBase

4.(可选)开启备份master(backup_master) local-master-backup.sh start 2 3 5 说明：2，3，5是端口号16010和16000的端口偏移量，生成的端口号就是：16012/16002 16013/16003 16015/16005 关闭备份master：backup-master 查看备份master的pid，通过kill命令 来结束进程 方法：jps 或 cat /tmp/hbase-hyxy-num-master.pid | xargs kill -9

5.(可选)开启或停止其他RegionServe local-regionservers.sh start 2 3 4 5 local-regionservers.sh stop [num]

完全分布式

环境准备

jdk 1.7+hadoop-2.8.5zookeeper-3.4.7hbase-1.2.1.bin.tar.gz

进程布局

master节点：master,resionserver,zookeeperhdp01节点：backup hmaster ，resionserver,zookeeperhdp02节点：regionserver,zookeeper

安装步骤

1.基于独立模式

2.配置ssh免密登陆、配置时间同步

3.确认hbase-env.sh是否禁用内置的zookeeper

4.修改hbase-site.xml vi $HBASE_HOME/conf/hbase-site.xml

<!-- 修改hbase的存储路径为HDFS内-->
<property>
    <name>hbase.rootdir</name>
    <value>hdfs://hd/hbase</value>
</property>
<!-- 开启用hbase集群模式 -->
<property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
</property>
<!--将属性hbase.unsafe.stream.capability.enforce 改为true -->
<property>
    <name>hbase.unsafe.stream.capability.enforce</name>
    <value>true</value>
</property>
<!-- 指定hbase使用的zookeeper集群 -->
<property>
    <name>hbase.zookeeper.quorum</name>
    <value>master:2181,hdp01:2181,hdp02:2181</value>
</property>      

5.配置RegionServer所在的节点信息 vi $HBASE_HOME/conf/regionservers

master
hdp01
hdp02      

6.配置备份HMaster：创建backup-masters文件 cd $HBASE_HOME/conf/ echo "slave1">> backup-masters

7.将hadoop的core-site.xml和hdfs-site.xml放入conf目录内 cd $HADOOP_HOME/etc/hadoop/ cp core-site.xml hdfs-site.xml $HBASE_HOME/conf/

8.将hbase分发到集群其他相关节点上 scp /opt/apps/hbase-1.2.1 hdp01:/opt/apps/ scp /opt/apps/hbase-1.2.1 hdp02:/opt/apps/ 环境变量配置

9.启动集群 启动zookeeper集群 启动hdfs集群 启动hbase服务