天天看点

大数据学习之Hbase集群搭建

一、简介

HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。

HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。

与FUJITSU Cliq等商用大数据产品不同,HBase是Google Bigtable的开源实现,类似Google Bigtable利用GFS作为其文件存储系统,HBase利用Hadoop HDFS作为其文件存储系统;Google运行MapReduce来处理Bigtable中的海量数据,HBase同样利用Hadoop MapReduce来处理HBase中的海量数据;Google Bigtable利用Chubby作为协同服务,HBase利用Zookeeper作为对应。

二、配置

1、下载与Hadoop相对的hbase版本

2、上传并减压到相对应得目录

3、配置环境变量:vi /etc/profile

大数据学习之Hbase集群搭建
export HBASE_HOME=/usr/module/hbase/hbase-0.98.17-hadoop2
export PATH=$PATH:$HBASE_HOME/bin
           

4、切换到hbase得conf目录下,修改hbase-env.sh

大数据学习之Hbase集群搭建
#开启JAVA_HOME配置
export JAVA_HOME=/usr/module/java/jdk1.8.0_221
#关闭HBase自带的zookeeper,使用zookeeper集群
export HBASE_MANAGES_ZK=false

           

5、配置hbase-site.xml

大数据学习之Hbase集群搭建
<configuration>
<property>
   <name>dfs.replication</name>
   <value>3</value>
</property>
<property> 
  <name>dfs.name.dir</name> 
  <value>/usr/module/hadoop/hdfs/name</value> 
</property> 
<property> 
  <name>dfs.data.dir</name> 
  <value>/usr/module/hadoop/hdfs/data</value> 
</property> 
<property>
   <name>dfs.permissions</name>
   <value>false</value>
</property>
</configuration>

           

6、配置regionservers(安装有Hadoop环境的集群)

大数据学习之Hbase集群搭建
slave1
slave2
           

7、新建一个文件backup-masters,配置backup-masters

大数据学习之Hbase集群搭建
master
slave1
slave2
           

在其中写入你规划处于backup状态的hbase,因为你启动的hbase节点如果只有一台,而当其宕机的时候整个hbase集群都会变得不可用,所以我们设置一个或多个备用节点。

8、复制Hadoop配置文件hdfs-site.xml到HBase的conf目录

cp  HADOOP_HOME/etc/hadoop/hdfs-site.xml  [email protected]:HBASE_HOME/conf/
           

9、时间同步

如果你集群中所有节点机器的时间相同可以跳过此步骤

在所有节点机器上查看时间

大数据学习之Hbase集群搭建

如果不同就执行此操作

centos 安装 ntpdate 并同步时间
在命令行中做如下操作,来安装ntpdate
yum install -y ntp

继续在命令行中操作,进行同步时间
ntpdate 210.72.145.44


ntp常用服务器: 
中国国家授时中心:210.72.145.44 
NTP服务器(上海) :ntp.api.bz

美国:time.nist.gov 
复旦:ntp.fudan.edu.cn 
微软公司授时主机(美国) :time.windows.com 
台警大授时中心(台湾):asia.pool.ntp.org
           

10、启动Hadoop

11、启动zookeeper

大数据学习之Hbase集群搭建

12、启动hbase

启动hbase,在主节点上运行: start-hbase.sh

查看jps,其中你的主节点和备用节点上会多出两个进程 HMaster 和HRegionServer

大数据学习之Hbase集群搭建
大数据学习之Hbase集群搭建

13、查看测试

通过浏览器访问hbase管理页面 ip(主节点和备用节点):60010

主节点是Master

备用的是backup状态

大数据学习之Hbase集群搭建
大数据学习之Hbase集群搭建

至此,hbase集群搭建完毕!

继续阅读