天天看点

E-MapReduce的HBase集群间迁移

hbase集群

hdfs

cluster-a

hdfs:/a

cluster-b

hdfs:/b

cluster-a集群数据迁移到cluster-b

将<code>cluster-a</code>中hbase表<code>export</code>到<code>cluster-b</code>的hdfs中,然后在<code>cluster-b</code>中使用<code>import</code>导入hbase

cluster-b中建好相关迁移的表

cluster-a中执行export命令

cluster-b中执行import命令

清理cluster-b的hdfs中临时文件夹/hbase_tmp

网络不通的情况下,可以将数据export到oss中,然后从oss中import

cluster-a中执行export命令导出到oss

清理oss中临时文件夹

将cluster-a中hdfs的表文件distcp拷贝到cluster-b的hbase在hdfs中对应的目录

cluster-a中将hbase的表在hdfs存储文件distcp到cluster-b的hbase在hdfs中对应的目录(hdfs账户)

备注:

<code>/hbase/data/default</code>是e-mapreduce中hbase表在hdfs存储路径,例如表<code>testtable</code> 的存储路径是<code>/hbase/data/default/testhbase</code>, 可以只有单个表的路径,也可以是default下面所有表的路径(即*表示)

cluster-b中执行hbase repair修复(hdfs账户)