天天看點

E-MapReduce的HBase叢集間遷移

hbase叢集

hdfs

cluster-a

hdfs:/a

cluster-b

hdfs:/b

cluster-a叢集資料遷移到cluster-b

将<code>cluster-a</code>中hbase表<code>export</code>到<code>cluster-b</code>的hdfs中,然後在<code>cluster-b</code>中使用<code>import</code>導入hbase

cluster-b中建好相關遷移的表

cluster-a中執行export指令

cluster-b中執行import指令

清理cluster-b的hdfs中臨時檔案夾/hbase_tmp

網絡不通的情況下,可以将資料export到oss中,然後從oss中import

cluster-a中執行export指令導出到oss

清理oss中臨時檔案夾

将cluster-a中hdfs的表檔案distcp拷貝到cluster-b的hbase在hdfs中對應的目錄

cluster-a中将hbase的表在hdfs存儲檔案distcp到cluster-b的hbase在hdfs中對應的目錄(hdfs賬戶)

備注:

<code>/hbase/data/default</code>是e-mapreduce中hbase表在hdfs存儲路徑,例如表<code>testtable</code> 的存儲路徑是<code>/hbase/data/default/testhbase</code>, 可以隻有單個表的路徑,也可以是default下面所有表的路徑(即*表示)

cluster-b中執行hbase repair修複(hdfs賬戶)