天天看點

【分布式存儲資料恢複】hbase和hive資料庫底層檔案誤删的恢複

作者:北亞資料恢複中心

分布式存儲資料恢複環境:

16台實體伺服器,每台實體伺服器上有數台虛拟機;

虛拟機上配置分布式,上層部署hbase資料庫和hive資料庫。

【分布式存儲資料恢複】hbase和hive資料庫底層檔案誤删的恢複

北亞資料恢複——hbase資料恢複

分布式存儲故障&分析:

誤删除資料庫底層檔案,資料庫不能使用。需要恢複hbase和hive資料庫。

通過現場對使用者環境的檢測,資料恢複工程師發現虛拟機還可以正常啟動,虛拟機上的資料庫塊檔案丢失。塊檔案丢失之後沒有新的資料寫入操作,底層的資料損壞可能性比較小。

分布式存儲資料恢複過程:

1、備份。

對實體伺服器底層做備份。通過網絡直接備份虛拟機底層磁盤檔案。

準備一台伺服器,以隻讀方式挂載所有伺服器硬碟,使用磁盤備份工具進行扇區級别的備份。

2、分析塊檔案結構。

分析每個虛拟機磁盤的塊檔案&檔案底層的聚合方式&每個磁盤中資料的分布情況。

【分布式存儲資料恢複】hbase和hive資料庫底層檔案誤删的恢複

北亞資料恢複——hbase資料恢複

3、分析Block檔案key。

定位&提取并解析資料庫檔案中key資訊,整合資料庫檔案key資訊。

4、拼接Block檔案。

根據Block檔案的key資訊提取檔案片段,拼接提取出來的Block檔案片段并校驗拼接出來的Block檔案的正确性。

5、導入Block檔案。

校驗提取出的Block檔案完整性及正确性并把提取出來的Block檔案導入到hbase和hive資料庫中。

6、驗證資料。

在北亞資料恢複工程師的協助下,由使用者對恢複出來的資料進行驗證。如果發現問題,重新檢驗上述所有過程。

北亞資料恢複服務:

1、整個過程不會對原盤進行任何寫入操作。

2、盡可能保證操作可逆,確定人力可控範圍内操作可回溯。

3、提供後期資料保管和服務跟蹤。

4、所有操作都是在有備份的情況下進行,若不成功不影響其他方案。

【分布式存儲資料恢複】hbase和hive資料庫底層檔案誤删的恢複

北亞資料恢複——hbase資料恢複

繼續閱讀