HBase使用者福利
新使用者9.9元即可使用6個月雲資料庫HBase，更有低至1元包年的入門規格供廣大HBase愛好者學習研究，更多内容
請參考連結BDS定位
BDS針對開源HBase目前存在的同步遷移痛點，自主研發的一套資料遷移的平台，用于HBase叢集的無縫遷移、主備容災、異地多活、線上離線業務分離、HBase資料歸檔、對接RDS實時增量資料等等。目的在于幫助阿裡雲上客戶解決自建HBase、EMR HBase、Apsara HBase的資料導入導出，進而友善雲上客戶圍繞HBase建構高可用、靈活的業務系統
使用場景
BDS在雲上目前主要有以下幾個使用場景
- 新舊叢集無縫遷移
- 線上離線業務分離
- 主備容災
- RDS實時資料同步到HBase、Phoenix
使用範圍
- HBase大版本更新， 1.x 更新 2.x
- 叢集配置更新
- 叢集網絡的切換，經典切換VPC
- 異地跨機房遷移
- 業務拆分
業務流程
業務架構
通過BDS，将線上業務資料實時同步到離線叢集，結合Spark、MR等大資料元件進行離線的資料分析，進而不影響線上業務的查詢
通過BDS在主備叢集之間實作實時資料的雙向同步，當主叢集出現問題，可以切換到備叢集，盡可能減少對業務産生的影響，當主叢集服務恢複之後，通過BDS同步服務補齊主叢集遺漏的資料
通過BDS将RDS資料實時同步到HBase叢集
- 結合Spark、MR等大資料元件進行離線的資料分析，進而不影響線上業務的查詢
- 利用HBase支援動态列的功能，将mysql中多張表建構成一張HBase的大寬表，避免在RDS中進行join查詢
- 做RDS的曆史庫
BDS優勢
- 功能性
- 支援跨版本的資料遷移和同步，HBase <-> HBase、Phoenix <-> Phoenix
- 對于同構資料源遷移，支援同步建表語句，保證分區一緻
- 支援異構資料源的實時資料同步，RDS -> HBase、Phoenix
- 遷移同步對業務方無感覺
- 不停服資料遷移，同時搞定曆史資料遷移、實時增量資料的同步
- 對業務端應用代碼無侵入
- 遷移同步對業務影響小
- 遷移過程中基本不會和叢集的HBase互動，隻讀寫叢集的HDFS
- 可以動态調整遷移的速度和并發讀
- 正确性
- 保證資料遷移的不丢失
- 資料的抽樣校驗
- 穩定性
- 有完善的failover機制，能夠自動處理常見的錯誤
- 實時系統監控，友善定位上下遊的問題
- 報警機制，對于一些需要人為介入的異常進行報警
- 錯誤重試支援斷點續傳
- 高效性
- 單個節點遷移速度可達到100MB/s，節點數支援水準擴充，能夠滿足支援TB、PB級别的資料遷移
總結
BDS已經在阿裡雲上線了，友善雲上的客戶在自建HBase、EMR HBase、Apsara HBase之間進行資料的遷移和實時資料同步。
在雲上已經服務40多個客戶，幫助客戶實作叢集之間的無縫遷移，叢集的升配，主備容災，資料遷移同步規模達到400多T（單副本）。
雲上有遷移需求的客戶，可以檢視
《BDS服務介紹》，或者聯系側田
對BDS實作原理及方案比較感興趣的朋友，可以檢視
《BDS-HBase資料同步方案的設計與實踐》