天天看點

阿裡雲釋出國内首個混合雲大資料雙活容災服務

在6月上旬舉行的雲栖大會上海峰會上,阿裡雲釋出了國内首個混合雲大資料叢集雙活容災産品-混合雲容災服務下的大資料容災服務(HDR for Big Data,簡稱 HDR-BD),并已經在7月份開始邀測。采用業界領先的資料雙向實時複制技術,HDR-BD可以實作Hadoop叢集雙活和準0 RPO容災,為大資料災備制定了全新的标準。

常見Hadoop災備技術的挑戰

目前比較常見的Hadoop叢集災備方式是用distcp将資料定期複制到一個備用叢集做容災用途,或者将資料複制到隻讀叢集、二級存儲作為備份。這些方案都有明顯弱點:

  1. RPO大:distcp 的原理決定了期資料複制不能是實時的,使用者必須承受小時到天級的RPO
  2. RTO長:主站當機後,将隻讀叢集或二級存儲中的資料恢複出來會占用大量時間,而拉起standby叢集重新啟動業務依然是一個耗時的操作
  3. 資源浪費:災備叢集平時處于備用狀态,不能用于運作業務

    以上這些問題長期困擾着Hadoop叢集的使用者和管理者們,大資料叢集的災備領域亟需一種全新的技術來徹底解決目前的困境。HDR- BD此次帶來的雙向實時複制技術可以在兩個Hadoop叢集之間建立雙活架構,RPO接近0;RTO因為資料随時可讀寫而極大壓縮;雙活架構可以讓兩個叢集運作不同的應用,避免資源浪費。這些特性将Hadoop災備标準提高到了一個全新的高度,為Hadoop使用者帶來了極高的價值。

HDR-BD的使用場景

阿裡雲釋出國内首個混合雲大資料雙活容災服務

在自建資料中心和阿裡雲之間部署HDR-BD伺服器配對,使用者就可以将自建Hadoop叢集與阿裡雲無縫內建,充分利用阿裡雲EMR和OSS建立極為高效的Hadoop災備、遷移系統。HDR-BD可以滿足的核心場景包括:

  1. 近0 RPO Hadoop雲容災

    将自建Hadoop叢集的資料實時複制到阿裡雲EMR叢集,實作接近0 RPO的Hadoop叢集容災。

  2. Hadoop叢集與阿裡雲EMR叢集雙活

    在自建Hadoop叢集和阿裡雲EMR叢集之間建立資料雙向複制。兩個叢集共享一份資料,但是運作不同的應用,實作叢集雙活,達到資源的最大化利用。

  3. Hadoop資料實時備份,遷移上雲

    雲上HDR-BD伺服器可以直連至阿裡雲對象存儲OSS。在無需EMR叢集的情況下,HDR for Big Data可以将Hadoop資料實時複制到阿裡雲OSS,實作接近0 RPO的雲備份;同時這個機制也可以作為Hadoop資料遷移上雲的理想方案。利用這個機制做Hadoop叢集遷移上雲,在遷移過程中無需啟動EMR叢集;同時遷移過程無需複雜定制化腳本開發或者複雜的業務停機規劃。

HDR-BD的優勢

  1. 極低RPO:資料的實時複制決定了每一個寫操作都會實時複制到配對叢集,RPO幾乎為0
  2. 極高資源使用率:資料雙向複制確定兩個叢集共享一份資料但運作不同應用,不會出現一個叢集必須處于隻讀或備用狀态的問題,計算資源可以充分利用
  3. 運維複雜度極低: HDR-BD實作了資料的全自動實時雙向複制,無需特定複制時間視窗,也無需擔心對業務的影響

阿裡雲此次推出的Hadoop雙活容災方案HDR-BD引入了業界領先的大資料雙向複制技術,結合強大的公共雲基礎設施,可以滿足極高要求的大資料災備場景,為企業Hadoop叢集資料保護提供了全新的選擇。該服務現已開始邀測,您可以發郵件至[email protected] , 列明您的姓名,公司名稱,聯系方式,大資料災備要求,Hadoop叢集版本和資料量,阿裡雲将在稽核後聯系您安排方案評估和測試。