天天看點

新型可擴充的資料保護方式——擦除編碼

  在之前存儲系統中,一般都采用RAID技術來對資料進行保護,一旦陣列中某塊硬碟損壞,可通過RAID技術所形成的鏡像來對丢失資料進行恢複。但随着海量資料問題的出現,RAID越來越難發揮其作用。如采用2TB的硬碟作為存儲媒體,某塊硬碟故障,使用鏡像對其進行恢複,大概需要4個小時,而這還是将恢複作為最高優先級的情況下才能實作的資料恢複時間。但在實際情況中是不可能出現的,一般都是将RAID作為較低優先級的,在計算資源閑置的情況下在背景進行的,那麼在這種情況下,RAID重建的時間就會不斷延長,資料恢複長達1-2周也就不算奇怪了。如果在資料重建過程之中,又發生硬碟故障的話,那麼也就意味着資料将永久丢失。因為RAID 5最多能允許陣列中一塊硬碟損壞,RAID 6允許兩塊硬碟同時故障,但在海量資料時代,多塊硬碟同時損壞并非不可能,企業重要資源之一的資料該如何保證其安全呢?

  英特爾在IDF大會期間公布了新的可擴充的資料保護方式——擦除編碼。其工作原理是将存儲系統接收到的大塊資料進行切割并編碼,之後再對切割後的資料進行再次切割并編碼,重複這一操作直到資料切割到滿意的資料塊大小為止,這樣使得資料塊分散成多個資料塊,再進行備援校驗,将不重複的資料塊和編碼寫入存儲系統之中。其與傳統的RAID資料保護如下圖所示:

      

新型可擴充的資料保護方式——擦除編碼

  擦除編碼将資料保護架構由RAID 5/6擴充至RAID k,k等于在不造成資料丢失的情況下,可以介紹的故障數量。對于RAID 5來說,k=1;對于RAID 6來說,k=2;對于擦除編碼來說,k=n,如在16塊硬碟組成的陣列之中,采用擦除編碼機制的話,即使6塊硬碟同時故障,其也可對丢失資料進行恢複.

  由此可以看出,擦除編碼目前主要針對的大資料塊,英特爾也将其應用在其所推薦的大型對象存儲系統之中,經過實際測試,其結果顯示,與傳統的RAID相比,擦除編碼在各個方面都具有無可比拟的優勢,具體結果如下圖所示:

    

新型可擴充的資料保護方式——擦除編碼

    擦除編碼的應用還不僅與此,在關于擦除編碼的技術課程之中,相關的技術工程師還介紹了擦除編碼靈活應用于多個資料中心的情況,具體如下圖所示:

新型可擴充的資料保護方式——擦除編碼

  通常而言,傳統的擦除編碼技術對性能的影響,特别是IOPS和延遲的影響還是比較大的,是以目前适用的場景主要局限在歸檔、雲存儲等冷資料方面;

上一篇: soap入門篇

繼續閱讀