CIO關注:重複資料删除技術避免存儲黑洞

 企業資訊系統選型寶典存儲備份漫長的等待時間，和瞬間海量資料的增長，對于cio來說都是一個痛苦的過程。他們眼看着寶貴的存儲資源在慢慢被耗盡，又束手無策。資料備份和恢複，是保證企業資訊安全的必由之路，但如何有效地利用存儲資源，進而緩解存儲壓力，重複資料删除技術給cio們提供了一個不錯的選擇。

機遇 opportunity

gartner認為，在未來18個月内，重複資料删除技術(datade-duplication)将扮演重要的角色，以幫助企業得以自如地控制日益堆積如山的資料，以達到企業對資料進行存儲、保護和監管的目的。重複資料删除技術的英文原文是datade-duplication，其實更為準确的表達應該是删除資料的副本。它是資料壓縮的一種形式，以前在企業之中并沒有得到廣泛應用，而現在尤其是在歐美等it應用更為深入的企業之中，重複資料删除技術已經成為存儲領域中的一個關鍵工具。

在衆多it供應商所提供的産品中，重複資料删除技術已經演變成企業的存儲管理平台。現在，它已做好準備，在資料安全和備份恢複方面變換方式，進而改變企業傳統的存儲管理方法。這項技術是以一個功能性的硬體和軟體為基礎的存儲管理平台。

據gartner的調查資料顯示，重複資料删除技術在全球性企業的資料備份市場中占據了10%的份額。在未來的5年内，有75%的企業希望它能夠與現有資料存儲系統整合。gartner分析師davidrussell說：“在我與存儲打交道的18年中，重複資料删除技術是我見過的增長最快的技術。”企業為了保護資料必須定期執行資料備份，雖然磁盤備份快速吃掉了存儲空間，但企業也絕不會是以而減少備份的次數。

通過增加備份周期以換取存儲空間隻是個舍本逐末的作法。事實上，不隻是資料備份，每個企業都希望儲存自身營運的曆史記錄，藉此作為企業決策分析的依據。基于企業的不同業務資料類型和備份模式，企業在備份過程中，通常會儲存大量的不需要的備援的資料，重複資料删除可以删除這部分備援的資料，進而大幅度降低企業資料存儲和備份對存儲空間的需求。在未來，資料累積的速度絕對是不斷提高的。

對于解決上述問題而言，重複資料删除是目前看來最為行之有效的手段。以重複性最高的資料備份來說，如果每個備份檔的差異隻有30%，也就是說有 70%的空間白白浪費掉。反言之，使用技術手段解決的話，使用者就能憑空多出70%的存儲空間，這無疑是使用者樂于見到的情形。備份技術專家建議，任何擁有大量資料的企業都應該應用、或者至少嘗試一下重複資料删除。

這項技術背後的強勁推動力就在于，企業取得對不斷增長的資料存儲需求的控制權。這項技術在幫助企業減輕硬體投資的同時，還能實作備份功能。另外它還有助于部署更多的靈活性災難恢複政策，而且在成本預算上是企業可以負擔得起的。在早期采納該技術的使用者，隻是從公司節約成本的角度來考慮的。

在 rust咨詢公司的it部門員工，有一個共同的感受，當他們嘗試處理如同洪水般的資料需求時，管理者感覺就像被釘在了牆上，隻能坐以待斃。系統分析師 timholtan說，“備份視窗”(完成一次給定備份所需的時間)，常常會變成it的黑洞。它們通常會持續很長的時間并且狼吞虎咽般地侵蝕大量的資料，而且缺乏正确的備份。在低效的災難備份面前，資料恢複常常需要超過24小時。holton很想在備份過程中占據主導，而不是隻有選擇去等待，他希望提升資料重建的效率，希望能将他的時間效率從10%提升到75%。

在幾近絕望和缺少可行性辦法的時候，rust公司轉而采用重複資料删除技術，“我們感覺到我們自己的手又能自由活動了。”holtan說，“我們在3年裡業務增長了40%，突然間我們躍上了一個新台階，有些事情需要快速地轉變。”

去年，rust采用了quantum的dxi5500 磁盤備份和複制應用，其中就有重複資料删除技術，從多方面來提升資料的使用效率和災難恢複時間。盡管rust的重複資料删除技術還處在起步階段，但是，公司已經減少了近90%的磁盤占用空間，資料備份時間也下降了30個小時，他們還使用錄音帶對資料進行長期儲存。holtan認為，重複資料删除就像一件聽起來不錯的東西，但是事實上它比你想象的還要好。

keithmattox是一家地闆制造商的進階人員。他所在的公司是symantec(veritas)的netbackup長期客戶，但是他們日益感覺到資料存儲帶來的重負。他們備份資料花費的時間已經達到了36個小時。shaw開始使用veritasnetbackuppuredisk重複資料删除軟體，并且看到備份的時間下降了整整一天，小于13小時。

“我不認為我們是被迫這樣來做的，但是情況聽起來不錯，我們值得試試。”mattox說：“我們在性能反應時間上看到了非常明顯的提升，很明顯，這是一款非常強大的産品。

政策 strategy

面對一些企業迅速更新存儲的要求，重複資料删除技術是目前惟一可行的替代辦法，可用以替代一些昂貴的硬體投資，如正常錄音帶庫等。虛拟錄音帶庫通過建立重複資料删除功能，可以将壓縮比率提升到10：1，針對一些檔案和檔案，該技術的資料壓縮方式更為多樣化，檔案和email平台将提供兩到三倍的資料壓縮。多個供應商提供了越來越多的重複資料删除産品，為it經理提供了應對複雜技術和昂貴産品的替代品。

magnum半導體公司要設計一款特殊的音頻和視訊晶片，是以設計者們提出了一些獨特的資料要求，而這些要求，對于it部門管理人員來說，意味着該公司将增加一倍的資料量——未來兩三年内，現有的20tb資料量将翻番。單單依賴低功率的錄音帶備份系統，公司已經無法做到完全的備份了。

2007年年底，johnwunder作為it主管進入到公司董事會時，就遇到如何降低“備份視窗”的挑戰。

他們在quatrio驅動陣列上使用了diligent公司的重複資料删除引擎以及quantumi500錄音帶庫，magnum公司所建構的新的存儲解決方案隻花費了70萬美元。這項新方案使得公司每個月隻需要添置120盤錄音帶就夠了。在使用了重複資料删除技術後的兩個月内，magnum公司的資料壓縮比達到10：1，而在大多數的音頻、視訊檔案上的壓縮比是3：1，并且能支援24小時全部完成資料備份過程。

一項整合虛拟化和重複資料删除的技術，允許virginia信用卡聯盟的cio—— christophersaneda更快地滿足公司日益增長的需求。當這個聯盟中的一個客戶告訴他，他們需要100個虛拟的windowsxp平台為一家遠端分支機構做教育訓練課程時，saneda隻能選擇接受客戶這樣的請求，但是他并不知道他從哪裡找到額外的2tb存儲空間來存放這些需求。

答案來自networkappliance公司的a-sis重複資料删除軟體，它們幫助信用卡聯盟做到了，虛拟裝置可以在存儲方面降低80%的需求。saneda說，“21世紀的資料中心就是虛拟的資料中心，但是如果相關聯的資料、備份和恢複無法滿足要求時，虛拟化将是空頭支票。”

實施 implementation

在duanemorris法律事務所中，過去幾年随着業務的上升，存儲的需求也不斷上升。在2006年，這家公司的資料需求達到了135tb，他們開始尋找正常的存儲平台之外的存儲方式。ciojohnsroka也希望能增加基于錄音帶的備份方式，用以提升企業的災難恢複平台。

“我們的确沒有考慮重複資料删除技術。”sroka說，“我們尋找一種有效地轉移資料從a點到b點的方式，它要能保證資料的完整性。” sroka一開始是為avamar公司工作的，那是一家早期的開發重複資料删除技術的公司，在2006年被emc收購。duanemorris在 philadelphia總部使用avamar的axion備份和恢複平台，這家公司在基于檔案的資料集合中獲得了大約10：1的資料壓縮比率，允許它完成每晚恢複該公司在chicago災難恢複中心的任務。

sroka甚至希望能夠每個小時都進行備份，“它的确可以支援我們的災難恢複能力。”他說，“檔案是法律公司的命脈所在，如果這裡一旦出現什麼災難，我們當然需要盡我們最快的速度及時進行文檔的恢複。我真的不太看重投資回報率，尤其是面對不可預知的災難時，備份是一個值得擁有的保險政策。

來源：51cto