天天看點

光存儲應對冷資料存儲挑戰

近年來,網絡資料量呈爆炸式增長,然而這些資料很快就會由“熱”變“冷”。以facebook為例,經測試分析,其資料産生24小時内通路的頻率非常高,而此後通路頻率就越來越低,逐漸變為冷資料。facebook自身的資料中心有89%的資料都是冷資料。華中科技大學資訊存儲系統教育部重點實驗室主任謝長生表示,這些冷資料同樣重要,許多大資料分析都要基于冷資料來進行,而且許多資料要求儲存的時間非常長,例如銀行、社保等資料,一般都要儲存70~100年的時間。現在,我們對這些資料重視不夠,往往用很貴的系統來存放這些冷資料,這一局面應該得到改變。

光存儲應對冷資料存儲挑戰

一般而言,資料中心80%以上的資料都是冷資料,現在人們一般将熱資料存在ssd固态硬碟中,将溫資料存在7200轉的硬碟中,而将冷資料存放在低速硬碟上,浪費了大量的能源,成本非常高。那麼,什麼媒體才是存儲冷資料的最佳選擇呢?謝長生對比了幾種常見的存儲媒體。

硬碟的平均壽命為5年,5年後其損壞率就會急速提升。在磁盤陣列中,硬碟損壞的機率很高,硬碟5年要轉移一次資料,對那些需要存放數十年的資料而言,不僅操作繁瑣而且資料也容易丢失。

閃存作為長期儲存媒體也不是很好的方案。第一,其成本高,用于存放海量的冷資料太浪費;第二,閃存是基于電荷來存儲資料的,壽命較短。

錄音帶具有容量大、成本低、能耗低等特點,适合用來存儲冷資料。然而,錄音帶的壽命不長,平均壽命僅為10年,而且放置在潮濕的地方容易發黴損壞。

CD光牒用于存儲冷資料具有很多優勢。它是非接觸的、很可靠、能耗低、成本低、壽命長,其唯一的缺點就是容量較小。

謝長生指出,CD光牒在容量方面最近取得了重大突破,200g容量的藍光CD光牒已經實作了商用。CD光牒的成本非常低,在塑膠上鍍一層膜即可存儲資料,而且能夠很好地防水,平均壽命超過50年。日大學學家曾經做過一次實驗,将CD光牒在海水中浸泡後,仍然能夠正常讀取資料。綜合而言,光存儲是目前最适合存儲冷資料的媒體。

當然,容量小仍是光存儲的一大短闆。為了破解這個難題,一些重量級的公司開發了大容量的CD光牒庫,用于代替錄音帶庫和硬碟來存儲冷資料。facebook通過這種方式,比用硬碟存儲冷資料能耗和成本降低了一半。

我國業界在5年前就已看到了這一趨勢,開展了大量的自主研發工作。華中科技大學資訊存儲系統教育部重點實驗室就與國内廠商積極合作進行了相關開發,将大量的CD光牒虛拟化成一個大的檔案卷,吞吐率通過24個光驅并行讀寫,相關技術在日内瓦發明博覽會上得到金獎。

謝長生介紹說,在理論和功能上,他們推出了一種磁光電融合的技術,大部分由CD光牒組成,也存在着少量的固态盤和普通硬碟,将它們異構融合後虛拟化成一個大容量盤;熱溫冷資料是自動分級的,熱資料存放在固态盤裡,溫資料放在普通硬碟裡,冷資料放在CD光牒裡。該技術最重要的應用場景就是資料中心。

目前我國在該領域的研究處于世界領先水準。謝長生指出,資料中心的冷存儲是一個日益重要的問題,資料中心中80%都是冷資料,光存儲是冷資料存儲未來的方向,近年來光存儲取得了重大突破,光存儲将在資料中心廣泛替代錄音帶庫,超大容量CD光牒庫也已經成熟,将進入規模部署階段。

本文轉自d1net(轉載)