天天看點

思考,基于高密度閃存的存儲系統未來到底是一個什麼樣子?

近幾年分布式存儲架構受到主流關注,因為其解決了磁盤的存儲容量、存儲性能、存儲擴充等問題。但是閃存媒體通過其幾何式發展,讓基于分布式存儲的優勢逐漸減弱。試想一下,一個1u的全閃存陣列輕輕松松達到就實作千萬iops,實作pb級容量,想選擇分布式存儲、還是全閃存陣列?使用者的選擇就多了一些。

每年的flash memory summit都是閃存領域的一次盛會,期間都會有諸多新的閃存技術及産品亮相大會,而中國企業在閃存産品的研發和推廣也成為一個主要玩家。而作為其中的參與者北京華雲網際科技有限公司(以下簡稱華雲網際)受邀亮相flash memory summit 2017,華雲網際總裁遊峰以及華雲網際cto王勁凱等多位高管在現場與來自全球的客戶、合作夥伴及媒體分享華雲網際的領先技術,以及即将開源的華雲網際afa核心子產品flashtarget。

近日至頂網記者采訪了華雲網際cto王勁凱,他介紹了flash memory summit 2017上受關注的閃存技術和趨勢。以及華雲網際如何看待全閃存陣列的技術走勢。

flash memory summit2017上,受關注的包括高密度閃存存儲的加速推進。persistent memory的發展以及scaleflux的影響。就像文章開頭的思考?王勁凱認為與中國市場更關注分布式存儲,北美市場已經關注全閃存陣列的趨勢。我們看到分布式存儲主要解決的一個問題就是資料量比較大的問題,分布式能夠比較有效的解決資料量大的問題。但是現在看到nand密度越來越高,1u裝置能做到的容量更高,三星和英特爾都出了大容量的ssd産品,依照nand存儲密度提升速度,未來pb級的資料可以通過一個陣列實作。這也讓華雲網際思考,基于閃存的存儲系統未來到底是一個什麼樣子?

華雲網際于2013年成立,成立之初就開始思考閃存的發展這個問題,也提出以軟體為核心,閃存優先的政策。

随着閃存傳輸速度、容量、性能的大幅度提升。如果采用傳統陣列的分布式存儲系統已經很難充分發揮閃存的優勢。對于未來全閃存陣列的發展,華雲網際cto王勁凱談到,首先要架構上要跟對方向。當下全閃存陣列主流的架構是x86,而基于asic及fpga的全閃存陣列已經非常少見,當下包括pure storage在内都是x86,這與華雲網際的研發方向相同。華雲網際全閃存陣列主要的硬體架構如下圖:

思考,基于高密度閃存的存儲系統未來到底是一個什麼樣子?

上面兩個交換機,保障系統高可用,下側是兩個控制器連jbof。(全閃存陣列和分布式存儲最大的差別在于是否使用了雙端口硬碟,分布式存儲中如果一個節點當機,重構時間非常長,整個系統的性能會出現大幅下滑,而全閃存陣列使用雙端口硬碟,控制器故障後,仍有鍊路可以通路硬碟,不會造成特别高的性能下降。)

王勁凱認為未來以太網連接配接一切的趨勢比較明顯,是以跳過fc到達nvme over fabrics,主要是以太網為主。fc是一個比較古老的技術,比較封閉的生态,當下主流仍為16g,其發展速度沒有以太網快,包括fc在内的網絡廠商基本都在向以太網轉型。将來nvme over fabrics的主要方向将是以太網。

通過這些新的創新,華雲網際全自主研發的軟體定義架構flashtarget,通過kernel-bypass的方式繞過系統對硬體進行管理通過,支援spdk的nvme驅動,借助這些技術,flashtarget可以極限挖掘閃存性能潛力,将存儲系統性能提升到了前所未有的新高度。

為了讓上層應用全面的感受到閃存的性能優勢,華雲網際對整個系統軟體堆棧做了徹底的簡化,對于軟體堆棧的極緻壓縮,最直接的效果就是系統延遲大幅降低,在flashtarget支援下,結合華雲網際實測資料,target端的延遲可以降到1微秒(傳統存儲陣列這一層需要上百微秒),而pcie ssd這樣的存儲媒體延遲同樣在數十微秒量級。

值得一提的是,華雲網際與英特爾合作非常深入,是intel storage builders和intel cloud builders的成員,上述測試主要通過英特爾ssd來實作。英特爾作為閃存的主要技術推動者,華雲網際和英特爾有很多合作,包括英特爾最新的傲騰ssd,華雲網際在測試過程中發現,其性能穩定性等方面都表現非常好,也是現在華雲網際主要選擇原因。

思考,基于高密度閃存的存儲系統未來到底是一個什麼樣子?

從整個鍊路上看,flashtarget已經将系統的延遲性能逼近極限。基于sas标準的擴充櫃延遲處于毫秒級,為了将鍊路的延遲降到最低,華雲網際基于nvme over fabrics技術設計了全新架構的閃存機櫃,擴充機櫃通過50gb/s roce與控制器相連,裝配flashtarget™的控制器負責nvme over fabrics和nvme(over pcie)之間的轉換。直接結果是通路基于flashtarget™的機櫃僅增加一位數微秒的延遲(3微秒),即便是在數百萬iops和幾個gb/s的吞吐量的情況下也是如此。

閃存時代軟raid趨勢

磁盤時代,硬raid方案盛行,其中lsi的raid卡是硬raid代表,但是raid卡都是使用pcie接口的,當下高速ssd也是用pcie 接口,很明顯raid必然成為瓶頸。華雲網際flashtarget通過糾删碼、快照/重複資料删除、遠端拷貝/鏡像等全閃存核心技術來實作閃存時代軟raid。

未來flashtarget将實作開源

現在看所有的存儲方案都需要解決釋放閃存性能的問題,閃存要進入下一個時代,就必須有一個高效的軟體與之比對,王勁凱認為當下并沒有開源的軟體做這件事,一定程度上這一問題會成閃存普及的障礙。flashtarget是afa核心軟體部分,未來會開源。華雲網際将借此推動閃存生态發展,未來flashtarget開源後華雲網際也将有更多的機會。

是以我們看到,未來基于x86的開源架構,基于軟體定義的存儲系統,加上基于大容量的高密度閃存媒體,新的全閃存陣列将會成為資料存儲管理的選擇之一。

原文釋出時間為:2017年8月25日

本文作者:任新勃 

本文來自雲栖社群合作夥伴至頂網,了解相關資訊可以關注至頂網。