天天看點

這三種分布式存儲檔案系統你造嗎?

随着雲計算在全球範圍内的高速發展,谷歌、亞馬遜等企業的崛起,特别是"網際網路+"深入融合背景下的業務雲化需求,傳統企業在資料中心建設中被動地徘徊在傳統存儲陣列與分布式存儲兩種體系存儲架構之間。這兩種存儲結構并沒有絕對的優劣之分,而大資料的繁盛讓分布式存儲架構近幾年中獲得了前所未有的關注。

這三種分布式存儲檔案系統你造嗎?

傳統存儲于分布式系統

傳統san以高度的可靠性、穩定性和功能豐富性,在應用實踐中獲得了廣泛認可。随着資料量不斷增加,企業對于資料存儲可擴充性提出要求,分布式存儲系統逐漸成為擴充性強、價格低廉的選擇。

考量分布式存儲的關鍵技術主要包括:全局名字空間、緩存一緻性、安全性、可用性和可擴充性。從資料形态來劃分,主要有:結構化資料、非機構化資料和半結構化資料。

gfs、afs和lustre成為主流的三種分布式存儲檔案系統。其中,gfs(google file system)被稱為谷歌檔案系統,其性能、可擴充性、可靠性和可用性都收到了肯定,主要部件包括一個master和n個chunkserver,和chunk server(資料塊伺服器)同時可以被多個客戶client通路。

這三種分布式存儲檔案系統你造嗎?

gfs架構

不同于傳統的檔案系統,gfs不再将組建錯誤當成異常,而是将其看做一種常見情況予以處理。對待檔案的大小一直是檔案系統要考慮的問題,對于任何一種檔案系統,成千上萬的幾kb的系統,總會壓死記憶體,是以,對于大型的檔案, 管理要高效,對于小型檔案也要支援,但是并沒有進行優化。

在gfs中chunk server大小被固定為64mb,這樣的塊規模比一般的檔案系統的塊規模要大得多,可以減少中繼資料metadata開銷,減少master的互動,但太大的塊規模也會産生内部碎片,或者同一個chunk中存在多個小檔案可能産生通路熱點。

gfs主要運作在大量運作linux系統的普通機器上,進而降低了其硬體成本。但一系列備援備份、快速恢複等技術保證其正常和高效運作,gfs也是實作非結構化資料的主要技術和檔案系統。

afs是andrew file system的簡稱。afs将檔案系統的可擴充性放在了設計和實踐的首要位置,是以afs擁有過很好的擴充性,能夠輕松支援數百個節點,甚至數千個節點的分布式環境。afs由卡内基美隆大學最初設計開發,目前已經相當成熟,用于研究和部分大型網絡之上。

這三種分布式存儲檔案系統你造嗎?

afs概況

afs主要組建包括:cells、afs clients、基本存儲單元volumes、afs servers和volume replication。afs實作的是子產品化的,并不要求在每台伺服器上運作所有伺服器程序。afs擁有良好可擴充性,用戶端華村能夠帶來性能的提升和可用性的提高、afs的缺點在于管理者界面友好性不足,需要更多的專業知識來支援afs。

<b>第2頁:lustre平行分布式檔案系統</b>

lustre是hp,intel,cluster file system公司聯合美國能源部開發的linux叢集并行檔案系統,名稱來源于linux和clusters。同時lustre也是一個遵循gpl許可協定的開源軟體,lustre也被稱為平行分布式檔案系統,常用于大型計算機叢集和超級電腦中。

這三種分布式存儲檔案系統你造嗎?

lustre架構圖

lustre的主要組建包括:中繼資料伺服器(metadataservers, mdss)、對象存儲伺服器(objectstorage servers, osss)和用戶端。其中mdss提供中繼資料服務,mgs管理伺服器提供lustre檔案系統配置資訊,oss對象存儲伺服器expose塊裝置提供資料。

lustre檔案系統針對大檔案讀寫進行了優化,能夠提高性能的io能力;在源資料獨立存儲、服務和網絡失效的快速恢複、基于意圖的分布式鎖管理和系統可快速配置方面優異。

來源:51cto