天天看點

HDFS 進化,Hadoop 即将擁抱對象存儲?

hortonworks在部落格中提出了一個全新的hadoop對象存儲環境——ozone,能将hdfs從檔案系統擴充成更加複雜的企業級存儲層。

hadoop社群的一些成員今日提議為hadoop增加一個新的對象存儲環境,這樣一來hadoop就能以與亞馬遜s3、微軟azure以及openstack swift等雲存儲服務一樣的方式去存儲資料。

hadoop發行商hortonworks本周二在官網發博文指 出,随着越來越多的企業采用apache hadoop,hadoop已經成了各種企業資料的“資料湖”(data lake),其中很多适合大資料分析應用的資料類型非常适合采用hdfs,但是在某些行業應用案例中hdfs又難以勝任,這就需要擴充hadoop的存儲 次元。例如,對象存儲或key-value存儲具備hadoop hdfs的可靠性、一緻性和可用性,但對文法、api和可擴充性的要求不同,hadoop的存儲系統需要向多面手進化,以适應新的存儲應用需求。

HDFS 進化,Hadoop 即将擁抱對象存儲?

hortonworks在部落格中提出了一個全新的hadoop對象存儲環境——ozone,能将hdfs從檔案系統擴充成更加複雜的企業級存儲層。 (編者按:雖然hadoop已經支援第三方對象資料存儲,例如亞馬遜s3雲和資料中心裡的openstack swift,但是hadoop原生的對象存儲功能對于希望将hadoop作為未來應用存儲層的開發者來說依然非常有價值。)

過去,hdfs架構将中繼資料管理與資料存儲層分離成兩個互相獨立的層。檔案資料存儲在包含有上千個存儲伺服器(節點)的存儲層,而中繼資料存儲在檔案 中繼資料層——一個數量相對少些的伺服器群(名稱節點)。hdfs這種分離方式使得應用直接從存儲磁盤讀寫資料時能夠獲得很高的吞吐量擴充空間。

HDFS 進化,Hadoop 即将擁抱對象存儲?

ozone使得hdfs塊存儲層能夠進一步支援非檔案性質的系統資料,而hdfs的檔案塊架構也将能夠支援存儲鍵值和對象。與hdfs的名稱空間元 資料類似,ozone的中繼資料系統也基于塊存儲層,但是ozone的中繼資料将被動态配置設定,支援大量的bucket space。(上圖)

hortonworks認為hdfs将自然進化成一個完整的企業大資料存儲系統,而ozone也将以apache項目(hdfs-7240)的方式開源。

hortonworks給ozone規劃了以下幾個目标:

可擴充支援數以萬億的資料對象。

廣泛支援各種對象大小,從幾kb到幾十兆。

保證不低于hdfs的可靠性、一緻性和可用性。

基于hdfs的資料塊層。

提供基于rest的api來通路和操作資料。

為擷取更高的可用性,能支援資料中心間的資料複制。