天天看點

為資料計算提供強力引擎,阿裡雲檔案存儲HDFS v1.0公測釋出

在2019年3月的北京雲栖峰會上,阿裡雲正式推出全球首個雲原生HDFS存儲服務—檔案存儲HDFS,為資料分析業務在雲上提供可線性擴充的吞吐能力和免運維的快速彈性伸縮能力,降低使用者TCO。阿裡雲檔案存儲HDFS的釋出真正解決了HDFS檔案系統不适應雲上場景的缺陷問題,使用者無須花費精力維護和優化底層存儲。

雲時代,通過借助虛拟化技術,大資料分析的計算架構在雲上逐漸實作了快速部署和彈性伸縮。但是作為資料底座的HDFS檔案系統,它在設計之初并沒有考慮到上雲場景。其資料的擴縮容、故障硬體排除都依賴大量手工運維,是以其服務品質難以保證。在随着其他計算引擎一起彈性部署時,HDFS會成為整個計算架構的短闆,限制了業務的整體彈性伸縮能力,增加了規劃和運維難度。

為資料計算提供強力引擎,阿裡雲檔案存儲HDFS v1.0公測釋出

為響應使用者在雲上使用HDFS的訴求,檔案存儲HDFS應運而生。産品設計方面,得益于檔案存儲HDFS相容标準Hadoop檔案接口,基于HDFS進行開發的分析服務無須進行改造即可直接連接配接檔案存儲HDFS進行資料分析,可作為serverless計算架構的後端資料引擎。使用者無須花費精力維護和優化底層存儲,聚焦在計算和業務本身。

使用者場景方面,檔案存儲HDFS的多租戶和權限控制能力可以有效支撐企業内部多業務資料管理的場景。使用者可以将生産叢集的資料直接寫入檔案存儲HDFS,也可以将存儲在自建HDFS、阿裡雲OSS、檔案存儲NAS中的資料導入到檔案存儲HDFS,再利用Spark/Mapreduce/Flink/Hive/Tensoflow等不同的分析架構對檔案存儲HDFS上的資料進行處理,處理結果可以按需輸出到不同的系統中。廣泛用于實時統計與分析、離線使用者畫像、實時分析、機器學習等業務場景中。

為資料計算提供強力引擎,阿裡雲檔案存儲HDFS v1.0公測釋出

技術能力方面,作為聚焦大資料分析場景的雲存儲産品,檔案存儲HDFS針對計算中最關注的吞吐性能進行了軟硬一體的優化,提供遠超自建HDFS的吞吐能力。在模拟離線分析場景的Terasort測試中,在使用同等數量的CPU和記憶體的情況下,用檔案存儲HDFS替代HDFS可以使整體的分析性能提升一倍。

為資料計算提供強力引擎,阿裡雲檔案存儲HDFS v1.0公測釋出

了解更多關于檔案存儲HDFS的産品資訊和申請公測資格,歡迎通路

https://www.aliyun.com/product/alidfs

繼續閱讀