天天看點

阿裡雲檔案存儲CPFS更新版本釋出

檔案存儲CPFS (Cloud Parallel File Storage),是阿裡雲完全托管、可擴充的并行檔案存儲系統。針對高性能計算場景的性能要求進行了深度優化,提供對資料毫秒級的通路和高聚合IO吞吐、高IOPS的資料讀寫請求,可以用于AI深度訓練、自動駕駛、基因計算、EDA仿真、石油勘探,氣象分析,機器學習,大資料分析以及影視渲染等業務場景中。

檔案存儲CPFS本次更新版本針對性能和功能進行了全面優化:

百GB/s的吞吐能力

  • 檔案存儲采用條帶化技術,單個檔案跨節點和存儲系統分布,提高并發通路性能。資料塊的大小可自定義,64K, 128K,256K, 512K, 1M,2M,4M,8M,16M,基于塊大小選擇的可變子塊大小(subblock size),改善許多小文或大檔案工作負載的性能。
  • 智能預取機制,通過對檔案通路模式的預測來進行預取,降低讀寫延遲
  • 本地隻讀緩存(LROC):擴充page pool記憶體,包括本地DAS/SSD支援讀緩存,基于政策引擎壓縮,壓縮有意義的資料并擴充至緩存
  • 分布式的塊級鎖管理,包括檔案和目錄兩個級别,允許最大程度的并發通路;分布式中繼資料伺服器,避免中繼資料處理成為系統瓶頸;分布式閃存加速中繼資料,中繼資料包括目錄, inodes, indirect blocks
  • 支援用戶端資料緩存,不同節點可以根據需要設定不同的緩存大小
  • 支援RDMA協定,大幅降低的節點間軟體路徑延遲

靈活的彈性擴充能力

  • 一鍵式擴容,擴充整個存儲系統容量後自動對資料進行均衡
  • 吞吐随着容量線性增長,最大可以擴充到數百GB/s
  • IOPS随着容量線性增長,最大可以擴充到數百萬IOPS
  • 可支援數千規模叢集的計算節點并發通路
  • 單檔案系統可以支援PB級的容量和10億級的檔案數量

混合雲架構

  • 支援CPFS公共雲和CPFS混合雲存儲線上線下資料打通,線下CPFS混合雲存儲在不滿足突發業務增量的時候,可以将業務burst上雲。

詳細資訊請參考

CPFS産品文檔

繼續閱讀