檔案存儲CPFS (Cloud Parallel File Storage),是阿裡雲完全托管、可擴充的并行檔案存儲系統。針對高性能計算場景的性能要求進行了深度優化,提供對資料毫秒級的通路和高聚合IO吞吐、高IOPS的資料讀寫請求,可以用于AI深度訓練、自動駕駛、基因計算、EDA仿真、石油勘探,氣象分析,機器學習,大資料分析以及影視渲染等業務場景中。
檔案存儲CPFS本次更新版本針對性能和功能進行了全面優化:
百GB/s的吞吐能力
- 檔案存儲采用條帶化技術,單個檔案跨節點和存儲系統分布,提高并發通路性能。資料塊的大小可自定義,64K, 128K,256K, 512K, 1M,2M,4M,8M,16M,基于塊大小選擇的可變子塊大小(subblock size),改善許多小文或大檔案工作負載的性能。
- 智能預取機制,通過對檔案通路模式的預測來進行預取,降低讀寫延遲
- 本地隻讀緩存(LROC):擴充page pool記憶體,包括本地DAS/SSD支援讀緩存,基于政策引擎壓縮,壓縮有意義的資料并擴充至緩存
- 分布式的塊級鎖管理,包括檔案和目錄兩個級别,允許最大程度的并發通路;分布式中繼資料伺服器,避免中繼資料處理成為系統瓶頸;分布式閃存加速中繼資料,中繼資料包括目錄, inodes, indirect blocks
- 支援用戶端資料緩存,不同節點可以根據需要設定不同的緩存大小
- 支援RDMA協定,大幅降低的節點間軟體路徑延遲
靈活的彈性擴充能力
- 一鍵式擴容,擴充整個存儲系統容量後自動對資料進行均衡
- 吞吐随着容量線性增長,最大可以擴充到數百GB/s
- IOPS随着容量線性增長,最大可以擴充到數百萬IOPS
- 可支援數千規模叢集的計算節點并發通路
- 單檔案系統可以支援PB級的容量和10億級的檔案數量
混合雲架構
- 支援CPFS公共雲和CPFS混合雲存儲線上線下資料打通,線下CPFS混合雲存儲在不滿足突發業務增量的時候,可以将業務burst上雲。
詳細資訊請參考
CPFS産品文檔