天天看點

一種高成本效益的資料上雲方案

肯定有不少人想把本地檔案友善快捷地上傳到OSS吧?如果是這樣,那麼這個方案或許對你有用。

現實生活中,存在這樣的需求:

1.上傳檔案到OSS

2.上傳時像寫本地檔案一樣友善

3.不占用本地存儲

4.不需要從本地回讀檔案

雖然我們可以使用ossutil這樣的工具來将檔案上傳至OSS,但這種“二傳手”式的上傳方式,不但需要本地臨時提供存儲空間,還多了一道中間過程。我們可以利用混合雲存儲網關,來實作一種高成本效益的資料上雲方案。之是以說“高成本效益”,是因為這種方案僅需要最低配的雲存儲網關和最小的緩存盤即可,同時不需要占用本地的存儲空間。

大家都知道,利用混合雲存儲網關提供的檔案共享協定,本地應用可以無縫地通路雲上OSS的存儲空間,就像通路本地存儲一樣便捷。但是,混合雲存儲網關使用中,一個比較明顯的問題就是,當檔案數量很多時,存放在緩存盤中的檔案的中繼資料會變得非常大,進而造成本地緩存盤容量不足的情況。這時,擴盤或者提升網關配置,都會增加使用成本。上述需求中的第四點“不需要從本地回讀檔案”是我們節省成本的一個突破口。因為不需要從本地回讀檔案,我們可以根據需要,及時地從本地删除以前的檔案,充分利用網關提供的“忽略删除”的特性,在節省本地資源消耗的同時,還不會删除已經上傳的檔案。

之前我曾經寫過一篇文章介紹混合雲存儲網關的“忽略删除”這個特性(

https://developer.aliyun.com/article/743091

),當時隻是從確定檔案安全性的角度考慮這個功能的重要性。後來發現,如果我們不在乎檔案是否存在網關中,隻要保證已經上雲了,那麼我們就可以在開啟“忽略删除”的同時,及時删除本地檔案,這樣就能保證用最低配的網關和最小的緩存盤,實作了友善快捷的檔案上雲操作。