天天看點

極速同步:網關間多點協同實作資料共享最佳實踐背景網關協同場景一網關協同場景二小結

背景

網關網關提供了從OSS到NAS協定轉換,依托于OSS的穩定性和經濟性,降低了使用者的使用成本,又具備了傳統NAS的易用性和POSIX相容性,可以與使用者的已有應用無縫對接,滿足了中小企業客戶的需求。随着企業規模的增大,使用者的分支機構也增多,多地共享資料的需求也逐漸凸顯。雲存儲網關上線一年多的時間裡,不斷的在收集使用者的需求,推出新的功能,解決使用者的痛點。今天我們就來看一下網關是如何解決多地共享資料這個難題的。

網關協同場景一

如果使用者使用同一個區域的線上網關共享資料,并且在不同網關間進行負載均衡。如下圖,就是一個典型的同區域的多網關高效共享Bucket資料的拓撲圖。

極速同步:網關間多點協同實作資料共享最佳實踐背景網關協同場景一網關協同場景二小結

線上網關在同一個VPC内,或者通過雲企業網打通,通過VPC endpoint高速通路OSS,可以将檔案快速上傳至OSS。這裡的難點是如何将其他網關的上傳檔案資訊推送給其他網關,讓每個網關在最短的時間内可以看到相同的共享資料的視圖。極速同步功能為共享的Bucket建立OSS事件通知規則,并建立對應的MNS消息主題和消息隊列,當網關有檔案上傳到OSS時,OSS會比對事件通知規則,将該檔案的變更資訊以MNS消息的方式投遞到MNS消息主題,消息主題會分發消息給訂閱的各個消息隊列,同步組的每個共享監聽和接收對應的消息隊列的消息。共享解析擷取到的消息,再從OSS上擷取對應對象的完整中繼資料資訊,實作了增量的同步更新。由于MNS也在同一個區域内,網關可以通過MNS VPC endpoint接收消息,時延很小。在批量上傳的場景下,網關可以多路并發接收消息,每秒可以處理上千個OSS通知消息,實作高效極速同步。

極速同步:網關間多點協同實作資料共享最佳實踐背景網關協同場景一網關協同場景二小結

網關協同場景二

在更加複雜的協同辦公環境下,檔案網關還有可能部署線上下機房,通過專線或者公網通路OSS,如果考慮到多地跨區域共享的話,異地的檔案網關隻能通過廣域網發起通路,拓撲圖如下:

極速同步:網關間多點協同實作資料共享最佳實踐背景網關協同場景一網關協同場景二小結

如果線下機房有專線連接配接阿裡雲,隻要配置好OSS endpoint,就能在同一個VPC内高速通路OSS;如果線下機房隻能公網通路阿裡雲,配置網關共享的時候隻能選擇公網OSS endpoint作為通路點。同樣的,跨地域的網關想要通路OSS,建立共享的時候需要勾選跨域選項,這時候選擇OSS所在區域的公網endpoint。由于公網複雜多變,有時延高,帶寬受限,網絡抖動等諸多限制,如果要共享Bucket中的資料,用掃描Bucket對象的方式去同步中繼資料,是相當低效的。極速同步功能的推出,将共享從公網定期掃描雲上對象的泥潭中解放出來,用增量的方式去及時擷取雲上資料的變化,無懼Bucket中有海量資料的事實,輕松在秒級擷取最新的中繼資料。實驗資料表明,線上下或者跨域公網通路MNS消息隊列時,并發處理OSS事件消息的數量可以達到百級,除了初始的全量掃描之外,避免了後續全量掃描檔案的開銷,滿足了大部分廣域網協同共享資料的需求,具體的拓撲圖如下:

極速同步:網關間多點協同實作資料共享最佳實踐背景網關協同場景一網關協同場景二小結

小結

本文分别從同VPC多網關共享資料和線下/跨域網關通過公網共享資料這兩個典型的場景分析了全量掃描同步中繼資料的挑戰以及利用雲存儲網關的極速同步功能如何有效解決這個問題,極速同步讓多網關間秒級同步共享,高效協同成為現實。