天天看點

五個問答,告訴你阿裡雲對象存儲如何助力釘釘戰勝業務洪峰

“基于OSS在彈性擴容、跨省容災、多租戶管理以及傳輸加速方面的基礎能力,釘釘在此次戰役過程中,實作了一鍵切換寫入區域,拆分業務到多個區域的功能,同時釘釘在跨區域的圖檔處理、文檔預覽的并發處理量上有了10倍速的提升。”——釘釘進階技術專家 金喜

大多時候,我們都無法從青萍之末,預測到暴風驟雨的到來,就如我們無法從一個病毒身上預測到整個疫情的到來一樣。在新冠肺炎疫情這隻灰犀牛在全球狂奔的當下,諸多線下業務受到了影響。為了積極迎接此次疫情的挑戰,政府組織、企業、院校等紛紛開啟了線上辦公,視訊會議、線上教育以及基于網際網路的資料分析已然成為當下最重要的剛需。僅以釘釘為例,目前已經有1000萬家企業組織、2億上班族在釘釘平台上協同工作。

在這樣如此巨大的業務流量和資料增量的壓力下,釘釘積極應對,借助阿裡雲對象存儲(以下簡稱“OSS”)成功實作了存儲的快速擴容,保障了業務連續性,同時解決了多租戶之間的資料隔離問題。我們将通過以下5個問題,向大家詳解解讀。

問題1.:為什麼是OSS?

答: 更适合網際網路業務的存儲産品。

作為一個線上協同平台,釘釘在直播,釘盤,圖檔處理等方面需要使用到雲存儲。而作為在最初就将存儲看作為一種服務的對象存儲,在應對網際網路資料存儲的規模化、高增長方面可謂開創了一個全新的、具有劃時代意義的解決方案。對象存儲的興起從被傳統存儲産品所忽視的網際網路資料存儲為切入點的對象存儲是面向網際網路、移動網際網路(3G、4G、5G)而産生的,是為大量使用的網頁、視訊、圖檔、音頻、文檔通路等場景而設計的。在技術上,對象存儲采用基于網際網路的 HTTP/HTTPS 的 S3(Simple Storage Service)/OSS(Object Storage Service) 通路接口,其本質是通過網際網路(或移動網際網路)通路網絡内容,為應用提供了全局、全網共享的資料池化管理,非常适合做為短視訊、圖檔、音樂等網際網路應用的底層平台。現在,對象存儲已經擁有了面向海量資料存儲、快速通路的能力,不但可以建構資料統一分析平台,還可以發揮資料挖掘的價值,讓存儲更智能。

進一步了解阿裡雲對象存儲(OSS)

在各行各業不斷擁抱網際網路的當下,基礎設施的雲化需要一套新的技術體系,需要基于網際網路技術來進行改造。在企業組織數字化轉型的當下,在産業網際網路蓬勃發展的當下,需要更加适合網際網路場景的技術更新方案。從成立的第一天開始,阿裡雲就具有了獨特的網際網路基因,通過不斷應對網際網路時代的諸多挑戰,進而在今天建構起來數字經濟時代的底層範式和技術脈絡。

問題2:存儲作為一個有狀态的産品,如何在已有海量資料的同時,快速擴容來保障釘釘的業務需求?

答: Region(地域)級資源快速排程能力。

通過将單個對象分離為 meta、data 兩部分,并且将二者分離存儲,OSS 實作了 Region 級别的快速資源排程能力。在使用者有突發的帶寬、Qps 需求而舊資料所在叢集又無法滿足時,可以按字首、或按比例将一個桶的新寫入資料在一個 Region 内不同叢集,甚至不同AZ(可用區)間排程,進而快速滿足使用者的需求。

Meta、data 分離是否會影響使用者的 ListObject 操作的效率,或者導緻無法保證 ListObject 的強一緻呢?答案是不會,OSS 會保證單個桶的對象的 meta 都集中在一個叢集,進而保證 ListObject 的高性能和強一緻。同時使用者也不用擔心單叢集無法滿足海量對象的 meta 存儲需求,OSS 高效的 KV 索引層保證了 meta 處理能力的水位擴充能力(實際生産中已經有了單桶超過了1萬億對象)。

Region 級資源排程要解決的另一個問題是使用者的通路模式問題。新寫入可以快速在 Region 級排程,但是使用者的通路有多少會跟随到新的叢集,取決于使用者的通路模式,通路新舊資料的比例特性。OSS 具有在叢集、AZ(可用區)間細粒度遷移舊資料的能力(使用者無任何感覺),但是在存量資料量非常大的情況下,搬遷的耗時會比較久,這樣可能就無法快速實作對使用者讀取帶寬的排程。這時候就輪到OSS的營運大腦 OSSBrain 出馬了,多元度的使用者畫像能力可以快速判斷使用者的通路特性,預測出有多少的讀取會跟随寫入的調整而變化,進而更好的實作資源排程。比如,戰疫期間釘釘某業務需要快速支援數倍的通路帶寬,通過 OSSBrain 分析,該業務讀取的資料90%以上是30分鐘以内寫入的資料。根據該特性,OSS通過快速将新寫入拆分到多個叢集滿足了該業務的帶寬需求。

問題3:對于基礎設施來說,災備能力至關重要,釘釘如何基于OSS的容災能力快速搭建跨越四省的容災系統,如何保證業務的連續運作?

答:基于OSS 的跨區域複制和鏡像回源實作Region級容災。

基于 OSS 的跨區域複制功能,使用者可以快速搭建具備Region級容災能力的雲存儲服務。下圖是一個基于OSS搭建的三資料中心示例。使用者在主資料中心寫入,使用OSS的跨區域複制功能将資料持續同步到備資料中心。配合OSS的鏡像回源功能,3個資料中心都可以支援讀取操作。當然,在實際部署中需要對架構做适當的調整,保證不對對象做覆寫操作,或者可以接受對象的最終一緻。

五個問答,告訴你阿裡雲對象存儲如何助力釘釘戰勝業務洪峰

戰疫期間,由于資源需求大漲,釘釘共使用了OSS 張家口、深圳、上海、成都四個區域的服務,保證了任意一個區域故障其他區域仍然可以承接全部的業務需求。

問題4: 作為一個天生共享型的雲服務,OSS在服務釘釘的同時也服務着國内衆多的遊戲、直播、教育類客戶,戰疫期間衆多客戶的資源需求都有大幅上漲,如何保證讓衆多使用者在共享OSS海量資源池的同時不互相影響?

答:持續線上的租戶隔離能力。

OSS天生是一個共享型的服務,數十萬的客戶共享OSS的海量資源池,做好租戶之間的資源隔離就顯得尤為重要。得益于OSS持續線上的帶寬、Qps、CPU的QoS能力,戰疫期間直播、教育類客戶暴漲的通路壓力未造成任何一起互相影響的線上問題。下圖是某個大帶寬客戶的讀取帶寬監控圖,從圖中可以看出OSS持續将客戶的帶寬控制在了約定的帶寬值。

五個問答,告訴你阿裡雲對象存儲如何助力釘釘戰勝業務洪峰

問題5: 在疫情期間,各企業多地辦公甚至跨洋辦公成為日常,那麼釘釘是如何保證文檔的快速分享與預覽的?

答:OSS的傳輸加速功能。

OSS傳輸加速功能是OSS利用全球分布的雲機房,将全球各地使用者對釘釘的存儲空間(Bucket)的通路,經過智能路由解析至就近的接入點,使用優化後的網絡及協定,來通路Bucket進而實作加速的目的。

五個問答,告訴你阿裡雲對象存儲如何助力釘釘戰勝業務洪峰

OSS傳輸加速的對于釘釘在上傳、下載下傳檔案都可以起到加速的效果,特别是對于上傳大檔案(GB、TB)檔案,這種加速方式是首選。

正是基于以上五點,OSS在戰役期間,為包括釘釘在内的衆多使用者提供了穩定、安全的基礎設施服務。以雲計算為代表的數字化服務在此次疫情中發揮了重要作用。随着産業網際網路、5G、AI時代的到來,以釘釘為代表的線上協同辦公将駛入發展的快車道,這是行業發展的必然趨勢。不久之後,當疫情退去,釘釘們依然會成為企業高效協同運作的助推器,而雲計算,将成為這個助推器的重要燃料。

繼續閱讀