戰"疫”目前,沒有誰會置身事外。從1月底開始,一場全民疫情阻擊戰拉開帷幕,企業停工、學校停課、商場停業,城市街道分外冷清,相反的是,無法出門的數億網民卻在網際網路上掀起了一陣不小的流量熱潮。距離2月10号的那次流量洪峰,已經過去整一個月了。此時的喻義正在組織内部視訊會議,對這一個月以來的工作進行複盤。在他看來:危難面前,更能檢驗技術力量,這是一場前所未有的硬仗,也是一個身為技術人特有的高光時刻。在這場戰“疫”中,有一些故事值得被記錄。
疫情之下 時刻線上
春節假期期間,喻義所在的阿裡雲視訊雲團隊剛剛完成了春晚直播的護航,如果是往年,到了大年初二,他們就可以放下緊張的情緒,将注意力回歸到家庭了。但今年不同,受到疫情影響,1.8億家庭蜂擁網上看賀歲片,4000萬網友線上雲監工火神山,2億人集體在家複工,全國中國小生空中開課……海量視訊資料洶湧而來,在網際網路之上奔流湧動。
喻義從春晚護航開始就一直緊盯CDN資源大盤,眼看着資料節節攀升,作為CDN産品架構和邊緣基礎設施團隊的負責人,他接到任務,将為這次網際網路流量遭遇戰挂帥出征。
對于任何網際網路服務來說,使用者的穩定、流暢、高效地使用都是體驗的基礎。而CDN的任務就是要確定這條“網際網路資訊高速公路”的順暢通行,避免因為擁塞而導緻出行效率的降低。
“說實話當時雖然業務有點緊迫,但是我們還沒有對接下來的流量大爆發有充分的預感,是以前期基本是在複用之前的技術方案,加之每年雙11期間和一場場大活動的經驗積累,我們還是很快就把方案跑通了。”喻義說。

(在家辦公,喻義占用了女兒的小書桌)
然而在2月1日的時候,工程師們就覺得不對了,來勢洶洶的新冠病毒給他們打了一個措手不及。大批線下流量轉移到線上,使用者和線上時長的爆發式增長,也帶來了帶寬需求的井噴。提出擴容需求的客戶越來越多,系統預估在接下來幾周的推流和帶寬業務量将大大超出之前預期的資料。
整個釘釘群裡充斥着這樣的話語:“客戶要加量,下周一要翻10倍,快做方案!”、“這波峰值平穩過了,預測下一波在2小時後”、“用戶端品質資料拉出來了,半小時後拉會拍優化方案”、“這個流的視訊碼率要穩定控制在850Kbps,誰來配合我搞一下?”、“這延遲肯定不行,調不好不能給客戶上線”、“節點水位已經接近安全門檻值了”……喻義的心也跟着懸了起來。
被卷入這場戰役的每個人都不容易。時間緊任務重,這群工程師要在短短幾天時間内要完成資源儲備和排程,調整直播技術方案,做足應急預案,同步還要確定對線上客戶的問題響應和護航,跟他們一起扛住一波又一波的流量高峰。
千錘百煉 “疫”不容辭
為什麼要擴容?當遭遇網絡流量驟增、使用者請求量增長時,平台面臨着下行流量帶寬水漲船高,伺服器壓力變大的問題,站點響應慢、連麥效果變差、音畫不同步、互動不及時等一系列連鎖反應都會出現,線上教育、視訊會議、互動直播等視訊類業務首當其沖。為了確定使用者體驗不受影響,不讓帶寬成為業務增長的阻力,提前“備糧”是不二之選。
比如兄弟團隊釘釘,他們在阿裡雲上緊急擴容1萬台雲伺服器,保障業務的連續穩定。同時也向阿裡雲CDN提出了擴容需求,確定釘釘視訊會議、群直播的使用者流暢體驗。
(圖檔摘自網絡:這個開工季,釘釘視訊會議是常态)
所有人都知道流量一定會增長,但是到底會漲多少,在什麼時間點迎來爆發,誰也不敢下保證。這麼頻繁的擴容和龐大的體量也給了CDN系統帶來了不小的挑戰:
第一,特殊時期依舊要確定傳遞效率
疫情來的太過突然,流量的迅猛增長給系統帶來的沖擊不亞于每年雙11,然而留給所有人準備的時間往往隻有幾天,保持帶寬資源的充足、彈性,在較短時間内為衆多客戶應急擴容是一個很大的挑戰,加之疫情期間封路、封城、施勞工員隔離等各種不可控因素,擴容之路異常艱辛;
第二,平台流量越多,對排程系統的考驗越大
當CDN平台上有越來越多的流量湧入,如何更高效地進行資源規劃,實作全網負載均衡?如何實作精準的流量預測與控制?如何賦予業務必要的彈性?如何智能分析流量畫像,準确判斷和預估出每一路直播的CPU和帶寬消耗,精細粒度的排程資源這些都是難點;
第三,極限場景下的業務穩定性保障
疫情期間存在各種客觀因素制約,直播鍊路涉及到推流、轉碼、錄制、截圖、時移、分發等等環節非常長,怎樣預先避免資源瓶頸這類極限場景?如果出現了,有哪些應急手段可解?怎樣把對客戶的影響降到最小?
第四,重保每一個客戶
疫情期間每一個線上教育和遠端辦公平台背後都承載着一份希望,工程師們遠離客戶現場,很多都是隔離在家,卻依舊要保持對臨時需求變更的迅速響應和高品質傳遞。
“挑戰再大,也不能把為客戶服務的腳步給吓停了。從2014年阿裡雲CDN上線到現在,這種挑戰無時無刻不存在,是以我們的武器(技術)才能被磨的更光更亮,我們還是有信心能打赢這場遭遇戰的。”喻義說道。
首先,在資源部署上,阿裡雲分布CDN全球2800+邊緣節點和130Tbps帶寬儲備,已經具備足夠的彈性容量,團隊也成立疫情支援專項小組,其中專門負責資源管理和建設的同學7*18小時盯盤跟進資源擴容,確定彈性。其次,在排程系統上,阿裡雲智能排程系統可以做到15%業務彈性自動化相容,確定節點水位平穩跑在80%,基于全球LDNS進行畫像和基于分鐘級日志精準分析,以此完成偏差在5%以内的流量精準預測,同時保證排程政策秒級生效。第三,經過了11年雙11和2018年俄羅斯世界杯的打磨之後,CDN對視訊高并發這類業務場景已經比較熟悉,具備一套成熟的解決方案和完整的應急預案。在服務30多萬客戶的過程中,針對點播、直播、HTTPS、大檔案、用戶端、内容安全防護等不同業務類型,系統的技術儲備也比較充足,可以為客戶提供場景化、針對性的加速方案,使得收益最大化。
每次的商業變革都将催化新技術的創新和應用,這次極限拉練也給了阿裡雲視訊雲不少新技術大展身手的機會,幫助線上教育行業解決了低延時、高并發、大帶寬等行業通用難題。其中,超低延時直播RTS(Real-time Streaming)服務在疫情期間支援了大量線上教育平台,在直播推流端、播放端通過SDK嵌入的方式內建阿裡雲私有協定,實作直播延遲降級到百毫秒級;多中心百萬級并發推流解決方案,提供專門應對海量推流場景的全鍊路優化,可助平台更從容應對短時間的并發開課;自适應碼率解決方案采用機器學習手段,通過分析曆史編碼資訊和待編碼幀的複雜度,在不影響人眼主觀觀看品質的情況下,減少低複雜度場景的碼率消耗,確定每一幀都能以最合适的碼率編碼,進而針對線上教育場景降低50%以上碼率,大幅節省帶寬成本。
“過去幾年的護航經驗和專業的技術儲備讓團隊底氣很足,接下來的幾波流量高峰也平穩度過了。看着客戶的直播穩了,CDN大盤穩了,我們才能安穩得睡一覺。”喻義說道。
使命必達 上路即狂奔
過去的1個多月裡,合作多年的線上教育平台不斷加碼、各地教育部門發起的空中課堂頻繁上線、和兄弟團隊的合作緊鑼密鼓,阿裡雲視訊雲不曾停歇。
1月31日起,線上教育群雄四起,CDN和邊緣節點服務開始為各大平台擴容重保,為猿輔導、好未來、VIPKID等數十家平台提供技術支援。
2月3日,特殊開工日,CDN護航了釘釘上1000萬家企業的線上開工,為視訊會議、群直播的順暢通路提供有力保障。
2月3日,阿裡雲視訊雲與保利威聯手搭建“空中課堂”,幫助黃岡中學高三班重回課堂,確定在整個線上直播系統在增長數倍的情況下,依舊能保持高清的畫質和流暢的互動體驗。
2月6日,阿裡雲視訊雲釋出停課不停學線上教育專項扶持計劃,用免費産品套件和千萬補貼基金全方位馳援教育機構和SaaS合作夥伴,通過視訊點播、視訊直播、RTC等産品技術賦能教育客戶更快速、更經濟地搭建多端遠端授課應用。
2月10日,阿裡雲同天喻教育、微吼科技共同建設的武漢教育雲“空中課堂”上線。也是在這一天,全國60萬教師在釘釘直播上課,CDN保障全國5000萬學生“在家上課”低延遲、流量的體驗。
(國家中國小網絡雲平台上線)
2月17日,國家中國小網絡雲平台正式開通。在此之前的7天内,阿裡雲完成了全部CDN資源部署,確定平台網絡帶寬充足和視訊傳輸鍊路的穩定。
2月19日,甯波教育局“甬上雲校”累計浏覽量突破2500萬次,總流量達到1200T,相當于300萬節課已經被浏覽,阿裡雲視訊雲為其提供了多直播中心部署和就近的優質節點接入,為百萬學生的上課體驗保駕護航。
截至目前,停課不停學線上教育專項扶持計劃釋出1個月有餘,已經累計為數千名中小企業提供專項技術扶持和免費産品服務。不止如此,阿裡雲視訊雲也為全民“雲拜年、雲聚餐、雲蹦迪”築起了一道堅實、極速的流量長城,此時此刻,故事還在繼續。
(線上教育專項扶持活動部分免費産品)
暖春花開 未來已來
疫情給國民生命和經濟帶來了打擊,也給大家日常工作和生活都帶來了很多不便。但是客觀環境的改變,卻讓線上教育、線上辦公、互動直播等“線上”業務迎來了意外的發展機遇。未來,零售、金融、政務、醫療……越來越多的行業會将目光瞄準“線上”, 線上化、數字化轉型将會使得作為IT基礎設施的雲計算技術提出更高的要求,而CDN則是線上業務堅守“流暢、穩定、可靠”的最佳防線。
為了做好數字經濟的流量底座,阿裡雲視訊雲不僅在資源和産品服務上加大投入,也聚焦在智能中台、邊緣安全等領域做了不少技術投入:“我們已經建成了從智能運維,實時資料監控、全網動态實施故障感覺到智能自修複的全鍊路智能營運支撐平台,用于提升系統穩定性,確定業務724365可靠。而針對政府網站、金融、企業辦公這類對安全有特殊需求的業務場景,我們也在CDN上納入了邊緣防護能力,支援邊緣WAF、DDoS防護,防CC,防Web應用攻擊、HTTPS傳輸加密,同時面向客戶提供防爬、防篡改、防盜鍊、防劫持等防護手段。CDN也已經通過了等保2.0三級認證,希望能為客戶帶來安全與加速的一站式體驗。”喻義介紹到。
5G 時代,更多線上、視訊類創新應用将會被激活,CDN将從内容分發将演變為價值傳遞,作為承載流量的基礎技術與邊緣計算相結合,成為各行各業提升效率、優化經營、智能應用的強大驅動力。
不知不覺,窗外已經是暖春,城市正在複蘇,喻義心想:“或許CDN的下一個春天也已經在路上。”