原創 淘系音視訊技術 淘系技術 2020-11-27
相信大家對網絡直播已經不再陌生了。2016年被稱為直播元年，基礎技術逐漸成熟，引出千播大戰。在紅海下，純粹的直播逐漸失去競争力，不少企業開始走内容垂直化，跟秀場、遊戲、電商、廣電等内容特點深度結合。其中内容垂直化最為成功的，莫過于電商直播。據一些行業調查報告，2020年中國電商直播市場規模接近萬億元，年增長超過100%，增長勢頭強勁。2020年S1疫情爆發，電商為病毒隔離貢獻巨大，同時疫情也為電商直播購物按下了加速鍵。
電商直播中，多媒體傳輸網絡處于關鍵位置，承載着内容中台的基座。
淘系電商内容體系架構圖
電商體系中，内容中台為主要增長引擎。2020年淘寶雙十一GMV達到4982億，淘寶直播帶寬峰值比去年增長超過1倍。直播玩法、使用者體驗、系統穩定性都比去年大幅提升，GRTN（Global Realtime Transport Network）新一代多媒體傳輸網絡為雙十一的增長保駕護航，整個雙十一期間，系統如絲般順滑。
GRTN新一代多媒體傳輸網絡架構
多媒體傳輸網絡，是不是就是CDN？答案當然是否定的，CDN隻是傳輸網絡的一部分。多媒體傳輸網絡包括内容生産、編解碼、内容分發、觀看體驗、宏觀控制。GRTN是一套從生産到消費，從功能到管控的完整的系統。
▐ 内容生産：讓直播更好玩
淘寶直播走到現在已經5個年頭，主播的能力有了很大提高，我們的權益互動也做了很多創新，今年我們更注重直播的内容，我們希望主播在直播賣貨的同時，也能産生很多很有趣的内容，讓大家買買買的同時，保持好心情。是以我們重點做了直播遊戲互動玩法，使得直播在賣貨的同時也能更加有趣好玩。
内容生産流内互動的系統主要分為3個部分：功能強大的素材玩法編輯器、靈活通用的腳本編輯器、跨平台渲染計算引擎。編輯器是内容生産的使用者界面，提供各種素材、玩法的編輯能力。然而，有時簡單的素材和玩法不能滿足需求，需要用一套腳本來控制素材和玩法的運作，為了降低腳本開發難度，腳本必須靈活通用。最後所有的素材、玩法要在流裡面展現出來，必須依靠渲染計算引擎。
▐ 編解碼：成本更低，體驗更好
S265是直播成本極佳的編解碼方案
帶寬是直播營運中最大的成本，根據前瞻網估算算全行業2020年的CDN費用支出将超過300億元，在2025年接近1000億規模（
https://bg.qianzhan.com/trends/detail/506/200715-ec767b9b.html），在保證視訊品質的前提下降低帶寬是成本控制中至關重要的一環。
相機采集到的視訊數字信号通常是yuv格式，每個像素點需要1.5個Byte來表示，以720p 25fps為例，帶寬有263.67Mbps，直播1小時總流量有124.4GB，如有100萬人觀看這場直播，CDN費用高達1.58億。好在視訊圖像内部幀與幀之間存在非常高的相關性，采用視訊壓縮技術去除相關性後，可以将帶寬降低到原來的1/100-1/400；
視訊壓縮标準主要有ISO（國際标準組織）制定的MPEG系列和ITU（國際電信聯盟）主導的H.26X系列，2003年兩大組織組成聯合專家組（JVT），共同制定了AVC(H.264)編碼标準，2013年JVT釋出了HEVC(H.265)标準，HEVC 作為比AVC更新一代的視訊壓縮标準，相同畫質下可以節省一半碼率.
S265是基于H.265标準實作的軟編碼器，具有高壓縮、高效率、适應場景廣三大特點，對比業界開源的X265可節約20%以上的碼率且編碼速度提升100%-600%；目前已在淘寶直播、優酷視訊、阿裡雲MTS、VMate、釘釘會議等業務中上線使用；
S265的優化思路包含兩個方面，一方面從碼率控制、編碼工具兩個方向優化編碼品質，另一方面從快速算法及工程優化兩方面優化編碼速度，下表可以看到，S265相比X265和X264都有更高的碼率優勢或速度優勢；
S265 JCTVC class B~F sequence
| Ali265 VS X265(RC=ABR) | Ali265 VS X264(RC=ABR) | |||
| 速度檔次 | BitSaving@ Same quality | SpeedRatio@ same bitrate | Same quality | |
| Veryfast | -20.2% | 210% | -40.7% | 55% |
| Medium | -18% | 396% | -42.3% | 66% |
| veryslow | -21.5% | 620% | -50.4% | 62% |
下面是一個demo視訊，左邊是S265的壓縮結果，右邊是X265的壓縮結果。可以看到，同等碼率下S265的地面瓷磚的紋理及水紋更清晰。
左邊S265，右邊X265
從另一個角度看，相同品質下，S265的碼率可以大幅節省，進而降低帶寬成本。下圖左側是X264的壓縮2400kbps，右側是S265 1200kbps的結果，碼率相差一倍，S265的品質還更好。
過去一年，淘寶直播的線上規模增加超過一倍，而CDN的帶寬成本幾乎未增加，這還是在FY20相比FY19已經降低一倍的前提下發生，S265起到了至關重要的作用。
S265降低成本前提下不降體驗
雖然S265大幅降低了直播成本，但體驗并未降低。
在清晰度方面，淘寶直播S265 在720p分辨率下的平均推流碼率在 800kbs以下，但大盤監控的平均psnr大于42db。在今年雙十一還上線了1080p高清直播，滿足使用者極緻高清的需求。
在流量控制方面，S265支援秒級碼率調控，可以讓GRTN流量排程在1秒内完成對大盤流量的控制，實作CDN流量的全面掌控；
在編碼延時方面，S265實作了低延時壓縮模式，相比X265 Medium模式降低了70%的編碼延，且編碼品質幾乎不損失。
最後，伴随着碼率降低，網絡傳輸的壓力也相應下降，使用者體驗的卡頓率和秒開名額都有顯著提升，過去一年淘寶直播的卡頓vv下降了25%，秒開率絕對值提升了1%，跟碼率下降有直接的關系。
▐ 内容分發：二網合一的傳輸系統
在流媒體領域，提到直播技術，往往會想到RTMP、HTTP-FLV、QUIC-FLV、SRT，隻有提到連麥、通話、視訊會議，才會想到RTC(webrtc)。如今淘寶直播架構整體更新，一改往日印象，将直播全鍊路跑在了RTC之上，實作了直播網和通信網的融合，完成了二網合一。
統一架構後，實時音視訊通話和直播兩大業務，使用統一套代碼，一套運維體系，減少維護成本。同時，淘寶直播針對業務特點，對融合網絡架構進行了深度定制，自研了适合直播業務的擁塞控制算法和網絡傳輸政策。針對 WebRTC 中網絡傳輸的核心，淘寶直播對擁塞控制算法的探索層層深入。從基于特定網絡場景的深度定制優化，到系統性的參數探測優化，再到基于神經網絡的擁塞控制算法相關的前沿探索，深度定制的優化落地，使得推流端卡頓總體下降 40% ，延遲也下降了 12%，主播推流更加平滑穩定；前沿探索的學術結果，也已經兩次由網絡方向國際頂級會議 MobiCom 接收和發表。
低延遲傳輸是一個綜合性問題，對于直播來說要兼顧成本，體驗，延遲，需要用戶端，伺服器配合，基于線上資料不斷疊代。相關控制算法從webrtc完整子產品化剝離和重構，性能是webrtc原來實作的2倍以上，針對直播大的I幀場景深度定制優化，同時兼顧秒開和延遲，追求最大吞吐率。在網絡小範圍抖動情況下不受影響，最大支援20%丢包和500ms内的抖動。相對于去年同期名額，卡頓率降低79%，卡頓VV降低44%，秒開率提升32%，延遲和首幀到達時間降低100多ms。
淘寶直播與其他直播應用對比
通過用秒表内容推流，拍攝推流和播放内容的方式，測得端到端延時，手淘基本在2秒以下，而行業内大部分直播軟體還是FLV技術，延時通常在5秒以上。通過嚴格的AB測試證明，端到端延時降低，對促進GMV有正面效果。網絡好時，對比卡頓沒有意義，大家卡頓率都為0，是以通過網損儀增加30%丢包、100ms延時測試，卡頓情況就不一樣了，由于RTC有擁塞控制、網絡抗丢包政策，30%丢包完全無卡頓，而FLV直播則有較高的卡頓率。
後續會繼續在統一的直播通信網上優化，不斷提高淘寶直播的使用者體驗，敬請期待。
▐ 觀看體驗：真實還原現場
阿裡集團CTO程立分享了他購買古琴的經曆，買古琴不能通過正常的圖文描述來分辨古琴的好壞，賣家将程立引導到直播間，通過主播講解，在直播間聽聲音來分辨古琴好壞。買到琴後發現琴的聲音跟直播間裡聽到的完全一樣，CTO對淘寶樂器直播間的音質大加贊賞，這種所見即所得的感覺是直播最大的優勢。
“讓畫面更清晰，讓聲音更真實”，是淘寶直播的極緻追求。淘寶直播通過自研3A、智能降噪、高音質模式、窄帶高清等技術，克服生産裝置、觀看裝置及網絡條件多樣性适配困難，為主播提供低成本直播方案，為觀衆打造高清音視訊體驗。
音樂直播間高保真體驗：
電商直播中，講解聲音的清晰度直接影響溝通效率，是以要盡量屏蔽幹擾聲音，降噪能力至關重要，淘寶直播團隊在智能降噪上深入研究，在技術上創新，比傳統技術降噪能力更強，降噪後聲音可懂度更高。
降噪前原始語音：
通過AliDenoise智能降噪後的語音：
在畫質上，淘寶直播團隊通過去抖、降噪、超分等技術，實作畫質增強。并且借助S265編碼器高壓縮率的優勢，我們以業界720p的碼率實作了1080P分辨率的高清直播。
左邊720P，右邊1080P
▐ 宏觀控制：大象也能跳舞
無論怎麼設計，系統的複雜度都會逐漸增加，變成一頭臃腫的大象。一般的系統，牽一發而動全身，平時已不敢随意變動，更何況大促等關鍵時刻。然而淘寶直播今年打造了宏觀控制系統，讓這頭大象靈活起來，資料系統如同大象的眼鏡、智能政策系統如同大象的大腦、任務執行系統如同大象的四肢，而業務政策配置系統如同馴獸師手裡的指揮棍。
宏觀控制系統将複雜系統閉環，使得整個系統能觀能控，增強了系統的魯棒性。宏觀控制系統的輸入是目前主播的編碼碼率和直播效果等；基于blink搭建的多資料源自糾錯的實時資料平台作為檢測環節将目前的線上主播數、線上觀衆數、CDN帶寬、以及預測的接下來一段時間内的各個資料清洗統計後輸入至決策系統；決策系統融合了限峰政策、時間政策和大主播政策等多種政策，結合資料平台的回報資料作出最優決策後通知執行子產品進行調控；基于集團多元消息群發中間件MASS與長連通道ACCS實作的執行子產品會實時調控主播的編碼碼率、觀衆觀看的清晰度等，實作提高帶寬使用率、提高使用者體驗、降低成本、確定穩定的目的;用戶端編碼器支援實時動态調整編碼碼率和智能碼控檔位，支援幀級實時調控，碼率調控秒級生效。宏觀控制系統讓資源管控更加彈性，在我們無法準确預見未來時，申請資源以及準備資源是一個大難題，有了宏觀控制系統情況後，不用為資源預估不準而犯愁，宏觀控制系統可以根據實時資料進行預測并且彈性地調整人均消耗的資源。
宏觀控制對帶寬調整的效果
在今年雙十一期間，宏觀控制系統通過上下調整碼率等政策，實作了人均消耗帶寬在平時的0.5倍~1.5倍之間浮動。再也不用因為線上人數偏低而浪費帶寬，也不用因為線上人數偏高而導緻部分使用者被限流，值班同學可以安心地邊吃零食邊看直播了。
内容生産通過AI等技術，産生更有趣的直播内容，然後通過高效率的S265壓縮算法編碼，得到較低的音視訊碼率，在然後通過去中心化的RTC網絡分發到各個觀衆，最後通過高品質的觀看體驗，真實還原現場，整個系統需要宏觀控制帶寬、品質，需要有一個系統從大局控制。今年淘寶直播全方位更新換代，整個系統内容比較多，接下來将會對這一些列技術展開描述，後續文章請大家持續關注哦~
>>>[點選閱讀原文檢視視訊及音頻]