前言
目前5G新基建正在邁入起航階段，5G相比目前廣泛使用的4G，它具有更高的速率，更大的容量，同時延遲更低，可靠性更高。在5G時代，視訊得益于網絡帶寬的提升，未來将成為主流的傳播媒介。越來越多的業務和應用将視訊化，直播化。大量互動的内容将通過5G以低延時的方式以視訊的形式傳輸。
5G将對視訊分辨率和清晰度提出越來越高的要求。淘寶作為一個數億級使用者的短視訊與直播平台，業務多樣，兩端使用者分布廣，裝置和網絡情況複雜，給多媒體内容存儲和分發帶來巨大挑戰。在内容生産過程中把控好品質和成本，在内容分發和消費過程中確定使用者體驗，是目前面臨的主要問題。為了解決這個問題，我們有兩個優化目标，一是在畫質不變的前提下降碼率，二是在碼率不變的前提下提升畫面品質。
淘寶直播高清低延時系統架構
在降碼率上，我們自研高效編碼器，更新播放架構，添加智能ROI，場景編碼，智能碼控等工具，有效地降低了視訊碼率帶寬。在這些技術中，高效的編碼器能夠在品質不變的前提下顯著降低碼率；場景編碼能夠根據不同的畫面内容配置合适的編碼參數；ROI挑出畫面中人眼比較關注的區域交給編碼器重點編碼；智能碼控根據人眼主觀特性，消除因為超過人眼門檻值而浪費的碼字。
在畫質上，我們使用前處理增強，去噪，超分高動态範圍等算法提高生産内容的觀感品質；在體驗優化上，通過低延時編碼技術，在降低了編碼延遲的同時損失很小的碼率，增加觀衆和主播的體驗。
圍繞着提高問題發現、問題處理效率的出發點，具備資料采集、存儲、異常事件收集、智能告警、告警資料營運、可編碼診斷平台、故障自動化處理、變更關聯等能力。我們搭建了一套基于淘寶直播的全鍊路監控體系，從音頻，視訊，網絡這三個方面入手去解決目前淘寶直播全鍊路的現有問題以及将來可能出現的問題。不斷去優化整套高畫質低延時系統。
與此同時，我們建立了客觀品質和主觀品質評價體系，采用vmaf，psnr，ssim這一系列的名額作為客觀品質評價。針對海量無源場景，我們還基于cnn建立了無源評價模型，保證無源場景下品質評價的準确性。以這些有效的評價手段來確定“畫質不變”，并監控線上視訊品質。
端上窄帶高清
▐ S265編碼器
帶寬成本是視訊服務中非常重的基礎設施成本，如何在保證視訊品質的前提下降低成本是整個鍊路中至關重要的一環。相機采集到的視訊數字信号，資料帶寬通常都非常高，以720p 25fps為例，帶寬高達263.67Mbps，很難存儲和發送。好在視訊圖像内部，幀與幀之間存在非常高的相關性，采用壓縮技術去除相關性後，可以将帶寬降低到原來的100-400倍。視訊壓縮标準主要由ISO（國際标準組織）制定的MPEG系列和ITU（國際電信聯盟）主導的H.26X系列，每隔十年時間，視訊壓縮标準更新帶來的壓縮率會提升一倍。
h265作為比h264更新一代的視訊壓縮标準，提供了更靈活的編碼結構和劃分方式，并在在運動補償、運動矢量預測、幀内預測、變換、去塊濾波、熵編碼等方面進行了大量改進與優化，得益于這些新的編碼工具和特色技術，相同畫質下最高可以比H.264節省一半碼率，為了在不犧牲畫質的前提下節省碼率，h265成為我們首選的編碼标準。
Ali265是淘寶自研的高性能H.265編碼器，對比業界開源的X265可實作BDrate20%以上的增益，對比X264則有40%以上的增益。目前已在淘寶直播，優酷視訊，阿裡郎會議，VMate，UC雲盤等業務中上線使用。
Ali265 JCTVC class B~F sequence
淘寶直播技術團隊聯合阿裡雲團隊開發了s265編碼器，對比業界常用的開源軟體X265，1pass單遍編碼在相同psnr名額下:
- veryslow速度檔次有28%碼率節省。
- medium速度檔次有36%碼率節省。
- crf模式與abr模式節約的碼率接近。
S265編碼從碼率控制，編碼工具兩個方向優化編碼品質，并從快速算法，工程算法兩方面引入速度優化算法。
碼率控制
為了進一步提高壓縮品質，在編碼器架構标準一定的情況下，編碼器算法優化主要的方向是找到政策選擇出最優的編碼方法和編碼參數，進而獲得更好的碼率節約。合理配置設定碼率是編碼器的一個重要工作，碼率控制的目标是把碼字配置設定到更有價值的地方，進而在目标碼率下使得編碼失真降到最低，或者在失真固定的前提下使碼率降到最低。碼控需要解決兩個經典問題，一是幀級碼控和塊級碼控根據目标碼率來配置設定每個GOP、幀、編碼塊的碼字數量，二是塊内編碼時以最合理的方式把這些碼字配置設定到每個編碼塊中。
在幀級别碼控中，傳統方法統計所有已編碼幀的長期複雜度，根據長期複雜度及目前碼率之間的比例計算出QP，這樣一來，QP對幀複雜度越來越不敏感，導緻編碼品質下降或碼率過剩。特别是在計算首幀qp時，以往算法采用了一個隻和目前碼率有關的經驗值。我們基于cutree理論準确估計預分析長度中ipb幀的碼率占比和預期編碼大小，進而在編碼前獲得更準确的量化系數。
塊級碼控配置設定則受時域cutree和空域AQ影響。在時域上IBP幀的重要性是明顯不同的，被後續幀參考的塊，不僅影響自已本身的品質，還會影響到後續幀的品質，是以被參考更多的塊需要進行高品質編碼。cutree算法根據幀内預測代價和幀間預測代價計算資訊的傳遞比例，算出目前塊對後續序列的影響程度，進而調整qp偏移。但考慮到在不同的噪聲能量，運動強度，紋理邊緣強度，以及編碼參數下，不同參考塊的調節為後續幀的節約比例是不一樣的， 是以s265通過參數訓練的方法，獲得多個因素對傳遞效率的影響，得到一個更準确的資訊傳遞比遞，進而更合理地在時域上配置設定碼率。
cutree傳遞過程
另一方面，空域上各塊之間的重要程度也是不一樣的。人眼是視訊的最終觀察者，從人類視覺系統出發，不同的塊在人眼中的視覺備援不相同，比如人眼存在視覺掩蔽效果，它對顯著紋理和強邊緣附近的噪聲不敏感，将碼率更多配置設定向人眼敏感的平坦區域，可以得到更好的主觀品質。在編碼器中，我們通過計算塊的方差能量及邊緣能量作為塊的代價，研究不同塊能量和人眼感覺程度之間的關系，估計出塊間碼率配分對人眼注意力的影響，合理配置設定碼率到更重要的紋理塊，提高視訊感覺編碼效率。
編碼工具
在編碼工具上，S265對傳統的場景切換檢測，幀類型決策，SAO，DEBLOCK，兩遍編碼，RDOQ等編碼工具算法做了改進，并實作一批編碼工具。
比如在參考幀子產品，有較多的工具可以提高參考效率。首先長期參考幀和廣義B幀等幀類型可以提高預測品質，長期參考幀針對背景很少發生變化的直播場景，它有效減少資訊經過多幀傳遞帶來的損失，引用長期參考幀可将平均EV提高大概0.25dB。而傳統P幀改為廣義b幀，采用雙向預測取代單向預測進而降低噪聲，光照變化，采樣誤差等預測殘差源。
在擴充了幀類型後，我們基于參考強度做IBP幀幀類型決策。然後在minigop内部，我們使用金字塔結構的參考關系，得到比傳統結構獲得更短的參考距離。最後，在管理和選擇參考幀時，我們考慮到靜止塊和運動塊的差別，靜止塊傾向于參考品質高的幀，運動塊傾向于參考時間近的幀，是以針對場景篩選出這兩種類型的參考幀能得到更好的參考品質。
速度優化
HEVC編碼器帶來了編碼效率的提升，但很多新的編碼工具都存在計算複雜度過高的問題。是以，優化編碼器速度，在高端機上能打開更多的編碼工具，搜尋更大的編碼模式空間。進一步提升編碼品質。在低端機上則能降低CPU發燙和編碼卡頓的現象。
HEVC可以将圖像塊從64x64劃分到4x4，同時塊的類型模式激增，備選的編碼模式數量是h264的數倍，塊劃分及模式決策是以成為一個重要的瓶頸。
是以在RDO中，減少CU劃分層級的搜尋次數，篩選出一些必要的層級是減少計算量的重要手段。首先利用時間和空間相關性，可以從參考塊擷取到一些先驗資訊，再結合本塊的運動資訊和紋理資訊，分析預判出目前塊CU層級的最大估計層級和最小估計層級。其次，在決策過程中的提前跳出政策也可以大幅降低計算量，我們根據圖像紋理的平坦程度，或者各種模式下的rdcost對比，提前跳出目前的模式周遊。而在一些圖像非線性的場景，我們通過CNN深度學習模型輔助決策模式。
進入決策子產品的内部，同樣存在大量複雜的計算。幀内預測存在35種模式，我們可以通過貝葉斯理論，求出最簡單的幾種模式後，估計出最佳模式最可能出現的位置，進而為幀内模式篩選過程提升一倍速度并将損失控制在0.01db。另外，幀間預測的運動搜尋是從參考幀尋找最佳比對塊的過程，它的分像素搜尋需要做7抽頭或者8抽頭的插值濾波，計算量很大。我們是以可以利用整像素的資訊建立二進制二次誤差平面方程，估算最佳分像素點的位置，避免了分像素的完整搜尋過程。
在評價模式的優劣時通常采用rdcost作為模式的代價，它需要計算編碼比特數和編碼失真。這就需要将編碼系數進行熵編碼計算碼流長度，同時還要将編碼系數變換回時域求失真。為了降低rdcost的計算量，我們采用了失真和碼率的線性估計算法，包括兩個部分，其一是量化誤差能量在頻域計算，利用IDCT變換的能量不變性，計算量化餘數的平方和估計失真，其二是建立編碼系數特征資訊和碼流大小之間的線性關系，直接從系數特征資訊估計出熵編碼的大小。通過這個方法可以跳模式代價計算的熵編碼過程以及，反變換，反量化，重建，SSE等過程。節約了大量的計算。
在rdo之外，我們還改進了slicetype決策算法，動态拉格朗日因子調整算法，快速deblock和sao決策等。
在工程優化方面我們也添加了多項優化，首先是C函數優化，我們通過優化流程邏輯，拆分特殊路徑，合并分支，查表，循環優化等方法給rdoq子產品，系數解析，deblock等子產品帶來了接近一倍的提升；其次針對密集計算的函數我們simd化并優化彙編代碼的執行速度。
s265經過快速算法與工程兩個層次上的優化，我們為HEVC編碼帶來了明顯的性能提升。進而在低端iphone上實作720P 30幀每秒的實時編碼。
▐ 智能碼控
智能碼控是淘寶自研的碼率控制算法，普通ABR或CBR碼率控制為了追求目标碼率，在低複雜度場景浪費了大量碼率，根據人眼主觀品質模型，當psnr高于一定門檻值後，再提高品質，人眼無法察覺，隻會消耗過多碼字。我們使用機器學習方法，根據17種曆史編碼資訊和待編碼幀的複雜度，預估出待編碼幀在品質門檻值以上的量化系數，并限定在ABR目标碼率以下，確定每個幀都能以最合适的碼率編碼。
經過淘寶直播線上驗證，可達到15%的省流，在釘釘直播中使用更是節省了52%的帶寬并降低了62%的推流側卡頓。
▐ 場景編碼
由于目前淘寶直播種類的豐富性，各種場景下的紋理，光照，背景，運動程度都是不一樣的。戶外主播經常走動，畫面幀變化幅度頻率高。美妝主播大多坐在室内，光照基本上比較偏亮。珠寶類主播主要是拍攝物品，畫面多靜止不動。面對形形色色的直播場景，單一的編碼器配置并不能滿足目前淘寶直播的需求，開啟或關閉某些編碼工具對視訊編碼效果影響不一緻，如何針對内容選擇最佳參數成為業界研究的方向。
在此需求下，我們提出了基于不同場景的編碼參數配置政策。首先，我們通過多個深度學習與機器學習模型對數萬條各種内容的直播視訊進行了資料訓練分類，包含兩個大的特征次元，分别是語義特征和信号特征。語義特征包含：主播分級，商品特征，環境特征，聲音特征，時域空域RoI。信号特征包含：運動特征，紋理特征，噪聲特征，亮度特征。通過對不同特征種類的視訊集，我們單獨使用大規模伺服器集進行最佳編碼參數搜尋，自動化高效地搜尋到适合目前視訊編碼的最佳編碼參數組合，在提升畫質的同時能盡可能地減少碼率消耗。并最終根據編碼參數集進行聚類分為多個參數配置項。
在主播需要推流的時候，首先進行标準的編碼參數配置進行推流。收集一定的資料之後，我們将得到的視訊語義特征和信号特征送入自适應決策引擎，通過裡面的深度神經網絡進行視訊分類，決策出目前視訊應該下發的編碼參數配置，然後我們将新的參數配置重新送入編碼器進行新的推流，以此優化使主播獲得目前情況下最優質的視訊編碼。通過此方法，我們在淘寶直播裡面獲得了7-10%的BDrate收益。在淘拍場景下獲得了40%的BDrate收益。
▐ 低延時編碼
在直播中，低延遲時間意味着高效率和優質體驗。試想以下場景：
- 場景一：當主播展示下一個商品後，10秒才收到上一個的商品的提問。
- 場景二：釘釘課堂直播中，老師提問後遲遲得不到學生的回報，浪費部分時間。
這些場景給使用者帶來糟糕的體驗，使得直播賣貨、直播課堂效率低下。當5G普及，會帶來更低的時延，帶來更好的體驗，但是當下還是4G為主，降低延遲時間有很有必要。
端到端延遲主要分布在采集、編碼、傳輸、轉碼、分發、播放等各個部分，這部分主要優化編碼延遲。編碼延遲又分為多線程導緻的延遲、緩存幀數延遲、B幀數帶來的延遲等。其中編碼延遲最大的一部分來源于編碼器緩存，通過分析編碼前的緩存圖像，可以大大的增加編碼效率。如果粗暴的降低編碼器緩存，可以實作較低的延遲，但是品質損失比較高。所有産生了一種想法，能不能用較少的緩存去模拟較長的緩存的效果？通過分析cutree的原理，結合統計lookahead長度跟傳遞代價的關系，可以發現緩存長度跟傳遞代價很強的線性關系，如下圖所示：
根據場景可以用不同的預測模型變種，最終實作用較短的lookahead模拟較長的lookahead的效果，測試在直播素材中lookahead4優化後比優化前可以節省13.5%的碼率，有效的降低了編碼延遲，結果示意圖如下。
同時，在之前的測試中發現，該優化對場景不敏感，運動簡單場景和運動複雜場景提升同樣有效。
過去一年，我們采用前述優化，将265碼流在畫質不變的前提下，将碼率從1.4M下降到800K。
▐ 畫質增強
在淘寶直播的場景中，大主播有自己的專業裝置與團隊，直播出來的視訊與音頻都是比較高品質的。但是針對中小主播，使用者的行為不可控。是以産生的結果就是很多中小主播産生的視訊品質比較低，收獲的觀衆數量也比較少。針對這種情況，我們選取了使用者習慣産生最嚴重的幾種情況，對這一類主播進行了畫質增加的，顯著提升了使用者的直播體驗。
下面介紹一些已經有的應用效果。
去抖：
現代編碼器能夠較好的處理平坦紋理和平移運動，前者通過幀内預測來消除空間相關性，後者通過運動搜尋來消除幀與幀之間的時間相關性。但是在視訊采集過程中，由于錄影機抖動産生的視訊幀抖動，編碼器不能夠很好的處理；由于抖動劇烈的一般是中小主播，且攜帶的裝置比較老舊，我們考慮從采集源來改善視訊幀，最終在這裡我們采用相機路徑平滑算法來去除視訊幀中的抖動。
去噪：
視訊直播在燈光不太理想的情況下，攝像頭采集的畫面會産生明顯的飛蚊噪聲和高斯白噪聲，嚴重影響使用者對視訊内容的感受，這種情況下，有必要對視訊進行降噪。
現有的很多優秀的雲端去噪算法，其實對于移動端來說采用深度學習的方法就不合适。雖然現在有很多移動端深度學習架構，但是畢竟還沒有跟機器是配得非常好，針對很多中低端的手機其實跑不動這種生成模型的。基于此，我們在移動端主要是考慮效率，那麼我們就采了基于維納濾波的時域降噪算法方式來實作，進行訓練和優化。
超分：
針對一些小微主播，錄播裝置隻能支援360p，最終觀衆端看到的視訊會通過插值等傳統方法進行放大為720p。這樣獲得的視訊幀難免産生模糊效果，影響直播觀感。得益于深度學習在移動端的優化，我們在部分高端機實作了移動端視訊幀的實時超分。
在衆多的網絡架構中，我們最終選擇了性能最佳的FSRCN方案，網絡的架構圖如下所示。在訓練過程中，我們精選了1W+淘寶個品類的高清大圖，結合業界的高清開源資料集，利用樣本增強技術，訓練了5000輪左右的模型達到收斂效果。此外，為了消除圖像分塊帶來的邊界效應，我們做了圖像重疊合并的操作，在增加部分計算時間的情況下帶來了更好的超分效果。
為了在手機端實時運作，避免占用過多資源，我們優化反卷積計算，并針對人眼視覺特性，對強紋理和靜止區域部分像素進行超分，以此大幅提高移動端的效率。
▐ 4K實戰
淘寶直播與中國電信浙江公司合作了全國首場5G電商直播，利用5g直播下的超高清畫質和超低延遲時間給消費者更好的線上購物體驗。消費者除了可以看到直播間的整體情況，還能夠遠端自主對局部進行放大，非常清晰地看到商品的細節資訊。讓線上購物具有逼真的線下現場購物感受。
未來憑借5G通信技術與極緻的編碼優化和畫質優化的結合，能給直播帶貨體系帶來深層次的改變。4K，VR，AR等技術的成熟将會給直播場景帶來更多産品和更好的體驗，帶來更多新型的應用場景，沉浸式體驗和全畫幅體驗使用互動感和真實感更強。通過技術的賦能，淘寶直播間的可看性越來越強，淘寶直播所能覆寫的場景、所能覆寫的領域也會越來越廣。
低延遲傳輸
▐ 低延遲播放器
正常播放器的延遲分析。目前基于TCP的直播傳輸技術主要有 HLS和RTMP/HTTP-FLV兩個協定，其中HLS直播的延遲一般在10秒以上，HTTP-FLV直播的延遲一般在6到9秒，從推流、cdn分發到播放的整個直播鍊路看，延遲的大頭來自播放端。在播放器中，幾乎每個線程都有自己的緩沖區，這些緩沖區的作用是平滑整個播放鍊路的抖動，它們的大小決定了播放過程中的播放延遲和播放的流暢性。VideoBuffer和AudioBuffer用來存放待解碼的音視訊 packet，該緩沖區是為了平滑網絡的抖動，推流、CDN傳輸和播放下載下傳的抖動都會堆積到播放端，這是正常播放器延遲最大的一個産生點，為提升直播的整體流暢度，緩沖區延遲一般在5秒以上。
基于TCP的媒體傳輸并不适用于低延遲直播場景，主要原因如下：
- 重傳慢，TCP追求的是完全可靠性和順序性，丢包後會持續重傳直至該包被确認，否則後續包也不會被上層接收，且重傳逾時時間一般200ms，會造成接收側幀抖動。
- 上層無法針對優化，TCP擁塞控制和 Qos 政策在作業系統核心層實作。
- 擁塞判斷不準确，基于丢包的擁塞控制跟實際網絡情況不符，丢包并不等于擁塞，也會造成發送鍊路 bufferbloat，鍊路RTT增大。
我們的低延遲傳輸SDK是基于WebRTC打造的，使用了WebRTC的幾個核心子產品，包括 RTP/RTCP、FEC、NACK、NetEQ、JitterBuffer、音視訊同步、擁塞控制等。NetEQ和JitterBuffer分别是音頻和視訊的網絡抖動緩存區，這是傳輸SDK延遲最大的一個産生點。RTP over UDP能夠更好地對抗公網的丢包，結合自适應緩存和Qos優化，確定直播整體流暢度的條件下，我們的JitterBuffer的緩沖區延遲能夠控制在700毫秒以下，直播觀看延遲在1秒左右。
播放器對低延遲傳輸SDK的接入适配。我們對低延遲傳輸子產品封裝了FFmpeg的擴充demuxer，将支援低延時傳輸協定的demuxer注冊到FFmpeg，播放器通過FFmpeg打開網絡連接配接讀取資料，這種接入方案基本不影響播放器原有邏輯，對播放器改動較小，主要改動點如下：
緩沖區大小控制。使用低延遲傳輸協定拉流時，網絡的抖動緩沖區是底層傳輸子產品的JitterBuffer，播放器層的JitterBuffer的緩存應設定為0秒，否則會引入多餘的延遲。
卡頓統計修改。一般播放器根據緩沖區水位大小判斷卡頓事件，當緩沖區為空或持續空一段時間，這會導播放畫面卡頓，同時觸發夾頓事件，播放器的JitterBuffer被低延遲傳輸SDK接管後，卡頓事件也應該由低延遲傳輸SDK觸發。
音頻解碼流程。從NetEQ擷取的音頻已經是PCM資料了，播放器讀取的音頻資料可直接渲染，如果音頻使用硬解，可能會出現解碼相容問題，現象是聽不到聲音，使用FFmpeg軟解也是可以相容的。
▐ 低延遲伺服器
低延遲傳輸是一個綜合性的問題，要從整體入手，不僅要從設計上考慮，還需要用戶端，伺服器，資料系統緊密配合。從傳輸協定設計上采用rtp/rtcp方案。基于udp半可靠傳輸，技術成熟，更加适合音視訊場景。難點在于既要降卡頓，也要降延遲。我們使用的整體算法政策如下：
- 擁塞控制
擁塞控制gcc&bbr算法針對直播場景深度優化，同時兼顧秒開和延遲。
- 分層丢幀
基于B幀的SVC算法和丢gop政策在網絡擁塞時保證快速降低碼率，解決擁塞。
- 重傳控制
重傳控制既要抑制重傳風暴，也要保障快速重傳。
- 平滑發送優化
平滑發送政策防止網絡突發，平滑流量。同時針對秒開場景深度定制。重新設計發送機制和算法，發送性能大大提高。
- 秒開優化
伺服器和端配合的多種秒開政策，保證極速開播。淘寶直播大盤平均秒開率94%以上。
- 信令優化
從信令設計上采用rtcp app私有協定，和音視訊傳輸使用一個socket連接配接。建聯協定更加精簡，保障 1RTT 快速給出媒體資料。
除此之外還進行了大量政策到算法上的改進和優化。上面整體政策，基于資料驅動，針對場景不斷疊代優化。
▐ 端到端全鍊路分段統計
我們設計的端到端延遲分段統計系統，既能統計單次播放的延遲，也能統計每個階段延遲。不依賴ntp時間，适合超大規模網絡。通過分析不同平台推流端，伺服器，播放器各個階段的延遲情況，大盤展示出來，可以針對專項做優化。
面向未來
伴随着5G網絡的提速，主播側到使用者側的延時将會越來越短；移動端本身的性能提升，各種畫質增強，圖像渲染技術也會慢慢硬體化。移動端的深度學習模型也逐漸變得輕量化。這使得學術界各種越來越先進的創新也得以工程化。近期淘寶直播推出的智能虛拟主播也圈起了一波粉。将來，越來越有趣的玩法也會逐漸推出，使淘寶直播不再僅僅隻限于“賣貨“。更可能有更多有趣的玩法，例如：主播觀衆實時遊戲互動，虛拟主播完全代替真人直播，觀衆沉浸式地通過VR或者AR進行直播購物。這些都會慢慢變成現實。淘寶直播的技術将來會為使用者帶來越來越豐富的直播購物體驗。
關注「淘系技術」微信公衆号，一個有溫度有内容的技術社群~