文 / 馬思偉
整理 / LiveVideoStack
大家好，我是來自北京大學的馬思偉。本次我将從以下四個方面為大家分享有關最新一代VVC與AVS3視訊編碼标準的進展及關鍵技術特色等内容，希望可以為大家帶來有價值的幫助。
1. 視訊編碼标準發展曆程
上圖展示了視訊編碼國際标準的發展曆程，我們可以看到目前主要是以VVC、AV1與AVS3為主流發展趨勢。
1.1 視訊編碼标準的定義
我們可以看到上圖展示的視訊編碼流程，視訊資料輸入至編碼系統首先會進行預處理工作，預處理後進行編碼。編碼完成後的資料會傳輸至解碼子產品并在完成解碼之後進行預處理，最後輸出目标視訊。這裡需要注意的是我們對視訊編碼标準的定義是對其中解碼部分的定義，也就是定義碼流的文法語義和解析解碼過程。我們需要在制定标準的過程中通過技術篩選擇優選擇技術加入标準中進而避免解碼過程的冗雜與低效，降低解碼過程的複雜程度。也就是說可以在編碼流程等其他環節完成的工作就不應當被加入解碼流程中，如濾波等作為後處理可提高主客觀性能水準。标準制定是一個技術協調統一優化的過程，無論是國際标準的制定還是我們以學術為目的的讨論都會引入一種技術競争機制，選擇最好的技術放入标準之中。
1.2 高效壓縮标準的意義
那麼現在我們需要更加高效地壓縮标準嗎？答案是毋庸置疑的。按照提升規律，編碼效率每提升50%以上就會成為新一代标準，如早前的H.261、HAV1等其性能基本持平是以我們将其稱為第一代，而像AVS和H.264等比前一代提升50%就可稱其為第二代，至于AVS2、H.265等相對于第二代的提升達到50%我們就将其稱為第三代。現在我們正在探索的AV3/VVC/H.266則為最新一代的壓縮标準。我們需要更高效壓縮标準原因可以通過Jevons悖論來解釋：業界對節約煤炭研究不會降低煤炭需求，反而會因為提升了煤炭使用效率而加大對煤炭的需求。我們将這個理論過渡到壓縮标準上來說，雖然我們嘗試通過更好的壓縮标準提高壓縮效率降低帶寬壓力，實際上壓縮效率的提高會進一步刺激視訊用的需求不斷增長，整體來看就是更高效的壓縮标準推動了視訊行業的持續發展。
1.3 多位度視訊發展方向
我相信在未來4K/8K超高清、全景視訊等先進視訊應用會得到進一步發展。随着視訊應用的不斷演進，更高效的視訊編碼解決方案也會不斷被提出。圖中展示的全景視訊、3D面部捕捉等都會幫助我們進一步提升視訊應用的使用者體驗。我相信視訊行業會得到長足發展，現在的标準在未來也會被更佳先進的标準所取代。
2. VVC國際标準進展情況
大家現在聽到VVC、266新一代國際标準這些名詞等都已不再新鮮，實際上對于新一代标準的讨論已多達12次會議，其中有包括快手在内的許多中國公司參與VVC标準的制定。追溯中國參與确立國際視訊編碼标準，最早可以追溯至1996年MPEG中國代表團參與MPEG标準的制定工作。雖然在1996年之前中國對國際标準制定的影響力有限，但在1996年之後有許多中國高校參與其中，有力促進了我國相關行業的發展。看到這麼多中國企業參與其中我倍感榮幸，雖然我們在探索AVS，但同時我們也鼓勵廣大同仁參與國際标準的制訂工作。
2.1 VTM關鍵技術
上圖展示了VTM的諸多關鍵技術，其中藍色與紅色高亮的技術所帶來的性能提升非常顯著。當然我們對關鍵技術的考量離不開後端配套設施的跟進，我們在科學制定标準是一定需要在複雜度與性能間實作良好平衡，依靠技術的力量控制二者使其達到理想情況。我們使用的VTM2.0軟體并将其性能提升用Random access量化，可以看到BDR-Y的性能提升為23%。将其結合圖中左側表格中的工具所帶來的性能提升十分可觀。這裡需要注意的是，雖然表格中未高亮部分的工具所帶來的性能提升在1%以下，但由于這些技術的編解碼複雜度波動比較小，可顯著降低複雜度，後期選擇合适技術時我們也能考慮這些在複雜度上表現較好的工具。
2.2 新特色：從信号處理到深度學習
大家知道最近深度學習成為行業熱門，人工智能開始為各行各業帶來顯著優化，深度學習同樣也可以被用于優化視訊編碼。傳統的視訊編碼主要基于信号處理實作預測、變換等，而現在我們更多采用統計分析、深度學習、神經網絡等技術使視訊編碼登上一個全新的階段。神經網絡可以在編碼領域大秀拳腳，同樣标準制定也受其影響。大家可以從右側的表單中看到現在許多企業與高校在參與标準制定過程中将神經網絡納入考量範圍。
1）神經網絡與預測編碼
我們可以借助神經網絡實作幀率預測、劃分等重要工作，神經網絡用與預測編碼主要需要包括輸出層在内的四層網絡傳統方法主要借助濾波器基于信号處理實作優化；而神經網絡則是将節點數、相鄰像素數等名額輸入神經網絡進而重構原始信号使其稱為符合編碼要求的信号，通過反複的訓練尋求最優名額并确定為參數，在此之後這個訓練完成的網絡就可被用于幀率預測。除了幀率預測，神經網絡也可以實作濾波等功能，但由于這一部分的研究仍需要進一步完善，後續還需配套硬體的跟進才能實作理想效果。從标準制定的角度來看，我們需要跟多的時間優化完善神經網絡才能使其符合寫入标準的嚴格要求。
2）神經網絡與劃分模式決策
談到使用神經網絡實作劃分，我們需要明确不同劃分模式需要哪些技術調整。這裡我們的目标是基于四叉樹與六叉樹實作64x64的劃分。具體步驟為首先提取整體劃分深度特征來預測劃分程度，也就是判斷采用128×128進行預測還是64×64進行預測。如果選擇128x128作為預測那麼其深層次的預測準确度會大打折扣，而32x32的預測與128x128之間相差太遠同樣造成預測不準确，是以我們選擇基于64×64進行深度劃分預測，我們希望這種選擇可以有效降低網絡預測有偏差時對性能的影響。第二張圖右側清單展示的相關性能名額提升。
3. AVS标準回顧及應用情況
AVS标準的确立最早可以追溯至2002年的DVD專利事件，正是因為此事件推動了AVS标準的産生。經過幾十年的發展AVS對推動技術創新、規範專利政策、推動行業生态建設做出了卓越貢獻。從開始的盜版橫行到現在的各種專利聯盟日趨規範音視訊産業年産值達到數萬億，人們對技術與産業價值的追求是全行業永恒的話題。無論是AVS标準還是國際标準，其目的都是推動技術創新的積聚與經濟價值的最大化。
AVS的管理模式在其被提出時就有相關規範，主要由技術研發、包括專利池與專利授權在内的知識産權管理、産業聯盟三部分組成。這種模式在十幾年前具有非凡的創新意義，即使在今天看來也是十分先進的理念。現在AVS上百位工作組會員與産業聯盟成員為整個标準提供有力支撐，幫助其持續優化發展。
上圖展示的AVS在過去十六年經曆的發展過程，從2002年AVS确立到2003年第一代标準AVS1基本完成，再到随後中國高清電視廣播使用AVS标準，2012年啟動AVS2标準的制定，2015年完成AVS2标準的制訂，2016年AVS被準許為國家标準并成為廣電行業标準，最近的2018年3月份AVS3正式啟動。
從AVS的标準曆程中我們可以看到，可以說在過去十六年AVS的發展取得了很好的成績。
落實在應用上，中央電視台已在2018年10月啟動了基于AVS2标準的4K超高清頻道的播出。并且全國各地相繼有地方電視台開通4K電視訊道，進一步加快了技術轉化為市場效益。
如果我們對比AVS2與HEVC便不難發現，無論是在主觀品質還是使用者體驗上AVS2都略勝一些。
在編碼其優化方面，上圖展示的實驗結果來自于我的學生優化的AVS2編碼器，商用AVS編碼器的性能還要高于上述結果。右上圖我們可以看到AVS2的各項性能名額與其他标準下的編碼性能對比可以說是不相上下， AVS2與x265相同性能條件下AVS2編碼速度快一倍。
AVS标準在軟硬體複雜度上的性能名額較為優秀，這也使其受到全行業的大力推廣。上圖展示的AVS2 4K廣播應用的發展曆程，可以看到全行業都對AVS2抱有強烈的興趣并積極參與推廣建設，這極大提高了AVS2的普及速度與應用範圍。
4. AVS新一代标準關鍵技術
4.1 概述
2017年12月份我們啟動了新一代标準AVS3的确立工作，2018年3月份開始第一次提案征集。預計在未來的2019年3月份釋出第一版AVS3，其主要在編解碼複雜度控制上做出顯著優化并預計帶來30% 的性能提升；2021年釋出第二版，達到相對于第一版50%的效率提升并實作其在8K、VR、流媒體視訊等領域的應用；最終我們希望實作的是在第二版基礎上高達一倍的性能提升。從技術角度來看，我們的思路主要分為傳統與智能兩部分，傳統部分仍然為塊劃分、運動預測、變換、濾波等傳統政策，而在智能部分我們會劃時代地使用基于神經網絡的工具實作濾波、率失真優化等功能。
上圖展示的是過去一段時間AVS3的會議進展與關鍵技術情況，到目前為止我們實作了相對于AVS2 10%的性能提升。
4.2 最新進展
現在AVS3标準的架構主要基于傳統部分建立，其中有包含擴充四叉樹、二叉樹劃分在内的塊劃分，包含仿射運動預測、自适應運動矢量精度、基于曆史資訊的運動矢量預測與大跨度預測編碼在内的預測，包括基于位置的幀間殘差與幀内預測多核在内的變換還有基于神經網絡的濾波。
1）預測劃分
我們現在所有的标準都是基于塊劃分實作的，随着标準的不斷疊代，劃分的效率也不斷提升。其本質在于通過更高效的劃分降低預測誤差。這裡我們努力實作的為自适應運動預測與複雜視訊的内容高效處理，經過預測之後的圖像内容有些平滑過渡有些帶有邊緣或紋理；若對其統一進行某一種變換效率勢必會降低，我們期待通過自适應算法将進一步提升整個過程的效率，自适應的前提是我們需要将變換量化并考慮自身濾波對視訊圖像内容特性的适應。随着技術的演變，塊劃分方案的不斷疊代意味着劃分方案的不斷改進，如正在進行的采用MTT實作的多種樹型劃分，其本質為使用更精細的劃分方案解決更複雜的圖像内容進而實作理想的效果。
AVS-M4409的劃分過程基本上基于VCC的三叉樹劃分，同時包括了二叉樹與四叉樹。
而AVS-M4472則是二叉樹層遞歸劃分。除此之外AVS-M4472的編碼單元CU、預測單元PU、變換單元TU大小一緻。
接下來發展到了AVS-M4477則采用了衍生預測模式，使用非對稱二分和對稱四分模式，并且在四叉樹或二叉樹的葉子結點上不可遞歸，使用RDO決策變換形狀，實作良好性能更高效率的劃分。
最後的AVS-M4489所運用的擴充的四叉樹劃分結構EQT是我們最新采用的一種劃分模式，此劃分同二叉樹層級一直并可遞歸，其CU、PU、TU大小一緻，我相信還有更加高效的劃分模式等待我們探索。
2）運動預測
在運動預測方面，第一代、第二代标準所使用的預測方案對平移運動效果較好，一旦運動狀态變得複雜則容易失效；于是在第三代我們采用了合并模式，基于平移運動與向量塊資訊的組合更高效準确預測物體運動；而現在正在探索的仿射運動預測又把對複雜運動預測的效率提升至新的水準，我們也将其視為研究的目标。
我們現在所看到的運動矢量精度都是基于适量像素實作，出于對複雜度的控制我們需要一種較為理想的方案确定運動矢量精度。
其解決方案是在離預測運動矢量近的區域采用高精度運動矢量如1/8、1/4像素精度，而在離預測運動矢量遠的區域采用低精度如1/2甚至整像素精度，進而有效提高運動矢量的編碼效率。比如這裡在這個小的視窗裡邊，運動比較預測比較接近，就用高精度的，到了視窗外邊就用粗精度了，在AVS裡邊是做1/2和1/4這麼一個切分這樣的，可以有效降低編碼複雜度的同時進一步提升編碼效率。
在AVS3中有1/2、1/4、1、2、4 五種可選運動矢量精度，可以進一步提升編碼效率。
相對于傳統的平移運動，仿射運動補償可以根據上圖左側方形頂點上的運動矢量推導其中每一個小方塊的運動矢量并求解運動仿射參數，進而實作相對于傳統仿射運動更加高效的預測。
第一代标準采用了空域多候選預測的方式實作運動矢量預測，在後續幾代中加入了空時域預測模式。現在我們正在探索加入更多候選預測運動矢量以帶來編碼增益。
AVS-M4488采用了由已編碼塊資訊建立候選運動矢量預測清單HMVP，通過多個塊的運動矢量建構多個清單并移除備援候選添加新的候選，并在編碼/解碼過程中維持HMVP的候選清單，可以有效提高運動矢量預測的編碼效率。
還有對Skip、direct模式的運動矢量進行更精細更準确的調整，也能帶來明顯的編碼效率提升。
将編碼與傳輸結合實作大跨度預測編碼是我們正在探索的一件較為超前的方案。我們将時間上大跨度的知識圖像作為幀間預測的參考圖像，在系統層描述參考關系，在壓縮層修改高層文法語義，并基于類似P2P傳輸原理實作視訊内容之間的跨序列參考。此工作需要系統層的傳輸支援，大跨度預測編碼可以帶來30%以上的壓縮效率提升。
3）變換
第一代标準使用的變換模式為DCT，随後的第二代标準則采用了ABT。DCT在相關性較強時較為适用，而第三代标準所使用的TU與DST則更适應信号的複雜特征變化，現在我們正在探索的變換方案為多核變換。
幀内預測變換這塊，行列變換組合的變換形式，早期AVS也做過很多的相關的研究，通過率失真優化來選擇變換。
幀間殘差變換是基于位置變化的，在不同塊的位置其參數特性也有所差別。我們可以選擇性變換進而進一步提高變換的編碼效率實作性能提升。
4）環路濾波
在第一代标準中沒有環路濾波而隻是将其作為後處理的一部分。在第二代标準中我們使用了對塊邊界的Deblock環路濾波，從H265這塊，引入了SAO，原理上就是從幾種邊緣看一看是不是有了較大的量化失真，給它加一個補償，降低量化失真；這時候也還有有另外一中環路濾波就是ALF，對于這一塊兒關于濾波器的形狀研究更多，加了好多濾波器形狀，去進一步提高這個濾波器效果去，這是濾波部分的一個演變。
關于濾波，我們還探索了非局部結構相似濾波，其主要是依據統計局部多個像素發生失真得出的規律特性推斷更優的全局優化政策。雖然此方案複雜度較高但效果明顯，全局優化處理能夠帶來明顯的效率提升。可能目前全局濾波方案還難以被标準采用，我們仍在探索更好的全局濾波方案。
關于智能編碼與智能濾波部分。由于濾波是比較獨立的子產品，傳統濾波主要輸入重構的圖像即可，在這裡我們同時輸入了相關編碼資訊之後發現還能進一步提高濾波性能，這說明濾波性能提升空間還是比較可觀的。
上圖展示的是AVS3 TAVS2.1的性能測試結果，可以看到AVS3相對于H.265已有10%以上的性能提升，預期第一階段将達到30%，我們對AVS3未來的發展充滿信心。
我們可以看到新一代視訊編解碼标準的進步十分顯著，效率提升非常明顯，我們相信新一代視訊編碼标準具有蓬勃生命力。AVS标準在技術創新、專利政策與生态建設方面都有較為全面的布局，新一代AVS标準未來可期。
————————————————
版權聲明：本文為CSDN部落客「LiveVideoStack_」的原創文章，遵循CC 4.0 BY-SA版權協定，轉載請附上原文出處連結及本聲明。
原文連結：
https://blog.csdn.net/vn9PLgZvnPs1522s82g/article/details/86267767「視訊雲技術」你最值得關注的音視訊技術公衆号，每周推送來自阿裡雲一線的實踐技術文章，在這裡與音視訊領域一流工程師交流切磋。