張霖峰：AV1和VVC的格局将在2023年後明朗

版權聲明：本文為部落客原創文章，未經部落客允許不得轉載。 https://blog.csdn.net/vn9PLgZvnPs1522s82g/article/details/82955299

本文是MSU評測解讀的系列文章之一。不過Ucodec CEO張霖峰還講述了Video Codec的機會，VVC與AV1的競争格局，蘋果公司在Video Codec格局中扮演的重要角色等等。

文 / 張霖峰

策劃 / LiveVideoStack

LiveVideoStack：張霖峰你好，向LiveVideoStack的讀者介紹下自己，以及您（或您的團隊）目前負責工作和感興趣的技術方向。

張霖峰：各位音視訊技術領域的朋友好，我大學畢業于清華大學電子系，于愛荷華州立大學取得博士學位，曾先後作為視訊算法工程師供職于Vidyo及TangoMe，并作為合同工參與了VP9及AV1的部分優化工作。2015年創立Ucodec Inc并擔任CEO，緻力于高效率的視訊壓縮标準實作及優化。

LiveVideoStack：為什麼選擇視訊Codec這個方向創業？包括先AOM聯盟提出了免專利費的AV1，銷售管道，客戶按需付費的習慣等等，綜合起來看您如何評價專業（或私有）Codec的未來？

張霖峰：我特别喜歡做音視訊方面的優化工作，積累了較多的經驗，體會到了很多樂趣，尤其是當又在一個不起眼的地方省掉了幾個CPU時鐘周期，或者把PSNR提高了0.1個db的時候。我之前做過語音壓縮方面的創業嘗試，但因為近二十年語音壓縮算法方面沒有太大技術進步，是以這個領域很難給創業公司帶來足夠的回報。而國際上視訊編解碼方面仍舊保持着每8到10年更新一代、節省50%帶寬的類比于晶片摩爾定律的發展速度，目前看來這個發展速度還可以保證一二十年，這就為視訊方面的技術創業者帶來機會。

如果單純做一個視訊編解碼标準的優化實作，這樣的公司的确沒有太大的想象空間。做的還不錯的話，依靠軟體授權收費可以養一支不大的團隊，最終大概會在幾百萬至幾千萬美元之間被大公司整體收購掉，或者是在10多年生命周期中收取到大緻數目的使用者付費。詳見過去10多年間出售掉的UB Video、MainConcept、Vanguard Video和eBrisk Video等視訊标準算法公司，雖然其中部分公司未披露收購價格，但大緻在1千萬至5千萬美元之間。DivX、On2等公司因為有自己的視訊标準，都曾經成功上市，即使最後發展一般并最終在1億美元量級被收購。

題外話，谷歌對On2的1.25億美元并購是一筆大賺的交易，之後依靠On2的技術團隊研發了一系列的VP8、VP9、AV1标準，建立了完整的視訊标準生态，節省了自身大量的專利費，并惠及其它視訊應用公司，成立并成為AOM聯盟的帶頭大哥，堪稱業界大赢家。國内的相似視訊算法公司、團隊也有被收購的，但我了解不多，猜測收購價格應該也在千萬美元量級。這些收購都既包含了技術價值，也包含了團隊價值。是以，純視訊算法技術公司“錢途”雖然有限，絕無可能成長為獨角獸，但如果這種技術上的追求同時是一個團隊的熱愛所在，那麼也是值得去付出心血、全身心投入的，這樣即便是公司沒有成功，每個成員自身的價值也能得到極大的提高，成長為技術牛人。有些基于視訊服務的公司可以發展的較大，例如被亞馬遜5億美元收購的Elemental，以及目前活躍的新公司BitMovin、Beamr等，這些公司都有自己的視訊轉碼等雲服務，視訊算法僅僅是其中的一個組成子產品。每次技術更新都會伴随着出現新的公司、新的機會。立足于最新視訊技術，相信國内也會有新的類似的視訊雲公司發展并壯大起來，而非成為BAT等頭部公司的附庸。

LiveVideoStack：業界已經有很多HEVC的實作，UCodec有何優勢？看上去似乎是重複造輪子，真實的情況是怎樣的？

張霖峰：這是一個非常好的問題。重複造輪子的确是一種資源浪費，尤其是當重複造出性能更差的方形輪子的時候。但是世界上的确不僅僅存在一種輪子，可以做到老少皆宜、大小通吃。比如，在H.264時期，x264是一個特别圓且便宜的輪子，目前仍舊被廣泛使用，但不妨礙性能持平的MainConcept公司以2千2百萬美元的價格被收購。

在HEVC時期，情況起了變化，x264派生出的x265就不像前輩那麼圓了，今年MSU的HEVC測試結果表明華為、騰訊、金山、英特爾都在性能上有較大勝出，x265顯的比較“方”。那麼問題來了，如果你作為一個中小視訊應用廠商，沒有技術能力和資源制造一個比x265更圓的輪子，你該怎麼辦？向華為、騰訊或金山購買源代碼或者SDK？這個貌似比較困難，因為這幾個頭部公司自身都提供規模龐大的視訊雲服務業務，高性能的HEVC視訊算法是其招攬雲服務客戶的核心賣點，比較難向競争對手或者第三方授權源代碼或者SDK，你要買它們的輪子就必須使用它們的車子，給你提供什麼樣的輪子用你就用什麼，較難按照自己的意願去改造。而英特爾的解決方案又緊密綁定在其一代代不停疊代的CPU上面，硬體相容性及移動平台是較大問題。對視訊應用公司來說，被迫使用比較“方”的輪子去和别人在同一視訊賽道賽車，是件比較悲傷的事情。Ucodec目前唯一的産品就是UC265，一款HEVC軟體編解碼方案。目前在主要應用場景上，UC265的性能比開源的x265還要“方”，但我們非常自信假以時日我們有能力把它打磨得非常圓。向中小視訊應用廠商以合适的價格提供高性能的視訊算法是我們公司的唯一宗旨。我們希望在半年至一年之後，UC265可以比x265節省15%-25%帶寬及50%CPU複雜度，成為從PC到移動端的完整的HEVC軟體編解碼方案。之後我們會着手進行AV1或VVC的開發，争取走在标準的前面。

LiveVideoStack：說說UCodec在MSU 2018視訊編碼大賽中的表現吧，看上去成績并不突出，您有什麼要吐槽或評論嗎？

張霖峰：Ucodec的UC265編碼器第一次參加MSU視訊編碼大賽的成績何止是不突出，簡直是令人失望的低。我們對于公開、公平的測試沒有任何吐槽，拿不到好成績不是測試本身的問題，而是自身對測試的準備和适應問題。

在客觀上找原因的話，是UC265的碼率控制算法對MSU測試中的部分序列完全失效，以及缺乏場景切換檢測子產品，導緻對一些極端序列的編碼性能比x264還要差許多。我們之前的産品開發還是太學究氣，不夠接地氣，離工業界較遠。我們僅僅在JCTVC組織用來開發制定HEVC标準的20幾個理想場景的序列上進行過性能對比測試，發現UC265在固定QP（CQP）模式下性能非常出色，超過x265和友商産品許多，在固定速率（CBR）上UC265的性能優勢有所降低，但也還是合格的、領先的。在MSU測試結果公布後，我們對于結果之差的确非常驚訝，立即下載下傳了28個比賽用測試序列中在網絡上所有能找到的24個序列進行複盤，發現在CQP模式下UC265性能仍然卓越，超過同等測試條件下的x265近15%，而且速度是其2.3倍。但是一旦加上碼率控制，UC265性能就直線下降，出現反轉。MSU測試結果差不怕，怕就怕在不知道差在哪裡而無從改進。我們很高興通過此次MSU大賽失敗的測試使得我們能夠明确UC265目前版本的具體不足在哪裡，在接下去的半年内我們會重構碼率控制算法，争取在慢速檔上可以比x265性能上勝出15%-20%，并繼續優化我們的中速和快速檔。在做完這部分改進工作後，我們會把UC265的SDK測試版公布到公司網站上，到時候歡迎大家下載下傳評測。

LiveVideoStack：從參賽者的角度看，有哪些參賽經驗可供分享？

張霖峰：首先，要充分準備，最好先用過去一兩年的MSU測試序列内部測試一下，如果有顯著的問題暴露出來，請盡快修複後再參賽。不要犯和我們一樣的低級錯誤。

其次，早參賽比晚參賽要好，即使還沒有完全開發完畢，也可以選擇隻參加其中一兩種速率的測試，盡早知道自己的優勢和不足，之後加以發揚或彌補，以便在第二年的比賽中取得好成績。

最後，要重視使用MSU比賽公開報告中的評判标準（SSIM而非PSNR）進行編碼器率失真優化，以免僅在PSNR上表現優秀而在SSIM準繩下名落孫山。

總之是不要閉門造車，要私下裡多方位測試、練習，争取迅速找到問題并疊代提高，準備充分再參賽。

LiveVideoStack：UCodec是否實作了硬體（如FPGA、ASIC）編碼/轉碼加速？

張霖峰：沒有，目前也沒有計劃做。我們還是把研發力量集中在我們有技術經驗的平台上面，即x86和ARM這種通用CPU上面，實作最大的裝置相容性、覆寫性。

LiveVideoStack：談一下AV1/VVC誰會統治未來的視訊世界？

張霖峰：這真的是非常難預測的問題，在目前的時間節點上，或在VVC标準完成前宣告任何一方标準的勝利或失敗都是不負責任的，因為世事難料，這裡面有許多因素會産生蝴蝶效應并影響最終局勢。我隻想簡單分享一下我自己的思考。

對視訊應用公司來說，選擇哪個标準主要取決于成本（主要是專利費）、生态及編碼性能。目前看來AV1在專利成本上面完勝，在生态上面前途光明，在性能方面預期比VVC大概會有20-30%的劣勢。而且目前AV1的編碼速度非常慢，今年3、4月份其完成标準工作時速度比VP9慢數千倍，而VVC目前版本僅僅比HEVC慢6.5倍。AV1還在飛速地優化加速中，相信會很快得到極大改進，希望其最終編碼性能不會因為加速方面的優化工作而下降太多。

在廣電領域，MPEG系列包括VVC标準将一直完勝，沒有AV1的空間，畢竟單一裝置價值高、單一使用者淨值高，目前是H.264/HEVC占據壟斷地位，僅僅比HEVC節省約10%-20%帶寬的AV1不會有機會殺入，另外這本來也不是AOM聯盟開發AV1過程中考慮過的市場。

在其它群衆喜聞樂見的視訊領域的生态方面，4年後的蘋果作為AOM聯盟的成員之一将可能擁有極不公平的最終決定權。如果它隻支援某一方，那麼基本上可以宣告另一方在移動平台的突然死亡或立即由巅峰轉向衰落。蘋果大機率會僅依據自身公司的終極利益作出讓部分公司瞠目結舌的選擇，其它公司隻能默默地吐血承受并作出相應調整。如果蘋果和稀泥兩個都支援（機率較低），那麼兩方又會陷入混戰，和平共處。為什麼是4年後？蘋果手機全面支援HEVC是在2017年中，也即HEVC标準通過的4年半之後。VVC将在2020年底完成标準指定，而新的标準總是比舊的标準更難開發，更依賴于硬體性能的提升，蘋果的特點是不做到最優堅決不釋出，我猜測蘋果會在2023年前後完成某标準的軟硬體開發并投入市場。目前我了解到僅有谷歌及英特爾兩家公司在大量投入AV1的軟硬體研發，其它AOM成員打醬油、搭順風車的居多。部分成員利益所緻，随時可能跳車，至少會腳踩兩隻船。對許多公司來說，目前AV1最大的作用是向MPEG一方專利池、專利持有公司對專利費讨價還價的利器以及作為視訊編碼标準的安全技術備份。技術安全及完備并且構築一定的技術護城河是這些公司所期望的。另外，MPEG組織及成員是否會吸取HEVC的專利費過高而較難推廣的教訓，而在VVC标準推廣上面整頓亂收費現象？這也是一個未知的X因素。

對于下遊應用廠商，選擇哪個标準的确是case by case。比如愛奇藝在2017年的帶寬支出成本為21.9億元。對于這樣體量的公司，能節省10%的帶寬就是不得了的真金白銀，每年付些專利費也可以賺到。對大公司來說，專利費不是障礙，AV1、VVC都會出現在它們的産品裡面，以實作最大的使用者覆寫以及最優的産品性能。對小公司來說，專利費也不是障礙，首先每年前10萬機關的HEVC使用，至少MPEG LA專利池是不收費的，然後你體量不夠大的話，專利持有者也懶得搭理你，告赢了還不夠支付昂貴的律師費用。比較痛苦的是中等規模的或者上升期的公司，需要在專利費、生态和性能上面做全方面的利益權衡，兩個标準都投入成本較大，而一旦押錯寶又會帶來較大的時間、市場損失，隻能遙祝好運了。這裡也展現出像Ucodec這樣獨立的、專業的視訊編碼技術公司存在的意義，使你用較低的成本擁有優秀的視訊算法及到位的技術支援，更重要的是在标準紛争中低成本擁有技術選擇權，在塵埃落定前保持冷靜及技術、生态安全，盡量立于不敗之地。