縱覽視訊編碼标準H.264/AVC

Video.com.cn(視訊網) 2006-09-25 15:38　來源: 央視科技

H.264/AVC 是ITU-T VCEG 和ISO/IEC MPEG 共同開發的視訊處理标準，ITU-T作為标準建議H.264，ISO/IEC作為國際标準14496-10（MPEG-4 第10部分）進階視訊編碼（AVC）。  

    MPEG-2視訊編碼标準（又稱為ITU-T H.262[2]）已有10年的曆史了，由MPEG-1擴充而來，支援隔行掃描。使用十分廣泛，幾乎用于所有的數字電視系統，适合标清和高清電視，适合各種媒體傳輸，包括衛星、有線、地面等，都能有效地傳輸。然而，類似xDSL、UMTS（通用移動系統）技術隻能提供較小的傳輸速率，甚至DVB-T，也沒有足夠的頻段可用，提供的節目很有限，随着高清電視的引入，迫切需要高壓縮比技術的出現。  

    應用于電信的視訊編碼經曆了ITUT H.261、H.262（MPEG-2）、H.263、H.263+、H.263++，提供的服務從ISDN和T1/E1到PSTN、移動無線網和LAN/INTERNET網。  

    最近MPEG-4 第二部分進入了實用領域，提供了視訊形狀編碼，目标是與MPEG-2一樣獲得廣泛的數字電視應用。  

    1998年，視訊編碼專家組（VCEG-ITU-T SG16 Q.6）啟動了H.26L工程，旨在研制出新的壓縮标準，與以前的任何标準相比，效率要提高一倍，同時具有簡單、直覺的視訊編碼技術，網絡友好的視訊描述，适合互動和非互動式應用（廣播、存儲、流煤體）。  

    2001年12月，VCEG和運動圖像專家組（MPEG-ISO/IEC JTC 1/SC 29/WG 11）組成了聯合視訊組（JVT，Joint Video Team），研究新的編碼标準H.264/AVC，該标準于2003年3月正式獲得準許。 

    視訊的各種應用必須通過各種網絡傳送，這要求一個好的視訊方案能處理各種應用和網絡接口。H.264/AVC為了解決這個問題，提供了很多靈活性和客戶化特性。H.264/AVC的設計方案包含兩個層次，視訊編碼層（VCL，Video Coding Layer）和網絡抽象層（NAL，Network Abstraction Layer）。視訊編碼層主要緻力于有效地表示視訊内容，網絡抽象層格式化VCL視訊表示，提供頭部資訊，适合多種傳輸和存儲媒體。  

    VCL的設計同以前的ITU-T和 ISO/IEC JTC一樣，基于塊的混合視訊編碼方法。基本的源編碼算法是： 利用時間統計的相關性，開發幀間預測算法；利用預測殘留變換編碼，開發空間統計的相關性。在提高編碼效率方面，沒有一個單一的算法做出特别的貢獻，而是大量的小的改善算法綜合産生的結果。

    一 主要特性  

    1. H.264/AVC相對以前的編碼方法，以MPEG-2為例，在圖像内容預測方面提高編碼效率，改善圖像品質的主要特點如下：  

    ● 可變塊大小運動補償： 選擇運動補償大小和形狀比以前的标準更靈活，最小的亮度運動補償塊可以小到4×4。  

    ● 1/4采樣精度運動補償：以前的标準最多1/2精度運動補償，首次1/4采樣精度運動補償出現在MPEG-4第二部分進階類部分，但H.264/AVC大大減少了内插處理的複雜度。  

    ● 運動矢量可跨越圖像邊界：在以前的标準中，運動矢量限制在已編碼參考圖像的内部。圖像邊界外推法作為可選技術首次出現在H.263中。  

    ● 多參考圖像運動補償：在MPEG-2及以前的标準中，P幀隻使用一幀，B幀隻使用兩幀圖像進行預測。H.264/AVC使用進階圖像選擇技術，可以用以前已編碼過且保留在緩沖區的大量的圖像進行預測，大大提高了編碼效率。  

    ● 消除參考圖像順序和顯示圖像順序的相關性：在以前的标準中，參考圖像順序依賴顯示圖像順序，H.264/AVC消除了該限制，可以任意選擇。  

    ● 消除參考圖像與圖像表示方法的限制：在以前的标準中，B幀圖像不能作為預測圖像，H.264/AVC 在很多情況可以利用B幀圖像作為參考。  

    ● 權重預測： H.264/AVC采用新技術，允許權重運動補償預測和偏移一定量。在淡入淡出場景中該技術極大提高編碼效率，該技術還可用于其他多種用途。  

    ● 改善“跳過”和“直接”運動推測：在以前的标準中，預測編碼圖像的“跳過”區不能有運動。當編碼有全局運動的圖像時，該限制非常有害。H.264/AVC對“跳過”區的運動采用推測方法。對雙預測的B幀圖像，采用進階運動預測方法，稱為“直接”運動補償，進一步改善編碼效率。  

    ● 幀内編碼直接空間預測： 将編碼圖像邊沿進行外推應用到目前幀内編碼圖像的預測。  

    ● 循環去塊效應濾波器： 基于塊的視訊編碼在圖像中存在塊效應，主要來源于預測和殘餘編碼。自适應去塊效應濾波技術是非常著名的技術，能有效消除塊效應，改善視訊的主觀和客觀品質。  

    2. 除改善預測方法外，其他改善編碼效率的特性如下：  

    ● 小塊變換： 以前的标準變換的塊都是8×8，H.264/AVC主要使用4×4塊變換，使編碼器表示信号局部适應性更好，更适合預測編碼，減少“鈴”效應。另外圖像邊界需要小塊變換。  

    ● 分級塊變換： H.264/AVC通常使用小塊變換，但有些信号包含足夠的相關性，要求以大塊表示，H.264/AVC有兩種方式實作。低頻色度信号可用8×8，；對幀内編碼，可使用特别的編碼類型，低頻亮度信号可用16×16塊。  

    ● 短字長變換： 所有以前标準使用的變換要求32位運算，H.264/AVC隻使用16位運算。  

    ● 完全比對反變換： 所有以前标準反變換和變換之間存在一定容限的誤差，是以，每個解碼器輸出視訊信号都不相同，産生小的漂移，最終影響圖像的品質，H.264/AVC實作了完全比對。  

    ● 基于上下文的熵編碼： H.264/AVC使用兩種熵編碼方法，CAVLC（上下文自适應的可變長編碼）和CABAC（上下文自适應二進制算術編碼），兩種都是基于上下文的熵編碼技術。  

    3. H.264/AVC具有強大的糾錯功能和各種網絡環境操作靈活性，主要特性如下：  

    ● 參數集結構：H.264/AVC參數集結構設計了強大、有效的傳輸頭部資訊。在以前的标準中，如果少數幾位關鍵資訊丢失，可能解碼器産生嚴重解碼錯誤。H.264/AVC采用很靈活、特殊的方式，分開處理關鍵資訊，能在各種環境下可靠傳送。  

    ● NAL單元文法結構：H.264/AVC中的每一個文法結構放置在稱為NAL的單元中，以前的标準采用強制性特定的位流接口。NAL單元文法結構允許很自由的客戶化，幾乎适合所有的網絡接口。  

    ● 靈活的像條大小：在MPEG-2中，規定了嚴格的像條結構，頭部資料量大，降低預測效率，編碼效率低。在H.264/AVC可采用非常靈活的像條大小。  

    ● 靈活宏塊排序（FMO）：H.264/AVC可以将圖像劃分為像條組，又稱為圖像區，每個像條可以獨立解碼。FMO通過管理圖像區之間的關系，具有很強的抗資料丢失能力。  

    ● 任意像條排序：因為每個像條幾乎可以獨立解碼，是以像條可以按任意順序發送和接收，在實時應用中，可以改善端到端的延時特性，特别适合于接收順序和發送順序不能對應的網絡中，如使用INTERNET網絡協定的應用。  

    ● 備援圖像：為提高抗資料丢失的能力，H.264/AVC設計中包含一種新的能力，允許編碼器發送圖像區的備援表示，當圖像區的主表示丢失時仍可以正确解碼。  

    ● 資料劃分：視訊流中的編碼資訊的重要性不同，有些資訊（如運動矢量、預測資訊等）比其他資訊更為重要。H.264/AVC可以根據每個像條文法元素的範疇，将像條文法劃分為3部分，分開傳送。  

    二 網絡層  

    NAL規範視訊資料的格式，主要是提供頭部資訊，以适合各種媒體的傳輸和存儲。NAL支援各種網絡，包括：  

    ● 任何使用RTP/IP協定的實時有線和無線Internet 服務。  

    ● 作為MP4檔案存儲和多媒體資訊檔案服務。  

    ● MPEG-2系統。  

    ● 其他網。  

    1. NAL 單元  

    編碼的視訊流組織成NAL單元，視訊資料放置在網絡單元中傳輸，每個網絡單元包含整數個位元組，第一個位元組是頭部資訊，訓示NAL單元的資料類型，其餘是淨荷。  

    淨荷資料與仿真預防位元組做交織處理，仿真預防位元組是特殊值位元組，防止偶然在淨荷中出現同步位元組圖樣。  

    NAL規定一種通用的格式，既适合面向包傳輸，也适合流傳送。實際上，包傳輸和流傳輸的方式是相同的，不同之處是流傳輸前面增加了一個起始碼字首。  

    2. NAL單元在位元組流中的應用  

    類似H.320和MPEG-2/H.222.0等傳輸系統，傳輸NAL作為有序連續位元組或比特流，同時要依靠資料本身識别NAL單元邊界。在這樣的應用系統中，H.264/AVC規範定義了位元組流格式，每個NAL單元前面增加3個位元組的字首，即同步位元組。在比特流應用中，每個圖像需要增加一個附加位元組作為邊界定位。還有一種可選特性，在位元組流中增加附加資料，用做擴充發送資料量，能實作快速邊界定位，恢複同步。  

    3. NAL單元在面向包傳送中的應用  

    在類似Internet/RTP面向包傳送協定系統中，包結構中包含包邊界識别位元組，在這種情況下，不需要同步位元組。  

    4. VCL和非VCL的NAL單元  

    NAL單元分為VCL和非VCL兩種，VCL NAL單元包含視訊圖像采樣資訊，非VCL包含各種有關的附加資訊，例如參數集（頭部資訊，應用到大量的VCL NAL單元）、提高性能的附加資訊、定時資訊等。  

    5. 參數集  

    參數集是很少變化的資訊，用于大量VCL NAL單元的解碼，分為兩種類型：  

    ● 序列參數集，作用于一串連續的視訊圖像，即視訊序列。  

    ● 圖像參數集，作用于視訊序列中的一個或多個個别的圖像。  

    序列和圖像參數集機制，減少了重複參數的傳送，每個VCL NAL單元包含一個辨別，指向有關的圖像參數集，每個圖像參數集包含一個辨別，指向有關的序列參數集的内容，是以，隻用少數的指針資訊，引用大量的參數，大大減少每個VCL NAL單元重複傳送的資訊。  

    序列和圖像參數集可以在發送VCL NAL單元以前發送，并且重複傳送，大大提高糾錯能力。序列和圖像參數集可以在“帶内”，也可以用更為可靠的其他“帶外”通道傳送。  

    6. 存儲單元  

    一組指定格式的NAL單元稱為存儲單元，每個存儲單元對應一個圖像。每個存儲單元包含一組VCL NAL單元，組成一個主編碼圖像，VCL NAL單元由表示視訊圖像采樣的像條所組成。存儲單元前面可以加一個字首，分界存儲單元，附加增強資訊（SEI）（如圖像定時資訊）也可以放在主編碼圖像的前面。  

    主編碼圖像後附加的VCL NAL單元，包含同一圖像的備援表示，稱為備援編碼圖像，當主編碼圖像資料丢失或損壞時，可用備援編碼圖像解碼。  

    7. 編碼視訊序列  

    一個編碼視訊序列由一串連續的存儲單元組成，使用同一序列參數集。每個視訊序列可獨立解碼。編碼序列的開始是即時重新整理存儲單元（IDR）。IDR是一個I幀圖像，表示後面的圖像不用參考以前的圖像。一個NAL單元流可包含一個或更多的編碼視訊序列。

新标準類的使用領域

    H.264/AVC的高壓縮效率，擴充了現有的應用領域，至少包含以下領域：

    （1）互動視訊服務，通常速率1Mbps以下，低延遲。ITU-T SG16正在修改有關系統建議， IETF正在設計RTP淨荷打包器，以支援H.264/AVC在互動視訊方面的應用。近期主要利用基類，然後過渡到另兩類。主要應用如下：

    H.320 互動式視訊服務，利用基于ISDN視訊會議的電路交換；

    3 GPP互動式H.324/M服務；

    H.323互動式視訊服務，基于INTERNET，利用IP/RTP協定。

    （2）娛樂視訊應用，1Mbps～8Mbps碼率，0.5 到 2秒中等時延。H.222.0|MPEG-2正在被修改以支援這方面的應用，這些應用主要利用主類，主要應用如下：

    有線、衛星、地面、DSL等廣播電視；

    标清和高清DVD；

    通過各種媒體的視訊點播。

    （3）流媒體服務，典型50kbps 到1.5Mbps，2秒以上的時延，這些應用主要利用基類或擴充類。有線或無線使用情況有所不同，主要應用如下：

    3GPP 流， 利用IP/RTP傳輸，RTSP作會話設定，3GPP規範的擴充部分可能僅使用基類；

    有線INTERNET 流，利用IP/RTP傳輸，RTSP作會話設定。

    （4）其他服務，主要是低碼率，以檔案傳送方式，不考慮時延，根據不同應用，可能用到3類，主要應用如下：

    3GPP 多媒體資訊服務；

    視訊郵件。

    六 結論

    H.264代表了目前業界最先進的視訊壓縮技術，且具有以下無可比拟的優越性。

    1. 碼率低：和MPEG-2等壓縮技術相比，在同等圖像品質下，采用H.264技術壓縮後的資料量隻有MPEG-2的1/2~1/3。顯然，H.264壓縮技術的采用将大大節省使用者的下載下傳時間和資料流量收費。

    2. 圖像品質高：H.264能提供連續、流暢的高品質圖像。

    3. 容錯能力強：H.264提供了解決在不穩定網絡環境下容易發生的丢包等錯誤的必要工具。

    4. 網絡适應性強：H.264提供了網絡适應層， 使得H.264的檔案能容易地在不同網絡上傳輸。

    H.264超越以往的視訊編解碼标準，成為各個廠商競争的焦點。目前，各主流廠商紛紛宣布，已經或将在明年推出産品化的H.264。在視訊廣播領域，美國哈雷公司宣布其産品MV100編碼器可以支援H.264協定，哈雷原來的MPEG-2編碼器MV100硬體平台已經相容H.264能力，隻需從軟體更新即可。在歐洲，有兩個使用者已經選用了此種編碼器。其中一個是法國的衛星及直播星營運商CanalSatellite，它采用哈雷高性能的數字前端系統在ADSL上傳輸視訊業務，MV100超低碼率編碼能力可以實作在多種電信網上傳輸廣播級視訊節目。另外是第一個即将投入正式商業營運的英國Video network limited