直播平台搭建之音視訊開發：認識主流視訊編碼技術H.264

H.264簡介

即時通訊音視訊開發（五）：認識主流視訊編碼技術H.264_d16199cc0723b1798e87401dd713cae4.jpg

什麼是H.264？H.264是一種高性能的視訊編解碼技術。目前國際上制定視訊編解碼技術的組織有兩個，一個是“國際電聯”，它制定的标準有H.261、H.263、H.263+等，另一個是“國際标準化組織（ISO）”它制定的标準有MPEG-1、MPEG-2、MPEG-4等。而H.264則是由兩個組織聯合組建的聯合視訊組（JVT）共同制定的新數字視訊編碼标準，是以它既是ITU-T的H.264，又是ISO/IEC的MPEG-4進階視訊編碼，而且它将成為MPEG-4标準的第10部分。是以，不論是MPEG-4 AVC、MPEG-4 Part 10，還是ISO/IEC 14496-10，都是指H.264。

網際網路巨頭們對待H.264的态度

即時通訊音視訊開發（五）：認識主流視訊編碼技術H.264_580b5b84f186ac5127f1355ec36cbf1b.png

因為蘋果公司當初毅然決然抛棄了Adobe的VP6編碼，選擇了H.264，這個标準也就随着數億台iPad和iPhone走入了千家萬戶，成為了目前視訊編碼領域的絕對霸主，占有超過80%的份額。

随着網際網路視訊服務的快速崛起，各類智能電子裝置都陸續支援視訊網絡下載下傳及播放。H.264标準一直是網絡視訊的主要壓縮技術之一，且在又有逐漸取代Flash視訊格式的發展趨勢。其主要支援者，是微軟的IE浏覽器和蘋果公司的系列産品，前者保證了H.264在桌面裝置市場的優勢，後者保證了H.264在便攜裝置市場的優勢。

然而，由于谷歌公司決定在其新一代浏覽器Chrome中支援新的視訊編解碼技術WebM、而不支援H.264，使得H.264在網絡視訊市場的前景受到很大的挑戰。

H.264算法的優勢

H.264是在MPEG-4技術的基礎之上建立起來的，其編解碼流程主要包括5個部分：幀間和幀内預測、變換和反變換、量化和反量化、環路濾波、熵編碼。

H.264/MPEG-4 AVC（H.264）是1995年自MPEG-2視訊壓縮标準釋出以後的最新、最有前途的視訊壓縮标準。H.264是由ITU-T和ISO/IEC的聯合開發組共同開發的最新國際視訊編碼标準。通過該标準，在同等圖象品質下的壓縮效率比以前的标準提高了2倍以上，是以，H.264被普遍認為是最有影響力的行業标準。

H.264的優勢

H.264在1997年ITU的視訊編碼專家組提出時被稱為H.26L，在ITU與ISO合作研究後被稱為MPEG4 Part10或H.264（JVT）。H.264标準的主要目标是：與其它現有的視訊編碼标準相比，在相同的帶寬下提供更加優秀的圖象品質。

而，H.264與以前的國際标準如H.263和MPEG-4相比，最大的優勢展現在以下四個方面：

将每個視訊幀分離成由像素組成的塊，是以視訊幀的編碼處理的過程可以達到塊的級别。

采用空間備援的方法，對視訊幀的一些原始塊進行空間預測、轉換、優化和熵編碼（可變長編碼）。

對連續幀的不同塊采用臨時存放的方法，這樣，隻需對連續幀中有改變的部分進行編碼。該算法采用運動預測和運動補償來完成。對某些特定的塊，在一個或多個已經進行了編碼的幀執行搜尋來決定塊的運動向量，并由此在後面的編碼和解碼中預測主塊。

采用剩餘空間備援技術，對視訊幀裡的殘留塊進行編碼。例如：對于源塊和相應預測塊的不同，再次采用轉換、優化和熵編碼。

具體優勢表現為：

低碼流：和MPEG2和MPEG4 ASP等壓縮技術相比，在同等圖像品質下，采用H.264技術壓縮後的資料量隻有MPEG2的1/8，MPEG4的1/3。顯然，H.264壓縮技術的采用将大大節省使用者的下載下傳時間和資料流量收費。

高品質的圖象：H.264能提供連續、流暢的高品質圖象（DVD品質）。

容錯能力強：H.264提供了解決在不穩定網絡環境下容易發生的丢包等錯誤的必要工具。

網絡适應性強：H.264提供了網絡适應層， 使得H.264的檔案能容易地在不同網絡上傳輸（例如網際網路，CDMA，GPRS，WCDMA，CDMA2000等）。

H.264和以前的标準一樣，也是DPCM加變換編碼的混合編碼模式。但它采用“回歸基本”的簡潔設計，不用衆多的選項，獲得比H.263++好得多的壓縮性能；加強了對各種信道的适應能力，采用“網絡友好”的結構和文法，有利于對誤碼和丢包的處理；應用目标範圍較寬，以滿足不同速率、不同解析度以及不同傳輸（存儲）場合的需求。

H.264标準的關鍵技術

1 幀内預測編碼

幀内編碼用來縮減圖像的空間備援。為了提高H.264幀内編碼的效率，在給定幀中充分利用相鄰宏塊的空間相關性，相鄰的宏塊通常含有相似的屬性。是以，在對一給定宏塊編碼時，首先可以根據周圍的宏塊預測（典型的是根據左上角的宏塊，因為此宏塊已經被編碼處理），然後對預測值與實際值的內插補點進行編碼，這樣，相對于直接對該幀編碼而言，可以大大減小碼率。

2幀間預測編碼

幀間預測編碼利用連續幀中的時間備援來進行運動估計和補償。H.264的運動補償支援以往的視訊編碼标準中的大部分關鍵特性，而且靈活地添加了更多的功能，除了支援P幀、B幀外，H.264還支援一種新的流間傳送幀——SP幀，如圖3所示。碼流中包含SP幀後，能在有類似内容但有不同碼率的碼流之間快速切換，同時支援随機接入和快速回放模式。

3整數變換

在變換方面，H.264使用了基于4×4像素塊的類似于DCT的變換，但使用的是以整數為基礎的空間變換，不存在反變換，因為取舍而存在誤差的問題，變換矩陣如圖5所示。與浮點運算相比，整數DCT變換會引起一些額外的誤差，但因為DCT變換後的量化也存在量化誤差，與之相比，整數DCT變換引起的量化誤差影響并不大。此外，整數DCT變換還具有減少運算量和複雜度，有利于向定點DSP移植的優點。

4量化

H.264中可選32種不同的量化步長，這與H.263中有31個量化步長很相似，但是在H.264中，步長是以12.5%的複合率遞進的，而不是一個固定常數。

在H.264中，變換系數的讀出方式也有兩種：之字形（Zigzag）掃描和雙掃描，如圖6所示。大多數情況下使用簡單的之字形掃描；雙掃描僅用于使用較小量化級的塊内，有助于提高編碼效率。

5熵編碼

視訊編碼處理的最後一步就是熵編碼，在H.264中采用了兩種不同的熵編碼方法：通用可變長編碼（UVLC）和基于文本的自适應二進制算術編碼（CABAC）。

在H.263等标準中，根據要編碼的資料類型如變換系數、運動矢量等，采用不同的VLC碼表。H.264中的UVLC碼表提供了一個簡單的方法，不管符号表述什麼類型的資料，都使用統一變字長編碼表。其優點是簡單；缺點是單一的碼表是從機率統計分布模型得出的，沒有考慮編碼符号間的相關性，在中高碼率時效果不是很好。

是以，H.264中還提供了可選的CABAC方法。算術編碼使編碼和解碼兩邊都能使用所有句法元素（變換系數、運動矢量）的機率模型。為了提高算術編碼的效率，通過内容模組化的過程，使基本機率模型能适應随視訊幀而改變的統計特性。内容模組化提供了編碼符号的條件機率估計，利用合适的内容模型，存在于符号間的相關性可以通過選擇目前要編碼符号鄰近的已編碼符号的相應機率模型來去除，不同的句法元素通常保持不同的模型。

H.264在實時視訊聊天中的應用

目前，H.264已被廣泛應用于實時視訊應用中，相比以往的方案使得在同等速率下，H.264能夠比H.263減小50%的碼率。也就是說，使用者即使是隻利用 384kbit/s的帶寬，就可以享受H.263下高達 768kbit/s的高品質視訊服務。H.264 不但有助于節省龐大開支，還可以提高資源的使用效率，同時令達到商業品質的實時視訊服務擁有更多的潛在客戶。

原文轉自

http://www.52im.net/thread-237-1-1.html

，僅作分享用。