目錄
一、圖像壓縮基本概念
1、圖像壓縮的可能性
2、圖像壓縮的可能性
二、圖像壓縮模型
三、資訊論要素
四、無損壓縮和有損壓縮
五、有損壓縮
1、有損預測編碼
（1）有損壓縮的基本概念
（2）量化器
（3）量化器的定義
（4）無損到有損——算法演變
2、變換編碼
六、圖像視訊壓縮标準
1、圖像壓縮标準
2、JPEG标準的劃分
3、JPEG2000壓縮标準(ISO 15444)
4、視訊壓縮
5、視訊編解碼标準
6、264/AVC标準
7、H.264實作的目标
8、視訊編解碼技術的下一步發展趨勢探讨
一、圖像壓縮基本概念
為什麼要進行圖像壓縮？
舉個栗子： 一部90分 鐘的彩色電影，每秒放映24幀。把它數字化，每幀512x512象素， 每象素的R、G、B三分量分别占8 bit，總比特數為:90*60*24*3*512*512*8bit=97200MB=95GB.
如一張CDCD光牒可存600兆位元組資料，這部電影圖像(不包括聲音)就需要160張CDCD光牒用來存儲。
1、圖像壓縮的可能性
圖像作為信源有很大的備援度，通過編碼的方法減少或去掉這些備援資訊後可以有效壓縮圖像，同時又不會損害圖像的有效資訊。資料是用來表示資訊的。如果不同的方法為表示等量的資訊使用了不同的資料量，那麼使用較多資料量的方法中，有些資料必然是代表了無用的資訊，或者是重複地表示了其它資料已表示的資訊，這就是資料備援的概念。
相對資料備援
如果n1和n2代表兩個表示相同資訊的資料集合中所攜載資訊單元的數量，則n1表示的資料集合的相對資料備援
定義為:
其中
為壓縮率
相對資料備援和壓縮率的一些特例
2、圖像壓縮的可能性
■三種基本的資料備援
編碼備援
如果圖像中平均每個像素使用的比特數大于該圖像的資訊熵，則圖像中存在備援。
像素備援
◆反映圖像中像素之間的互相關系:空間備援，幾何備援，幀間備援
◆因為任何給定像素的值可以根據與這個像素相鄰的像素進行預測，是以單個像素攜帶的資訊相對較少
◆對于一幅圖像，很多單個像素對視覺的貢獻是備援的。它的值可以通過與它相鄰的像素值為基礎進行預測
如:原圖像資料: 250 253 251 252 250; ----40bit。
壓縮後資料: 250 3 1 2 0 ---- 14bit。
視覺心理備援
●人眼感覺到的圖像區域亮度不僅取決于該區域的反射光，例如根據馬赫帶效應，在灰階值為常數的區域也能感覺到灰階值的變化
●這是由于眼睛對所有視覺資訊感受的靈敏度不同。在正常視覺處理過程中各種資訊的相對重要程度不同
●有些資訊在通常的視覺過程中與另外一些資訊相比并不那麼重要，我們認為這些資訊是心理視覺備援的，去除這些資訊并不會明顯降低圖像品質
➢由于消除心理視覺備援資料會導緻一定量資訊的丟失，是以這一-過程通常稱為量化
➢心理視覺備援壓縮是不可恢複的，量化的結果導緻了資料有損壓縮。
■如果能減少或消除上述三種備援的1種或多種備援，就能取得資料壓縮的效果。
保真度準則——評價壓縮算法的标準
a.客觀保真度準則—定量描述
b.主觀保真度準則—定性或定性基礎上的定量描述
➢客觀保真度準則
如果資訊損失的程度，可以表示為原始或輸入圖像與壓縮後又解壓縮輸出的圖像的函數，這個函數就被稱為客觀保真度準則。
一般表示為：
e(x, y) = f '(x, y) − f (x, y)
式中：f(x,y)是輸入圖像，f '(x, y)是壓縮後解壓縮的圖像， e(x,y)是誤差函數
由此可得兩個圖像之間的均方根誤差：
均方信噪比：
➢主觀保真度準則
通過視覺比較兩個圖像，給出一個定性的評價，如很粗、粗、稍粗、相同、稍好、較好、很好，這種評價被稱為主觀保真度準則
二、圖像壓縮模型
一個圖像壓縮系統:編碼器和解碼器。
➢編碼器由一個消除輸了備援的信源編碼器和一個用于增強信源編碼輸出的噪聲抗擾性的信道編碼器構成。
➢解碼器由一個信源解碼器和一個信道解碼器構成。
信源編碼器
減少或消除輸入圖像中的編碼備援、像素間備援及心理視覺備援。
■轉換器:減少像素間備援,
■量化器:減少心理視覺備援，該步操作是不可逆的
■符号編碼器:減少編碼備援
并不是每個圖像壓縮系統都必須包含這3種操作，如進行無誤差壓縮時，必須去掉量化器
信源解碼器
■符号解碼器:進行符号編碼的逆操作
■反向轉換器: 進行轉換器的逆操作
為什麼沒有反向量化器? ---量化過程導緻了不可逆的資訊損失
信道編碼器和信道解碼器
■信道編碼是解決可靠性問題，盡量使處理過的信
号在傳輸過程中不出錯或少出錯，即使出錯也要有能力盡量糾正錯誤。
■漢明(Hamming)編碼:在編了碼的碼字後面增加足
夠的比特位以保證各個正确的碼字之間至少有一定數量的比特位不相同
三、資訊論要素
信源的定義：信源指能夠産生資訊的事物
如上圖。第一行是信源可能産生的資訊，第二行是這些資訊出現的機率
資訊量：
熵：
編碼應用中，熵表示信源中消息的平均資訊量。在不考慮消息間的相關性時，是無失真代碼平均長度比特數的下限。
說明該信源編碼平均碼長最短情況下為7/4，不能再小，否則就會引起錯誤。而平均碼長比此數大許多時，就表明還有待改進。
熵的性質:
(1) 熵是一個非負數，即總有H(s)>=0。
(2) 當其中一個符号sj的出現機率p(sj)=1時，其餘符号si(i≠j)的出現機率p(si)=0，H(s)=0。
(3) 當各個si出現的機率相同時，則最大平均資訊量為logq。(此處對數以2為底)
(4)熵值總有H(s)< logq。(此處對數以2為底)
無失真編碼定理
可以證明，在無幹擾的條件下，存在一:種無失真的編碼方法，使編碼的平均長度L與信源的熵H(s)任意地接近, 即L=H(s)+ε。其中ε為任意小的正數，但以H(s)為其下限即L≥H(s)，這就是香農(Shannon)無幹擾編碼定理。
編碼效率：
壓縮比：
由香農(Shannon)無幹擾編碼定理，無失真編碼最大可能的資料壓縮比為：
熵與備援度的關系
對于無失真圖像的編碼，原始圖像資料的壓縮存在一個下限，即平均碼組長度不能小于原始圖像的熵，而理論上的最佳編碼的平均碼長無限接近原始圖像的熵。
資訊備援度一“資訊剩餘度”。是指一定數量的信号單元可能有的最大資訊量與其包含的實際資訊量之差。通常用R表示。在通信系統中，信源編碼是降低信号中的資訊備援度的編碼，目的是提高通信系統的有效性；信道編碼是提高資訊備援度的編碼，目的是提高通信系統的可靠性
基本編碼定理
無噪聲編碼定理
噪聲編碼定理
信源編碼定理
四、無損壓縮和有損壓縮
無誤差壓縮的必要性
■ 在醫療或商業檔案的歸檔，有損壓縮因為法律原因而被禁止
■ 衛星成像的收集，考慮資料使用和所花費用,不希望有任何資料損失
■X光拍片，資訊的丢失會導緻診斷的正确性無損壓縮的壓縮率一般為2-10
無誤差壓縮技術
■減少像素間備援:建立一種可替代的圖像表達方式
減少編碼備援:對這種表達方式進行編碼
變長編碼
➢霍夫曼(Huffman)編碼
➢其它變長編碼
➢算術編碼
LZW編碼
位平面編碼
無損預測編碼
霍夫曼編碼栗子：
幾種變長編碼：
五、有損壓縮
概述
■犧牲圖像複原的準确度以換取壓縮能力的增加
■如果産生的失真可以容忍，則壓縮能力的增加是有效的
分類
■有損預測編碼
➢直接對像素在圖像空間進行操作，稱為空域方法
■變化編碼
➢基于圖像變換的編碼方法，稱為變換域方法
1、有損預測編碼
（1）有損壓縮的基本概念
有損壓縮是：■通過犧牲圖像的準确率來達到增大壓縮率的目的。
■如果容忍解壓後的結果中有一定的誤差，那麼壓縮率可以顯著提高。
有損壓縮方法的壓縮比:■在圖像壓縮比大于30:1時，仍然能夠重構圖像。
■在圖像壓縮比為10:1到20:1時，重構圖像與原圖幾乎沒有差别，且無損壓縮的壓縮比很少有能超過3:1的。
有損與無損壓縮的根本差别在于有沒有量化器子產品。
資料源編、解碼一般類型：
（2）量化器
■減少資料量的最簡單的辦法是将圖像量化成較少的灰階級，通過減少圖像的灰階級來實作圖像的壓縮;
■這種量化是不可逆的，因而解碼時圖像有損失。
例如:如果輸入是256個灰階級，對灰階級量化後輸出，隻剩下4個層次，資料量被大大減少。
（3）量化器的定義
階梯形量化函數t=q(s)，是一個s的奇函數(即q(-s)=-q(s))，它可以通過L/2、
和
來完全描述，進而定義了一個量化器。
■
被稱為量化器的決策級(門檻值) ;
■
被稱為量化器的重構級(代表級)。
■L: 是量化器的級數。
由于習慣的原因，
被認為是映射到
，如果它在半開區間(
,
]
（4）無損到有損——算法演變
基本思想
對無損預測壓縮的誤差進行量化，通過消除視覺心理備援，達到對圖像進一步壓縮的目的。
——引入量化（Quantification）
解碼原理及過程
注意:上述方案的壓縮編碼中，預測器的輸入是fn, 而解壓中的預測器的輸入是fn'，要使用相同的預測器，編碼方案要進行修改。
修改後的有損預測編碼：
DPCM簡介
差分脈沖編碼調制(Differential Pulse CodeModulation, DPCM)，采用回報方法預測估值。
編碼原理圖：
2、變換編碼
編碼、解碼流程圖：
變換編碼基本原理
将FFT逆變換表達式進行改寫：
變換編碼，即要用等式的右部近似原圖像。
進一步改寫：
其中:
1)F是一個包含了f(x,y)的象素的n*n的矩陣;
2)
的值隻依賴坐标變量x,y,u,v，與T(u,v)和f(x,y) 的值無關。被稱為基圖像。可以在變換前一次生成，對每一個n*n的子圖變換都可以使用。
基圖像
：
誤差評估：
其中，||F-^F||是(F- ^F)的矩陣範數，
是變換在(u,v)位置上的系數方差。
最後的簡化是基于基圖像的規範正交，并假設F的像素是通過一個具有0均值和已知協方差的随機處理産生的。
誤差評估小結
(1)總的均方近似誤差是丢棄的變換系數的方差之和(也即對于m(u,v) =0的系數方差之和)。。
(2)能把大多數資訊封裝到最少的系數裡去的變換，可得到最好的子圖像的近似，同時重構誤差也最小。
(3)在導緻等式成立的假設下，一個NX N的圖像的(N/n)2個子圖像的均方誤差是相同的。是以，NX N圖像的均方誤差(是平均誤差的測量)等于一個子圖像的均方誤差。
變換編碼的幾個關鍵問題
■變換的選擇
■對變換的評價
■子圖尺寸的選擇
■壓縮的位配置設定（編碼）
變換的選擇
(1) Karhunen-Loeve變換(KLT)
(2)離散傅立葉變換(DFT)
(3)離散餘弦變換(DCT)
(4) Walsh-Hadamard變換( WHT)
(5)離散小波變換(DWT)
算法的實作
<1> 計算模闆:方差最大的地方置1，其它地方置0;
<2>量化系數:例如最優Lloyd-Max量化器
<3〉結果編碼:有兩種配置設定二進制位的編碼方法:
①系數被賦予相同數量的二進制位。
②系數之間固定地配置設定---定的二進制位。
六、圖像視訊壓縮标準
1、圖像壓縮标準
◆JPEG—— 靜态圖像壓縮标準
Joint Photographic Experts Group(聯合圖像專家組)
◆JPEG2000——新一代靜态 圖像壓縮标準
适用範圍:
➢灰階圖像，彩色圖像
➢靜止圖像的壓縮，視訊序列幀内圖像壓縮
JPEG壓縮标準（ISO 10918-1）
2、JPEG标準的劃分
4種編碼模式
■lossless encoding mode
■DCT based sequential encodingDCT_ based progressive encoding
■DCT_ based hierarchical encoding
3種技術層次(按算法的複雜性)
■基本系統(Baseline System)
■擴充系統(Extended System,提供二進制算術編碼)
■專用無損失系統(Independent System)
3、JPEG2000壓縮标準(ISO 15444)
■核心技術是離散小波變換(DWT)
■高壓縮率
■同時支援有損和無損壓縮
■實作了漸進傳輸
■支援“感興趣區域”壓縮
4、視訊壓縮
視訊的定義：
■由多副尺寸相同的靜止圖像組成的序列
■與靜止圖像相比，視訊多了一個時間軸，成為三維信号
5、視訊編解碼标準
視訊壓縮标準對比：
視訊壓縮标準對比（續）：
6、264/AVC标準
2001年12月，ITU的視訊編編碼專家組(VideoCoding Experts Group, 簡稱VCEG)與ISO/IEC的MPEG(Motion Picture Experts Group)組成聯合視訊組(Joint Video Team, 簡稱JVT) , 于2003年4月最終制定了H.264/AVC編碼标準,其在ITU系列中稱為H.264，在MPEG系列中稱為MPEG-4第10部分進階視訊編碼模式(Advanced Video Coding，簡稱AVC。
H.264/AVC編解碼器的基本架構
7、H.264實作的目标
■更高的編碼效率，在H.263和MPEG-4的基礎上，保持相同圖像品質，節省50%的比特率。
■更好的圖像品質，在各種編碼速率條件下提供滿意的主觀圖像品質。
■更強的時延适應性，适應低延遲時間的實時通信應用，如視訊會議等，也可适應高時延的數字存儲等應用。
■更強的容錯能力，适應包交換網絡中的丢包和無線信道中的誤碼。
■更好的網絡适應能力，分離視訊編碼層(VideoCoding Layer,簡稱VCL)和網絡适配層(NetAbstraction Layer,簡稱NAL)，适應在不同特性的網絡上打包傳輸。
8、視訊編解碼技術的下一步發展趨勢探讨
■HEVC ( High Efficiency Video Coding )
■ 随着網絡技術和終端處理能力的不斷提高，人們對目前廣泛使用的MPEG-2，MPEG-4, H. 264等，提出了新的要求。希望能夠提供:
1)高清
2) 3D
3)移動無線
以滿足新的家庭影院、遠端監控、數字廣播、移動流媒體、便攜攝像、醫學成像等新領域的應用。
■新一代視訊壓 縮标準的核心目标是在H. 264/AVC high profile的基礎上，壓縮效率提高一倍。即在保證相同視訊圖像品質的前提下，視訊流的碼率減少50%。在提高壓縮效率的同時，可以允許編碼端适當提高複雜度。
Structure of the current HEVC model (HM3)