天天看點

MATLAB圖像處理_YUV格式詳解

YUV是指亮度參量和色度參量分開表示的像素格式,而這樣分開的好處就是不但可以避免互相幹擾,還可以降低色度的采樣率而不會對圖像品質影響太大。YUV是一個比較籠統地說法,針對它的具體排列方式,可以分為很多種具體的格式。轉載一篇對yuv格式解釋的比較清楚地文章,也可以直接參考微軟的那篇文章。

對于YUV格式,比較原始的講解是MPEG-2 VIDEO部分的解釋,當然後來微軟有一個比較經典的解釋,中文的大多是翻譯這篇文章的。文章來源:http://msdn.microsoft.com/en-us/library/aa904813(VS.80).aspx

這裡轉載有人已經翻譯過的,個人認為已經翻譯的很不錯了,遂放棄翻譯。

http://hondrif82q.spaces.live.com/blog/cns!776E82726DE60562!177.entry

http://hondrif82q.spaces.live.com/blog/cns!776E82726DE60562!178.entry

YUV格式解析1(播放器——project2)

根據闆卡api設計實作yuv420格式的視訊播放器 打開*.mp4;*.264類型的檔案,實作其播放。 使用的視訊格式是YUV420格式   YUV格式通常有兩大類:打包(packed)格式和平面(planar)格式。前者将YUV分量存放在同一個數組中,通常是幾個相鄰的像素組成一個宏像素(macro-pixel);而後者使用三個數組分開存放YUV三個分量,就像是一個三維平面一樣。表2.3中的YUY2到Y211都是打包格式,而IF09到YVU9都是平面格式。(注意:在介紹各種具體格式時,YUV各分量都會帶有下标,如Y0、U0、V0表示第一個像素的YUV分量,Y1、U1、V1表示第二個像素的YUV分量,以此類推。) MEDIASUBTYPE_YUY2  YUY2格式,以4:2:2方式打包 MEDIASUBTYPE_YUYV  YUYV格式(實際格式與YUY2相同) MEDIASUBTYPE_YVYU  YVYU格式,以4:2:2方式打包 MEDIASUBTYPE_UYVY  UYVY格式,以4:2:2方式打包 MEDIASUBTYPE_AYUV 帶Alpha通道的4:4:4  YUV格式 MEDIASUBTYPE_Y41P  Y41P格式,以4:1:1方式打包 MEDIASUBTYPE_Y411  Y411格式(實際格式與Y41P相同)  MEDIASUBTYPE_Y211  Y211格式 MEDIASUBTYPE_IF09 IF09格式 MEDIASUBTYPE_IYUV IYUV格式 MEDIASUBTYPE_YV12 YV12格式  MEDIASUBTYPE_YVU9 YVU9格式                表2.3  

YUV 采樣

YUV 的優點之一是,色度頻道的采樣率可比 Y 頻道低,同時不會明顯降低視覺品質。有一種表示法可用來描述 U 和 V 與 Y 的采樣頻率比例,這個表示法稱為 A:B:C 表示法:

4:4:4 表示色度頻道沒有下采樣。
4:2:2 表示 2:1 的水準下采樣,沒有垂直下采樣。對于每兩個 U 樣例或 V 樣例,每個掃描行都包含四個 Y 樣例。
4:2:0 表示 2:1 的水準下采樣,2:1 的垂直下采樣。
4:1:1 表示 4:1 的水準下采樣,沒有垂直下采樣。對于每個 U 樣例或 V 樣例,每個掃描行都包含四個 Y 樣例。與其他格式相比,4:1:1 采樣不太常用,本文不對其進行詳細讨論。

圖 1 顯示了 4:4:4 圖檔中使用的采樣網格。燈光樣例用叉來表示,色度樣例則用圈表示。

MATLAB圖像處理_YUV格式詳解

圖 1. YUV 4:4:4 樣例位置

4:2:2 采樣的這種主要形式在 ITU-R Recommendation BT.601 中進行了定義。圖 2 顯示了此标準定義的采樣網格。

MATLAB圖像處理_YUV格式詳解

圖 2. YUV 4:2:2 樣例位置

4:2:0 采樣有兩種常見的變化形式。其中一種形式用于 MPEG-2 視訊,另一種形式用于 MPEG-1 以及 ITU-T recommendations H.261 和 H.263。圖 3 顯示了 MPEG-1 方案中使用的采樣網格,圖 4 顯示了 MPEG-2 方案中使用的采樣網格。

MATLAB圖像處理_YUV格式詳解

圖 3. YUV 4:2:0 樣例位置(MPEG-1 方案)

MATLAB圖像處理_YUV格式詳解

圖 4. YUV 4:2:0 樣例位置(MPEG-2 方案)

與 MPEG-1 方案相比,在 MPEG-2 方案與為 4:2:2 和 4:4:4 格式定義的采樣網格之間進行轉換更簡單一些。是以,在 Windows 中首選 MPEG-2 方案,應該考慮将其作為 4:2:0 格式的預設轉換方案。

表面定義

本節講述推薦用于視訊呈現的 8 位 YUV 格式。這些格式可以分為幾個類别:

4:4:4 格式,每像素 32 位
4:2:2 格式,每像素 16 位
4:2:0 格式,每像素 16 位
4:2:0 格式,每像素 12 位

首先,您應該了解下列概念,這樣才能了解接下來的内容:

表面原點。對于本文講述的 YUV 格式,原點 (0,0) 總是位于表面的左上角。
跨距。表面的跨距,有時也稱為間距,指的是表面的寬度,以位元組數表示。對于一個表面原點位于左上角的表面來說,跨距總是正數。
對齊。表面的對齊是根據圖形顯示驅動程式的不同而定的。表面始終應該 DWORD 對齊,就是說,表面中的各個行肯定都是從 32 位 (DWORD) 邊界開始的。對齊可以大于 32 位,但具體取決于硬體的需求。
打包格式與平面格式。YUV 格式可以分為打包 格式和平面 格式。在打包格式中,Y、U 和 V 元件存儲在一個數組中。像素被組織到了一些巨像素組中,巨像素組的布局取決于格式。在平面格式中,Y、U 和 V 元件作為三個單獨的平面進行存儲。

4:4:4 格式,每像素 32 位

推薦一個 4:4:4 格式,FOURCC 碼為 AYUV。這是一個打包格式,其中每個像素都被編碼為四個連續位元組,其組織順序如下所示。

MATLAB圖像處理_YUV格式詳解

圖 5. AYUV 記憶體布局

标記了 A 的位元組包含 alpha 的值。

4:2:2 格式,每像素 16 位

支援兩個 4:2:2 格式,FOURCC 碼如下:

YUY2
UYVY

兩個都是打包格式,其中每個巨像素都是編碼為四個連續位元組的兩個像素。這樣會使得色度水準下采樣乘以系數 2。

YUY2

在 YUY2 格式中,資料可被視為一個不帶正負号的 char 值組成的數組,其中第一個位元組包含第一個 Y 樣例,第二個位元組包含第一個 U (Cb) 樣例,第三個位元組包含第二個 Y 樣例,第四個位元組包含第一個 V (Cr) 樣例,如圖 6 所示。

MATLAB圖像處理_YUV格式詳解

圖 6. YUY2 記憶體布局

如果該圖像被看作由兩個 little-endian WORD 值組成的數組,則第一個 WORD 在最低有效位 (LSB) 中包含 Y0,在最高有效位 (MSB) 中包含 U。第二個 WORD 在 LSB 中包含 Y1,在 MSB 中包含 V。

YUY2 是用于 Microsoft DirectX® Video Acceleration (DirectX VA) 的首選 4:2:2 像素格式。預期它會成為支援 4:2:2 視訊的 DirectX VA 加速器的中期要求。

UYVY

此格式與 YUY2 相同,隻是位元組順序是與之相反的 — 就是說,色度位元組和燈光位元組是翻轉的(圖 7)。如果該圖像被看作由兩個 little-endian WORD 值組成的數組,則第一個 WORD 在 LSB 中包含 U,在 MSB 中包含 Y0,第二個WORD 在 LSB 中包含 V,在 MSB 中包含 Y1。

MATLAB圖像處理_YUV格式詳解

圖 7. UYVY 記憶體布局

4:2:0 格式,每像素 16 位

推薦兩個 4:2:0 每像素 16 位格式,FOURCC 碼如下:

IMC1
IMC3

兩個 FOURCC 碼都是平面格式。色度頻道在水準方向和垂直方向上都要以系數 2 來進行再次采樣。

IMC1

所有 Y 樣例都會作為不帶正負号的 char 值組成的數組首先顯示在記憶體中。後面跟着所有 V (Cr) 樣例,然後是所有 U (Cb) 樣例。V 和 U 平面與 Y 平面具有相同的跨距,進而生成如圖 8 所示的記憶體的未使用區域。

MATLAB圖像處理_YUV格式詳解

圖 8. IMC1 記憶體布局

IMC3

此格式與 IMC1 相同,隻是 U 和 V 平面進行了交換:

MATLAB圖像處理_YUV格式詳解

圖 9. IMC3 記憶體布局

4:2:0 格式,每像素 12 位

推薦四個 4:2:0 每像素 12 位格式,FOURCC 碼如下:

IMC2
IMC4
YV12
NV12

在所有這些格式中,色度頻道在水準方向和垂直方向上都要以系數 2 來進行再次采樣。

IMC2

此格式與 IMC1 相同,隻是 V (Cr) 和 U (Cb) 行在半跨距邊界處進行了交錯。換句話說,就是色度區域中的每個完整跨距行都以一行 V 樣例開始,然後是一行在下一個半跨距邊界處開始的 U 樣例(圖 10)。此布局與 IMC1 相比,能夠更加高效地利用位址空間。它的色度位址空間縮小了一半,是以整體位址空間縮小了 25%。在各個 4:2:0 格式中,IMC2 是第二首選格式,排在 NV12 之後。

MATLAB圖像處理_YUV格式詳解

圖 10. IMC2 記憶體布局

IMC4

此格式與 IMC2 相同,隻是 U (Cb) 和 V (Cr) 行進行了交換:

MATLAB圖像處理_YUV格式詳解

圖 11. IMC4 記憶體布局

YV12

所有 Y 樣例都會作為不帶正負号的 char 值組成的數組首先顯示在記憶體中。此數組後面緊接着所有 V (Cr) 樣例。V 平面的跨距為 Y 平面跨距的一半,V 平面包含的行為 Y 平面包含行的一半。V 平面後面緊接着所有 U (Cb) 樣例,它的跨距和行數與 V 平面相同(圖 12)。

MATLAB圖像處理_YUV格式詳解

圖 12. YV12 記憶體布局

NV12

所有 Y 樣例都會作為由不帶正負号的 char 值組成的數組首先顯示在記憶體中,并且行數為偶數。Y 平面後面緊接着一個由不帶正負号的 char 值組成的數組,其中包含了打包的 U (Cb) 和 V (Cr) 樣例,如圖 13 所示。當組合的 U-V 數組被視為一個由 little-endian WORD 值組成的數組時,LSB 包含 U 值,MSB 包含 V 值。NV12 是用于 DirectX VA 的首選 4:2:0 像素格式。預期它會成為支援 4:2:0 視訊的 DirectX VA 加速器的中期要求。

MATLAB圖像處理_YUV格式詳解

YUV格式解析2

又确認了一下H264的視訊格式—— H264支援4:2:0的連續或隔行視訊的編碼和解碼   YUV(亦稱YCrCb)是被歐洲電視系統所采用的一種顔色編碼方法(屬于PAL)。YUV主要用于優化彩色視訊信号的傳輸,使其向後相容老式黑白電視。與RGB視訊信号傳輸相比,它最大的優點在于隻需占用極少的帶寬(RGB要求三個獨立的視訊信号同時傳輸)。其中“Y”表示明亮度(Luminance或Luma),也就是灰階值;而“U”和“V”表示的則是色度(Chrominance或Chroma),作用是描述影像色彩及飽和度,用于指定像素的顔色。“亮度”是通過RGB輸入信号來建立的,方法是将RGB信号的特定部分疊加到一起。“色度”則定義了顔色的兩個方面—色調與飽和度,分别用Cr和CB來表示。其中,Cr反映了GB輸入信号紅色部分與RGB信号亮度值之間的差異。而CB反映的是RGB輸入信号藍色部分與RGB信号亮度值之同的差異。   補充一下場的概念—— 場的概念不是從DV才開始有的,電視系統已經有了(當然,DV和電視的關系大家都知道)歸根結底還是掃描的問題,具體到PAL制式是: 

每秒25幀,每幀兩場,掃描線(包括電視機的電子束)自上而下先掃描一場,然後再自上而下掃描第二場 

之是以引入場的概念,我的了解是主要為了在有限的帶寬和成本内使畫面運動更加平滑和消除閃爍感。 

這兩個場的掃描線是一條一條互相間隔開的,比如說對于一個幀來講,最上面一條線編号為0,緊挨着的是1,再下來是2,3,4,5,6。。。。那麼第一場也許是0,2,4,6;也許是1,3,5,7——這就是隔行掃描 

在逐行掃描模式下,就是掃描線按照0,1,2,3,4,5的順序依次掃描,很明顯,這時候就不存在場的概念了。     下面區分一下YUV和YCbCr YUV色彩模型來源于RGB模型, 該模型的特點是将亮度和色度分離開,進而适合于圖像處理領域。 應用:模拟領域 Y'= 0.299*R' + 0.587*G' + 0.114*B' U'= -0.147*R' - 0.289*G' + 0.436*B' = 0.492*(B'- Y') V'= 0.615*R' - 0.515*G' - 0.100*B' = 0.877*(R'- Y') R' = Y' + 1.140*V' G' = Y' - 0.394*U' - 0.581*V' B' = Y' + 2.032*U' YCbCr模型來源于YUV模型。YCbCr是 YUV 顔色空間的偏移版本. 應用:數字視訊,ITU-R BT.601建議 Y’ = 0.257*R' + 0.504*G' + 0.098*B' + 16 Cb' = -0.148*R' - 0.291*G' + 0.439*B' + 128 Cr' = 0.439*R' - 0.368*G' - 0.071*B' + 128 R' = 1.164*(Y’-16) + 1.596*(Cr'-128) G' = 1.164*(Y’-16) - 0.813*(Cr'-128) - 0.392*(Cb'-128) B' = 1.164*(Y’-16) + 2.017*(Cb'-128) PS: 上面各個符号都帶了一撇,表示該符号在原值基礎上進行了伽馬校正,伽馬校正有助于彌補在抗鋸齒的過程中,線性配置設定伽馬值所帶來的細節損失,使圖像細節更加豐富。在沒有采用伽馬校正的情況下,暗部細節不容易顯現出來,而采用了這一圖像增強技術以後,圖像的層次更加明晰了。 是以說H264裡面的YUV應屬于YCbCr.

  下面再仔細談談YUV格式, YUV格式通常有兩大類:打包(packed)格式和平面(planar)格式。前者将YUV分量存放在同一個數組中,通常是幾個相鄰的像素組成一個宏像素(macro-pixel);而後者使用三個數組分開存放YUV三個分量,就像是一個三維平面一樣。 我們常說得YUV420屬于planar格式的YUV, 顔色比例如下: Y0U0V0             Y1                 Y2U2V2                      Y3 Y4                 Y5                 Y6                          Y7 Y8U8V8             Y9                 Y10U10V10                   Y11 Y12                Y13                Y14                         Y15 其他格式YUV可以點這裡檢視詳細内容, 而在YUV檔案中YUV420又是怎麼存儲的呢? 在常見H264測試的YUV序列中,例如CIF圖像大小的YUV序列(352*288),在檔案開始并沒有檔案頭,直接就是YUV資料,先存第一幀的Y資訊,長度為352*288個byte, 然後是第一幀U資訊長度是352*288/4個byte, 最後是第一幀的V資訊,長度是352*288/4個byte, 是以可以算出第一幀資料總長度是352*288*1.5,即152064個byte, 如果這個序列是300幀的話, 那麼序列總長度即為152064*300=44550KB,這也就是為什麼常見的300幀CIF序列總是44M的原因.    

4:4:4采樣就是說三種元素Y,Cb,Cr有同樣的分辨率,這樣的話,在每一個像素點上都對這三種元素進行采樣.數字4是指在水準方向上對于各種元素的采樣率,比如說,每四個亮度采樣點就有四個Cb的Cr采樣值.4:4:4采樣完整地保留了所有的資訊值.4:2:2采樣中(有時記為YUY2),色度元素在縱向與亮度值有同樣的分辨率,而在橫向則是亮度分辨率的一半(4:2:2表示每四個亮度值就有兩個Cb和Cr采樣.)4:2:2視訊用來構造高品質的視訊彩色信号.

在流行的4:2:0采樣格式中(常記為YV12)Cb和Cr在水準和垂直方向上有Y分辨率的一半.4:2:0有些不同,因為它并不是指在實際采樣中使用4:2:0,而是在編碼史中定義這種編碼方法是用來差別于4:4:4和4:2:2方法的).4:2:0采樣被廣泛地應用于消費應用中,比如視訊會議,數字電視和DVD存儲中。因為每個顔色差别元素中包含了四分之一的Y采樣元素量,那麼4:2:0YCbCr視訊需要剛好4: 4:4或RGB視訊中采樣量的一半。

4:2:0采樣有時被描述是一個"每像素12位"的方法。這麼說的原因可以從對四個像素的采樣中看出. 使用4:4:4采樣,一共要進行12次采樣,對每一個Y,Cb和Cr,就需要12*8=96位,平均下來要96/4=24位。使用4:2:0就需要6*8 =48位,平均每個像素48/4=12位。

在一個4:2:0隔行掃描的視訊序列中,對應于一個完整的視訊幀的Y,Cb,Cr采樣配置設定到兩個場中。可以得到,隔行掃描的總采樣數跟漸進式掃描中使用的采樣數目是相同的。

對比一下: Y41P(和Y411)(packed格式)格式為每個像素保留Y分量,而UV分量在水準方向上每4個像素采樣一次。一個宏像素為12個位元組,實際表示8個像素。圖像資料中YUV分量排列順序如下: U0 Y0 V0 Y1 U4 Y2 V4 Y3 Y4 Y5 Y6 Y8 …   IYUV格式(planar)為每個像素都提取Y分量,而在UV分量的提取時,首先将圖像分成若幹個2 x 2的宏塊,然後每個宏塊提取一個U分量和一個V分量。YV12格式與IYUV類似,但仍然是平面模式。   YUV411、YUV420格式多見于DV資料中,前者用于NTSC制,後者用于PAL制。YUV411為每個像素都提取Y分量,而UV分量在水準方向上每4個像素采樣一次。YUV420并非V分量采樣為0,而是跟YUV411相比,在水準方向上提高一倍色差采樣頻率,在垂直方向上以U/V間隔的方式減小一半色差采樣,如下圖所示。   

各種格式的具體使用位數的需求(使用4:2:0采樣,對于每個元素用8個位大小表示):

格式: Sub-QCIF 亮度分辨率: 128*96  每幀使用的位: 147456

格式: QCIF  亮度分辨率: 176*144  每幀使用的位: 304128

格式: CIF  亮度分辨率: 352*288  每幀使用的位: 1216512

格式:  4CIF  亮度分辨率: 704*576  每幀使用的位: 4866048

YUV主要的采樣格式

主要的采樣格式有YCbCr 4:2:0、YCbCr 4:2:2、YCbCr 4:1:1和 YCbCr 4:4:4。其中YCbCr 4:1:1 比較常用,其含義為:每個點儲存一個 8bit 的亮度值(也就是Y值), 每 2x2 個點儲存一個 Cr 和Cb 值, 圖像在肉眼中的感覺不會起太大的變化。是以, 原來用 RGB(R,G,B 都是 8bit unsigned) 模型, 4 個點需要 8x3=24 bites(如下圖第一個圖). 而現在僅需要 8+(8/4)+(8/4)=12bites, 平均每個點占12bites(如下圖第二個圖)。這樣就把圖像的資料壓縮了一半。

    上邊僅給出了理論上的示例,在實際資料存儲中是有可能是不同的,下面給出幾種具體的存儲形式:

(1)    YUV 4:4:4

YUV三個信道的抽樣率相同,是以在生成的圖像裡,每個象素的三個分量資訊完整(每個分量通常8比特),經過8比特量化之後,未經壓縮的每個像素占用3個位元組。

下面的四個像素為: [Y0 U0 V0] [Y1 U1 V1] [Y2 U2 V2] [Y3 U3 V3]

存放的碼流為: Y0 U0 V0 Y1 U1 V1 Y2 U2 V2 Y3 U3 V3

      
(2)   YUV 4:2:2

      
每個色差信道的抽樣率是亮度信道的一半,是以水準方向的色度抽樣率隻是4:4:4的一半。對非壓縮的8比特量化的圖像來說,每個由兩個水準方向相鄰的像素組成的宏像素需要占用4位元組記憶體。
      

下面的四個像素為: [Y0 U0 V0] [Y1 U1 V1] [Y2 U2 V2] [Y3 U3 V3]

存放的碼流為: Y0 U0 Y1 V1 Y2 U2 Y3 V3

      
映射出像素點為:[Y0 U0 V1] [Y1 U0 V1] [Y2 U2 V3] [Y3 U2 V3]

      
(3)   YUV 4:1:1

      
4:1:1的色度抽樣,是在水準方向上對色度進行4:1抽樣。對于低端使用者和消費類産品這仍然是可以接受的。對非壓縮的8比特量化的視訊來說,每個由4個水準方向相鄰的像素組成的宏像素需要占用6位元組記憶體
      

下面的四個像素為: [Y0 U0 V0] [Y1 U1 V1] [Y2 U2 V2] [Y3 U3 V3]

映射出像素點為:[Y0 U0 V2] [Y1 U0 V2] [Y2 U0 V2] [Y3 U0 V2]

      
4:2:0并不意味着隻有Y,Cb而沒有Cr分量。它指得是對每行掃描線來說,隻有一種色度分量以2:1的抽樣率存儲。相鄰的掃描行存儲不同的色度分量,也就是說,如果一行是4:2:0的話,下一行就是4:0:2,再下一行是4:2:0...以此類推。對每個色度分量來說,水準方向和豎直方向的抽樣率都是2:1,是以可以說色度的抽樣率是4:1。對非壓縮的8比特量化的視訊來說,每個由2x2個2行2列相鄰的像素組成的宏像素需要占用6位元組記憶體。

      
下面八個像素為:[Y0 U0 V0] [Y1 U1 V1] [Y2 U2 V2] [Y3 U3 V3]
      
[Y5 U5 V5] [Y6 U6 V6] [Y7U7 V7] [Y8 U8 V8]

      
Y5 V5 Y6 Y7 V7 Y8

      
映射出的像素點為:[Y0 U0 V5] [Y1 U0 V5] [Y2 U2 V7] [Y3 U2 V7]   [Y5 U0 V5] [Y6 U0 V5] [Y7U2 V7] [Y8 U2 V7]