天天看點

最簡單的視音頻播放示例3:Direct3D播放YUV,RGB(通過Surface)

上一篇文章記錄了GDI播放視訊的技術。打算接下來寫兩篇文章記錄Direct3D(簡稱D3D)播放視訊的技術。Direct3D應該Windows下最常用的播放視訊的技術。實際上視訊播放隻是Direct3D的“副業”,它主要用于3D遊戲制作。目前主流的遊戲幾乎都是使用Direct3D制作的,例如《地下城與勇士》,《穿越火線》,《英雄聯盟》,《魔獸世界》,《QQ飛車》等等。使用Direct3D可以用兩種方式渲染視訊:Surface和Texture。使用Surface相對來說比使用Texture要簡單一些,但是不如使用Texture靈活。鑒于使用Surface更加容易上手,本文記錄使用Direct3D中的Surface顯示視訊的技術。下一篇文章再記錄使用Direct3D中的Texture顯示視訊的技術。

最簡單的視音頻播放示例3:Direct3D播放YUV,RGB(通過Surface)

下面下簡單記錄一下背景知識。摘錄修改了維基上的一部分内容(維基上這部分叙述貌似很不準确…):

Direct3D(簡稱:D3D)是微軟公司在Microsoft Windows系統上開發的一套3D繪圖API,是DirectX的一部份,目前廣為各家顯示卡所支援。1995年2月,微軟收購了英國的Rendermorphics公司,将RealityLab 2.0技術發展成Direct3D标準,并整合到Microsoft Windows中,Direct3D在DirectX 3.0開始出現。後來在DirectX 8.0發表時與DirectDraw程式設計介面合并并改名為DirectX Graphics。Direct3D與Windows GDI是同層級元件。它可以直接調用底層顯示卡的功能。與OpenGL同為電腦繪圖軟體和電腦遊戲最常使用的兩套繪圖API。

Direct3D的抽象概念包括:Devices(裝置),Swap Chains(交換鍊)和Resources(資源)。

Device(裝置)用于渲染3D場景。例如單色裝置就會渲染黑白圖檔,而彩色裝置則會渲染彩色圖檔。Device目前我自己了解的有以下2類(還有其他類型,但不是很熟):

HAL(Hardware Abstraction Layer):支援硬體加速的裝置。在所有裝置中運作速度是最快的,也是最常用的。 Reference:模拟一些硬體還不支援的新功能。換言之,就是利用軟體,在CPU對硬體渲染裝置的一個模拟。

每一個Device至少要有一個Swap Chain(交換鍊)。一個Swap Chain由一個或多個Back Buffer Surfaces(背景緩沖表面)組成。渲染在Back Buffer中完成。

此外,Device包含了一系列的Resources(資源),用于定義渲染時候的資料。每個Resources有4個屬性:

Type:描述Resource的類型。例如surface, volume, texture, cube texture, volume texture, surface texture, index buffer 或者vertex buffer。 Usage:描述Resource如何被使用。例如指定Resource是以隻讀方式調用還是以可讀寫的方式調用。 Format:資料的格式。比如一個二維表面的像素格式。例如,D3DFMT_R8G8B8的Format表明了資料格式是24 bits顔色深度的RGB資料。 Pool:描述Resource如何被管理和存儲。預設的情況下Resource會被存儲在裝置的記憶體(例如顯示卡的顯存)中。也可以指定Resource存儲在系統記憶體中。

Direct3D API定義了一組Vertices(頂點), Textures(紋理), Buffers(緩沖區)轉換到螢幕上的流程。這樣的流程稱為Rendering Pipeline(渲染流水線),它的各階段包括:

最簡單的視音頻播放示例3:Direct3D播放YUV,RGB(通過Surface)

Input Assembler(輸入組裝):從應用程式裡讀取vertex資料,将其裝進流水線。

Vertex Shader(頂點着色器):對每個頂點屬性進行着色。每次處理一個頂點,比如變換、貼圖、光照等。注意這個地方可能需要自己程式設計。

Geometry Shader(幾何着色器): Shader Model 4.0引進了幾何着色器,處理點、線、面的幾何坐标變換。此處我自己還不是很了解。

PS:上述處理完後的資料可以了解為以下圖檔。即包含頂點資訊,但不包含顔色資訊。

最簡單的視音頻播放示例3:Direct3D播放YUV,RGB(通過Surface)

Stream Output(流輸出):将Vertex Shader和Geometry Shader處理完成的資料輸出給使用者。

Rasterizer(光栅化): 把算完的頂點轉成像素,再将像素(pixels)輸出給Pixel Shader。這裡也可執行其他工作,比如像素資料的切割,插值等。

PS:光栅化的過程可以了解為下圖。即把頂點轉換成像素。

最簡單的視音頻播放示例3:Direct3D播放YUV,RGB(通過Surface)

Pixel Shader(像素着色器):對每個像素進行着色。注意這個地方可能需要自己程式設計。

Output Merger(輸出混合):整合各種不同的資料,輸出最後結果。

在記錄Direct3D的視訊顯示技術之前,首先記錄一下視訊顯示的基礎知識。我自己歸納總結了以下幾點知識。

在Direct3D中經常會出現“三角形”這個概念。這是因為在3D圖形渲染中,所有的物體都是由三角形構成的。因為一個三角形可以表示一個平面,而3D物體就是由一個或多個平面構成的。比如下圖表示了一個非常複雜的3D地形,它們也不過是由許許多多三角形表示的。

最簡單的視音頻播放示例3:Direct3D播放YUV,RGB(通過Surface)
最簡單的視音頻播放示例3:Direct3D播放YUV,RGB(通過Surface)

是以我們隻要指定一個或多個三角形,就可以表示任意3D物體。

背景緩沖表面和前台表面的概念總是同時出現的。簡單解釋一下它們的作用。當我們進行複雜的繪圖操作時,畫面可能有明顯的閃爍。這是由于繪制的東西沒有同時出現在螢幕上而導緻的。“前台表面”+“背景緩沖表面”的技術可以解決這個問題。前台表面即我們看到的螢幕,背景緩沖表面則在記憶體當中,對我們來說是不可見的。每次的所有繪圖操作不是在螢幕上直接繪制,而是在背景緩沖表面中進行,當繪制完成後,需要的時候再把繪制的最終結果顯示到螢幕上。這樣就解決了上述的問題。

實際上,上述技術還涉及到一個“交換鍊”(Swap Chain)的概念。所謂的“鍊”,指的是一系列的表面組成的一個合集。這些表面中有一個是前台表面(顯示在螢幕上),剩下的都是背景緩沖表面。其實,簡單的交換鍊不需要很多表面,隻要兩個就可以了(雖然感覺不像“鍊”)。一個背景緩沖表面,一個前台表面。所謂的“交換”,即是在需要呈現背景緩沖表面中的内容的時候,交換這兩個表面的“地位”。即前台表面變成背景緩沖表面,背景緩沖表面變成前台表面。如此一來,背景緩沖表面的内容就呈現在螢幕上了。原先的前台表面,則扮演起了新的背景緩沖表面的角色,準備進行新的繪圖操作。當下一次需要顯示畫面的時候,這兩個表面再次交換,如此循環往複,永不停止。

此外,還有一個離屏表面。離屏表面是永遠看不到的表面(所謂“離屏”),它通常被用來存放位圖,并對其中的資料做一些處理。本文介紹的例子中就用到了一個離屏表面。通常的做法是把離屏表面上的位圖複制到背景緩沖表面,背景緩沖表面再顯示到前台表面。

使用Direct3D開發之前需要安裝DirectX SDK。安裝沒有難度,一路“Next”即可。

Microsoft DirectX SDK (June 2010)下載下傳位址:

<a href="http://www.microsoft.com/en-us/download/details.aspx?id=6812" target="_blank">http://www.microsoft.com/en-us/download/details.aspx?id=6812</a>

使用VC進行開發的時候,需要在項目的“屬性”對話框中配置頭檔案和庫:

頭檔案配置:C/C++-&gt;正常-&gt;附加包含目錄

庫檔案配置:

(a)連結器-&gt;正常-&gt;附加庫目錄。

(b)連結器-&gt;輸入-&gt;附加依賴項(填寫一個d3d9.lib)

程式設計的時候,添加頭檔案後即可使用:

最簡單的視音頻播放示例3:Direct3D播放YUV,RGB(通過Surface)

#include &lt;d3d9.h&gt;  

有關Direct3D的知識的介紹還有很多,在這裡就不再記錄了。正如那句俗話:“Talk is cheap, show me the code.”,光說理論還是會給人一種沒有“腳踏實地”的感覺,下文将會結合代碼記錄Direct3D中使用Surface渲染視訊的技術。

使用Direct3D的Surface播放視訊一般情況下需要如下步驟:

1. 建立一個視窗(不屬于D3D的API)

2. 初始化

1) 建立一個Device  2) 基于Device建立一個Surface(離屏表面)

3. 循環顯示畫面

1) 清理 2) 一幀視訊資料拷貝至Surface 3) 開始一個Scene 4) Surface資料拷貝至背景緩沖表面 5) 結束Scene 6) 顯示(背景緩沖表面-&gt;前台表面)

下面結合Direct3D播放YUV/RGB的示例代碼,詳細分析一下上文的流程。

建立一個Win32的視窗程式,就可以用于Direct3D的顯示。程式的入口函數是WinMain(),調用CreateWindow()即可建立一個視窗。這一步是必須的,不然Direct3D繪制的内容就沒有地方顯示了。此處不再詳述。

1) 建立一個Device

這一步完成的時候,可以得到一個IDirect3DDevice9接口的指針。建立一個Device又可以分成以下幾個詳細的步驟:

(a) 通過 Direct3DCreate9()建立一個IDirect3D9接口。

擷取IDirect3D9接口的關鍵實作代碼隻有一行:

最簡單的視音頻播放示例3:Direct3D播放YUV,RGB(通過Surface)

IDirect3D9 *m_pDirect3D9 = Direct3DCreate9( D3D_SDK_VERSION );  

IDirect3D9接口是一個代表我們顯示3D圖形的實體裝置的C++對象。它可以用于獲得實體裝置的資訊和建立一個IDirect3DDevice9接口。例如,可以通過它的GetAdapterDisplayMode()函數擷取目前主顯示卡輸出的分辨率,重新整理頻率等參數,實作代碼如下。

最簡單的視音頻播放示例3:Direct3D播放YUV,RGB(通過Surface)

D3DDISPLAYMODE d3dDisplayMode;  

lRet = m_pDirect3D9-&gt;GetAdapterDisplayMode( D3DADAPTER_DEFAULT, &amp;d3dDisplayMode );  

由代碼可以看出,擷取的資訊存儲在D3DDISPLAYMODE結構體中。D3DDISPLAYMODE結構體中包含了主顯示卡的分辨率等資訊:

最簡單的視音頻播放示例3:Direct3D播放YUV,RGB(通過Surface)

/* Display Modes */  

typedef struct _D3DDISPLAYMODE  

{  

    UINT            Width;  

    UINT            Height;  

    UINT            RefreshRate;  

    D3DFORMAT       Format;  

} D3DDISPLAYMODE;  

也可以用它的GetDeviceCaps()函數搞清楚主顯示卡是否支援硬體頂點處理,實作的代碼如下。

最簡單的視音頻播放示例3:Direct3D播放YUV,RGB(通過Surface)

D3DCAPS9 d3dcaps;  

lRet=m_pDirect3D9-&gt;GetDeviceCaps(D3DADAPTER_DEFAULT,D3DDEVTYPE_HAL,&amp;d3dcaps);  

int hal_vp = 0;  

if( d3dcaps.DevCaps &amp; D3DDEVCAPS_HWTRANSFORMANDLIGHT ){  

    // yes, save in ‘vp’ the fact that hardware vertex  

    // processing is supported.  

    hal_vp = D3DCREATE_HARDWARE_VERTEXPROCESSING;  

}  

由代碼可以看出,擷取的裝置資訊存儲在D3DCAPS9結構體中。D3DCAPS9定義比較長包含了各種各樣的資訊,不再列出來。從該結構體的DevCaps字段可以判斷得出該裝置是否支援硬體頂點處理。

(b) 設定D3DPRESENT_PARAMETERS結構體,為建立Device做準備。

接下來填充一個D3DPRESENT_PARAMETERS結構的執行個體。這個結構用于設定我們将要建立的IDirect3DDevice9對象的一些特性,它的定義如下。

最簡單的視音頻播放示例3:Direct3D播放YUV,RGB(通過Surface)

typedef struct _D3DPRESENT_PARAMETERS_  

    UINT                BackBufferWidth;  

    UINT                BackBufferHeight;  

    D3DFORMAT           BackBufferFormat;  

    UINT                BackBufferCount;  

    D3DMULTISAMPLE_TYPE MultiSampleType;  

    DWORD               MultiSampleQuality;  

    D3DSWAPEFFECT       SwapEffect;  

    HWND                hDeviceWindow;  

    BOOL                Windowed;  

    BOOL                EnableAutoDepthStencil;  

    D3DFORMAT           AutoDepthStencilFormat;  

    DWORD               Flags;  

    /* FullScreen_RefreshRateInHz must be zero for Windowed mode */  

    UINT                FullScreen_RefreshRateInHz;  

    UINT                PresentationInterval;  

} D3DPRESENT_PARAMETERS;  

D3DPRESENT_PARAMETERS這個結構體比較重要。詳細列一下它每個參數的含義:

BackBufferWidth:背景緩沖表面的寬度(以像素為機關)。

BackBufferHeight:背景緩沖表面的高度(以像素為機關)。

BackBufferFormat:背景緩沖表面的像素格式(例如:32位像素格式為D3DFMT:A8R8G8B8)。

BackBufferCount:背景緩沖表面的數量,通常設為“1”,即隻有一個後備表面。

MultiSampleType:全屏抗鋸齒的類型,顯示視訊沒用到,不詳細分析。

MultiSampleQuality:全屏抗鋸齒的品質等級,顯示視訊沒用到,不詳細分析。

SwapEffect:指定表面在交換鍊中是如何被交換的。支援以下取值:

*D3DSWAPEFFECT_DISCARD:背景緩沖表面區的東西被複制到螢幕上後,背景緩沖表面區的東西就沒有什麼用了,可以丢棄了。

*D3DSWAPEFFECT_FLIP: 背景緩沖表面拷貝到前台表面,保持背景緩沖表面内容不變。當背景緩沖表面大于1個時使用。

*D3DSWAPEFFECT_COPY: 同上。當背景緩沖表面等于1個時使用。

一般使用D3DSWAPEFFECT_DISCARD。

hDeviceWindow:與裝置相關的視窗句柄,你想在哪個視窗繪制就寫那個視窗的句柄

Windowed:BOOL型,設為true則為視窗模式,false則為全屏模式

EnableAutoDepthStencil:設為true,D3D将自動建立深度/模版緩沖。

AutoDepthStencilFormat:深度/模版緩沖的格式

Flags:一些附加特性

FullScreen_RefreshRateInHz:重新整理率,設定D3DPRESENT_RATE_DEFAULT使用預設重新整理率

PresentationInterval:設定重新整理的間隔,可以用以下方式:

*D3DPRENSENT_INTERVAL_DEFAULT,則說明在顯示一個渲染畫面的時候必要等候顯示器重新整理完一次螢幕。例如顯示器重新整理率設為80Hz的話,則一秒最多可以顯示80個渲染畫面。

*D3DPRENSENT_INTERVAL_IMMEDIATE:表示可以以實時的方式來顯示渲染畫面。

下面列出使用Direct3D播放視訊的時候D3DPRESENT_PARAMETERS的一個最簡單的設定。

最簡單的視音頻播放示例3:Direct3D播放YUV,RGB(通過Surface)

//D3DPRESENT_PARAMETERS Describes the presentation parameters.  

D3DPRESENT_PARAMETERS d3dpp;   

ZeroMemory( &amp;d3dpp, sizeof(d3dpp) );  

d3dpp.Windowed = TRUE;  

d3dpp.SwapEffect = D3DSWAPEFFECT_DISCARD;  

d3dpp.BackBufferFormat = D3DFMT_UNKNOWN;  

(c) 通過IDirect3D9的CreateDevice ()建立一個Device。

最後就可以調用IDirect3D9的CreateDevice()方法建立Device了。

CreateDevice()的函數原型如下:

最簡單的視音頻播放示例3:Direct3D播放YUV,RGB(通過Surface)

HRESULT CreateDevice(  

UINT Adapter,  

D3DDEVTYPE DeviceType,  

HWND hFocusWindow,  

DWORD BehaviorFlags,  

D3DPRESENT_PARAMETERS *pPresentationParameters,  

IDirect3DDevice9** ppReturnedDeviceInterface  

);  

其中每個參數的含義如下所列:

Adapter:指定對象要表示的實體顯示裝置。D3DADAPTER_DEFAULT始終是主要的顯示器擴充卡。

DeviceType:裝置類型,包括D3DDEVTYPE_HAL(Hardware Accelerator,硬體加速)、D3DDEVTYPE_SW(SoftWare,軟體)。

hFocusWindow:同我們在前面d3dpp.hDeviceWindow的相同

BehaviorFlags:設定為D3DCREATE_SOFTWARE_VERTEXPROCESSING(軟體頂點處理)或者D3DCREATE_HARDWARE_VERTEXPROCESSING(硬體頂點處理),使用前應該用D3DCAPS9來檢測使用者計算機是否支援硬體頂點處理功能。

pPresentationParameters:指定一個已經初始化好的D3DPRESENT_PARAMETERS執行個體

ppReturnedDeviceInterface:傳回建立的Device

下面列出使用Direct3D播放視訊的時候CreateDevice()的一個典型的代碼。

最簡單的視音頻播放示例3:Direct3D播放YUV,RGB(通過Surface)

IDirect3DDevice9 *m_pDirect3DDevice;  

D3DPRESENT_PARAMETERS d3dpp;  

…  

m_pDirect3D9-&gt;CreateDevice( D3DADAPTER_DEFAULT, D3DDEVTYPE_HAL,hwnd,  

        D3DCREATE_SOFTWARE_VERTEXPROCESSING,  

        &amp;d3dpp, &amp;m_pDirect3DDevice );  

2) 基于Device建立一個Surface

通過IDirect3DDevice9接口的CreateOffscreenPlainSurface ()方法即可建立一個Surface(離屏表面。所謂的“離屏”指的是永遠不在螢幕上顯示)。CreateOffscreenPlainSurface ()的函數原型如下所示:

最簡單的視音頻播放示例3:Direct3D播放YUV,RGB(通過Surface)

HRESULT CreateOffscreenPlainSurface(UINT width,  

 UINT height,  

 D3DFORMAT format,  

 D3DPOOL pool,  

 IDirect3DSurface9 ** result,  

 HANDLE * unused  

 );  

Width:離屏表面的寬。

Height:離屏表面的高。

Format:離屏表面的像素格式(例如:32位像素格式為D3DFMT_A8R8G8B8)

Pool:D3DPOOL定義了資源對應的記憶體類型,例如如下幾種類型。

D3D3POOL_DEFAULT: 預設值,表示存在于顯示卡的顯存中。

D3D3POOL_MANAGED:由Direct3D自由排程記憶體的位置(顯存或者緩存中)。

D3DPOOL_SYSTEMMEM: 表示位于記憶體中。

Result:傳回建立的Surface。

Unused:還未研究。

下面給出一個使用Direct3D播放視訊的時候CreateTexture()的典型代碼。該代碼建立了一個像素格式為YV12的離屏表面,存儲于顯示卡的顯存中。

最簡單的視音頻播放示例3:Direct3D播放YUV,RGB(通過Surface)

IDirect3DDevice9 * m_pDirect3DDevice;  

IDirect3DSurface9 *m_pDirect3DSurfaceRender;  

m_pDirect3DDevice-&gt;CreateOffscreenPlainSurface(  

        lWidth,lHeight,  

        (D3DFORMAT)MAKEFOURCC('Y', 'V', '1', '2'),  

        D3DPOOL_DEFAULT,  

        &amp;m_pDirect3DSurfaceRender,  

        NULL);  

建立Surface完成之後,初始化工作就完成了。

循環顯示畫面就是一幀一幀的讀取YUV/RGB資料,然後顯示在螢幕上的過程,下面詳述一下步驟。

在顯示之前,通過IDirect3DDevice9接口的Clear()函數可以清理Surface。個人感覺在播放視訊的時候用不用這個函數都可以。因為視訊本身就是全屏顯示的。顯示下一幀的時候自然會覆寫前一幀的所有内容。Clear()函數的原型如下所示:

最簡單的視音頻播放示例3:Direct3D播放YUV,RGB(通過Surface)

HRESULT Clear(  

 DWORD Count,  

 const D3DRECT *pRects,  

 DWORD Flags,  

 D3DCOLOR Color,  

 float Z,  

 DWORD Stencil  

Count:說明你要清空的矩形數目。如果要清空的是整個客戶區視窗,則設為0; 

 pRects:這是一個D3DRECT結構體的一個數組,如果count中設為5,則這個數組中就得有5個元素。 

 Flags:一些标記組合。隻有三種标記:D3DCLEAR_STENCIL , D3DCLEAR_TARGET , D3DCLEAR_ZBUFFER。 

 Color:清除目标區域所使用的顔色。 

 float:設定Z緩沖的Z初始值。Z緩沖還沒研究過。 

 Stencil:這個在播放視訊的時候也沒有用到。

下面給出一個使用Direct3D播放視訊的時候IDirect3DDevice9的Clear()的典型代碼。

最簡單的視音頻播放示例3:Direct3D播放YUV,RGB(通過Surface)

m_pDirect3DDevice-&gt;Clear(0, NULL, D3DCLEAR_TARGET, D3DCOLOR_XRGB(0, 0, 255), 1.0f, 0);  

上述代碼運作完後,螢幕會變成藍色(R,G,B取值為0,0,255)。

操作Surface的像素資料,需要使用IDirect3DSurface9的LockRect()和UnlockRect()方法。使用LockRect()鎖定紋理上的一塊矩形區域,該矩形區域被映射成像素數組。利用函數傳回的D3DLOCKED_RECT結構體,可以對數組中的像素進行直接存取。LockRect()函數原型如下。

最簡單的視音頻播放示例3:Direct3D播放YUV,RGB(通過Surface)

HRESULT LockRect(  

  D3DLOCKED_RECT *pLockedRect,  

  const RECT *pRect,  

  DWORD Flags  

每個參數的意義如下:

pLockedRect: 傳回的一個D3DLOCKED_RECT結構體用于描述被鎖定的區域。

pRect: 使用一個 RECT結構體指定需要鎖定的區域。如果為NULL的話就是整個區域。

Flags: 暫時還沒有細研究。

其中D3DLOCKED_RECT結構體定義如下所示。

最簡單的視音頻播放示例3:Direct3D播放YUV,RGB(通過Surface)

typedef struct _D3DLOCKED_RECT  

    INT                 Pitch;  

    void*               pBits;  

} D3DLOCKED_RECT;  

兩個參數的意義如下:

Pitch:surface中一行像素的資料量(Bytes)。注意這個的值并不一定等于實際像素資料一行像素的資料量(通常會大一些),它取值一般是4的整數倍。

pBits:指向被鎖定的資料。

使用LockRect()函數之後,就可以對其傳回的D3DLOCKED_RECT中的資料進行操作了。例如memcpy()等。操作完成後,調用UnlockRect()方法。

下面給出一個使用Direct3D的Surface播放視訊的時候IDirect3DSurface9的資料拷貝的典型代碼。該代碼拷貝了YUV420P的資料至Surface。

最簡單的視音頻播放示例3:Direct3D播放YUV,RGB(通過Surface)

HRESULT lRet;  

...  

D3DLOCKED_RECT d3d_rect;  

lRet=m_pDirect3DSurfaceRender-&gt;LockRect(&amp;d3d_rect,NULL,D3DLOCK_DONOTWAIT);  

if(FAILED(lRet))  

    return -1;  

byte *pSrc = buffer;  

byte * pDest = (BYTE *)d3d_rect.pBits;  

int stride = d3d_rect.Pitch;  

unsigned long i = 0;  

//Copy Data (YUV420P)  

for(i = 0;i &lt; pixel_h;i ++){  

    memcpy(pDest + i * stride,pSrc + i * pixel_w, pixel_w);  

for(i = 0;i &lt; pixel_h/2;i ++){  

    memcpy(pDest + stride * pixel_h + i * stride / 2,pSrc + pixel_w * pixel_h + pixel_w * pixel_h / 4 + i * pixel_w / 2, pixel_w / 2);  

    memcpy(pDest + stride * pixel_h + stride * pixel_h / 4 + i * stride / 2,pSrc + pixel_w * pixel_h + i * pixel_w / 2, pixel_w / 2);  

lRet=m_pDirect3DSurfaceRender-&gt;UnlockRect();  

使用IDirect3DDevice9接口的BeginScene()開始一個Scene。Direct3D中規定所有繪制方法都必須在BeginScene()和EndScene()之間完成。這個函數沒有參數。

使用IDirect3DDevice9接口的GetBackBuffer() 可以獲得背景緩沖表面。然後使用StretchRect()方法可以将Surface的資料拷貝至背景緩沖表面中,等待顯示。

GetBackBuffer()函數原型如下。

最簡單的視音頻播放示例3:Direct3D播放YUV,RGB(通過Surface)

HRESULT GetBackBuffer(  

  UINT  iSwapChain,   

  UINT  BackBuffer,   

  D3DBACKBUFFER_TYPE Type,  

  IDirect3DSurface9 ** ppBackBuffer   

函數中參數含義如下:

iSwapChain:指定正在使用的交換鍊索引。

BackBuffer:背景緩沖表面索引。

Type:背景緩沖表面的類型。

ppBackBuffer:儲存背景緩沖表面的LPDIRECT3DSURFACE9對象。

StretchRect()可以将一個矩形區域的像素從裝置記憶體的一個Surface轉移到另一個Surface上。StretchRect()函數的原型如下。

最簡單的視音頻播放示例3:Direct3D播放YUV,RGB(通過Surface)

HRESULT StretchRect(  

  IDirect3DSurface9 * pSourceSurface,  

  CONST RECT * pSourceRect,  

  IDirect3DSurface9 * pDestSurface,  

  CONST RECT * pDestRect,  

  D3DTEXTUREFILTERTYPE Filter  

pSourceSurface:指向源Surface的指針。

pSourceRect:使用一個 RECT結構體指定源Surface需要複制的區域。如果為NULL的話就是整個區域。

pDestSurface:指向目标Surface的指針。

pDestRect:使用一個 RECT結構體指定目标Surface的區域。

Filter:設定圖像大小變換的時候的插值方法。例如:

D3DTEXF_POINT:鄰域法。品質較差。

D3DTEXF_LINEAR:線性插值,最常用。

下面給出的代碼将離屏表面的資料傳給了背景緩沖表面。一但傳給了背景緩沖表面,就可以用于顯示了。

最簡單的視音頻播放示例3:Direct3D播放YUV,RGB(通過Surface)

IDirect3DSurface9 * pBackBuffer;  

m_pDirect3DDevice-&gt;GetBackBuffer(0,0,D3DBACKBUFFER_TYPE_MONO,&amp;pBackBuffer);  

m_pDirect3DDevice-&gt;StretchRect(m_pDirect3DSurfaceRender,NULL,pBackBuffer,&amp;m_rtViewport,D3DTEXF_LINEAR);  

EndScene()和BeginScene()是成對出現的,不再解釋。

6) 顯示

使用IDirect3DDevice9接口的Present ()顯示結果。Present ()的原型如下。

最簡單的視音頻播放示例3:Direct3D播放YUV,RGB(通過Surface)

HRESULT Present(  

   const RECT *pSourceRect,  

   const RECT *pDestRect,  

   HWND hDestWindowOverride,  

   const RGNDATA *pDirtyRegion  

  );  

幾個參數的意義如下:

pSourceRect:你想要顯示的背景緩沖表面區的一個矩形區域。設為NULL則表示要把整個背景緩沖表面區的内容都顯示。 

pDestRect:表示一個顯示區域。設為NULL表示整個客戶顯示區。 

hDestWindowOverride:你可以通過它來把顯示的内容顯示到不同的視窗去。設為NULL則表示顯示到主視窗。 

pDirtyRegion:一般設為NULL

下面給出一個使用Direct3D播放視訊的時候IDirect3DDevice9的Present ()的典型代碼。從代碼可以看出,全部設定為NULL就可以了。

最簡單的視音頻播放示例3:Direct3D播放YUV,RGB(通過Surface)

m_pDirect3DDevice-&gt;Present( NULL, NULL, NULL, NULL );  

文章至此,使用Direct3D顯示YUV/RGB的全部流程就記錄完畢了。最後貼一張圖總結上述流程。

最簡單的視音頻播放示例3:Direct3D播放YUV,RGB(通過Surface)

完整的代碼如下所示。

最簡單的視音頻播放示例3:Direct3D播放YUV,RGB(通過Surface)

/** 

 * 最簡單的Direct3D播放視訊的例子(Direct3D播放RGB/YUV)[Surface] 

 * Simplest Video Play Direct3D (Direct3D play RGB/YUV)[Surface] 

 * 

 * 雷霄骅 Lei Xiaohua 

 * [email protected] 

 * 中國傳媒大學/數字電視技術 

 * Communication University of China / Digital TV Technology 

 * http://blog.csdn.net/leixiaohua1020 

 * 本程式使用Direct3D播放RGB/YUV視訊像素資料。使用D3D中的Surface渲染資料。 

 * 使用Surface渲染視訊相對于另一種方法(使用Texture)來說,更加簡單,适合 

 * 新手學習。 

 * 函數調用步驟如下: 

 * [初始化] 

 * Direct3DCreate9():獲得IDirect3D9 

 * IDirect3D9-&gt;CreateDevice():通過IDirect3D9建立Device(裝置)。 

 * IDirect3DDevice9-&gt;CreateOffscreenPlainSurface():通過Device建立一個Surface(離屏表面)。 

 * [循環渲染資料] 

 * IDirect3DSurface9-&gt;LockRect():鎖定離屏表面。 

 * memcpy():填充資料 

 * IDirect3DSurface9-&gt;UnLockRect():解鎖離屏表面。 

 * IDirect3DDevice9-&gt;BeginScene():開始繪制。 

 * IDirect3DDevice9-&gt;GetBackBuffer():獲得後備緩沖。 

 * IDirect3DDevice9-&gt;StretchRect():拷貝Surface資料至後備緩沖。 

 * IDirect3DDevice9-&gt;EndScene():結束繪制。 

 * IDirect3DDevice9-&gt;Present():顯示出來。 

 * This software play RGB/YUV raw video data using Direct3D. It uses Surface  

 * in D3D to render the pixel data. Compared to another method (use Texture),  

 * it is more simple and suitable for the beginner of Direct3D. 

 * The process is shown as follows: 

 * [Init] 

 * Direct3DCreate9(): Get IDirect3D9. 

 * IDirect3D9-&gt;CreateDevice(): Create a Device. 

 * IDirect3DDevice9-&gt;CreateOffscreenPlainSurface(): Create a Offscreen Surface. 

 * [Loop to Render data] 

 * IDirect3DSurface9-&gt;LockRect(): Lock the Offscreen Surface. 

 * memcpy(): Fill pixel data... 

 * IDirect3DSurface9-&gt;UnLockRect(): UnLock the Offscreen Surface. 

 * IDirect3DDevice9-&gt;BeginScene(): Begin drawing. 

 * IDirect3DDevice9-&gt;GetBackBuffer(): Get BackBuffer. 

 * IDirect3DDevice9-&gt;StretchRect(): Copy Surface data to BackBuffer. 

 * IDirect3DDevice9-&gt;EndScene(): End drawing. 

 * IDirect3DDevice9-&gt;Present(): Show on the screen. 

 */  

#include &lt;stdio.h&gt;  

#include &lt;tchar.h&gt;  

CRITICAL_SECTION  m_critial;  

IDirect3D9 *m_pDirect3D9= NULL;  

IDirect3DDevice9 *m_pDirect3DDevice= NULL;  

IDirect3DSurface9 *m_pDirect3DSurfaceRender= NULL;  

RECT m_rtViewport;  

//set '1' to choose a type of file to play  

//Read BGRA data  

#define LOAD_BGRA    0  

//Read YUV420P data  

#define LOAD_YUV420P 1  

//Width, Height  

const int screen_w=500,screen_h=500;  

const int pixel_w=320,pixel_h=180;  

FILE *fp=NULL;  

//Bit per Pixel  

#if LOAD_BGRA  

const int bpp=32;  

#elif LOAD_YUV420P  

const int bpp=12;  

#endif  

unsigned char buffer[pixel_w*pixel_h*bpp/8];  

void Cleanup()  

    EnterCriticalSection(&amp;m_critial);  

    if(m_pDirect3DSurfaceRender)  

        m_pDirect3DSurfaceRender-&gt;Release();  

    if(m_pDirect3DDevice)  

        m_pDirect3DDevice-&gt;Release();  

    if(m_pDirect3D9)  

        m_pDirect3D9-&gt;Release();  

    LeaveCriticalSection(&amp;m_critial);  

int InitD3D( HWND hwnd, unsigned long lWidth, unsigned long lHeight )  

    HRESULT lRet;  

    InitializeCriticalSection(&amp;m_critial);  

    Cleanup();  

    m_pDirect3D9 = Direct3DCreate9( D3D_SDK_VERSION );  

    if( m_pDirect3D9 == NULL )  

        return -1;  

    D3DPRESENT_PARAMETERS d3dpp;   

    ZeroMemory( &amp;d3dpp, sizeof(d3dpp) );  

    d3dpp.Windowed = TRUE;  

    d3dpp.SwapEffect = D3DSWAPEFFECT_DISCARD;  

    d3dpp.BackBufferFormat = D3DFMT_UNKNOWN;  

    GetClientRect(hwnd,&amp;m_rtViewport);  

    lRet=m_pDirect3D9-&gt;CreateDevice( D3DADAPTER_DEFAULT, D3DDEVTYPE_HAL,hwnd,  

    if(FAILED(lRet))  

    lRet=m_pDirect3DDevice-&gt;CreateOffscreenPlainSurface(  

        D3DFMT_X8R8G8B8,  

    return 0;  

bool Render()  

    //Read Data  

    //RGB  

    if (fread(buffer, 1, pixel_w*pixel_h*bpp/8, fp) != pixel_w*pixel_h*bpp/8){  

        // Loop  

        fseek(fp, 0, SEEK_SET);  

        fread(buffer, 1, pixel_w*pixel_h*bpp/8, fp);  

    }  

    if(m_pDirect3DSurfaceRender == NULL)  

    D3DLOCKED_RECT d3d_rect;  

    lRet=m_pDirect3DSurfaceRender-&gt;LockRect(&amp;d3d_rect,NULL,D3DLOCK_DONOTWAIT);  

    byte *pSrc = buffer;  

    byte * pDest = (BYTE *)d3d_rect.pBits;  

    int stride = d3d_rect.Pitch;  

    unsigned long i = 0;  

    //Copy Data  

    int pixel_w_size=pixel_w*4;  

    for(i=0; i&lt; pixel_h; i++){  

        memcpy( pDest, pSrc, pixel_w_size );  

        pDest += stride;  

        pSrc += pixel_w_size;  

    for(i = 0;i &lt; pixel_h;i ++){  

        memcpy(pDest + i * stride,pSrc + i * pixel_w, pixel_w);  

    for(i = 0;i &lt; pixel_h/2;i ++){  

        memcpy(pDest + stride * pixel_h + i * stride / 2,pSrc + pixel_w * pixel_h + pixel_w * pixel_h / 4 + i * pixel_w / 2, pixel_w / 2);  

        memcpy(pDest + stride * pixel_h + stride * pixel_h / 4 + i * stride / 2,pSrc + pixel_w * pixel_h + i * pixel_w / 2, pixel_w / 2);  

    lRet=m_pDirect3DSurfaceRender-&gt;UnlockRect();  

    if (m_pDirect3DDevice == NULL)  

    m_pDirect3DDevice-&gt;Clear( 0, NULL, D3DCLEAR_TARGET, D3DCOLOR_XRGB(0,0,0), 1.0f, 0 );  

    m_pDirect3DDevice-&gt;BeginScene();  

    IDirect3DSurface9 * pBackBuffer = NULL;  

    m_pDirect3DDevice-&gt;GetBackBuffer(0,0,D3DBACKBUFFER_TYPE_MONO,&amp;pBackBuffer);  

    m_pDirect3DDevice-&gt;StretchRect(m_pDirect3DSurfaceRender,NULL,pBackBuffer,&amp;m_rtViewport,D3DTEXF_LINEAR);  

    m_pDirect3DDevice-&gt;EndScene();  

    m_pDirect3DDevice-&gt;Present( NULL, NULL, NULL, NULL );  

    return true;  

LRESULT WINAPI MyWndProc(HWND hwnd, UINT msg, WPARAM wparma, LPARAM lparam)  

    switch(msg){  

    case WM_DESTROY:  

        Cleanup();  

        PostQuitMessage(0);  

        return 0;  

    return DefWindowProc(hwnd, msg, wparma, lparam);  

int WINAPI WinMain( __in HINSTANCE hInstance, __in_opt HINSTANCE hPrevInstance, __in LPSTR lpCmdLine, __in int nShowCmd )  

    WNDCLASSEX wc;  

    ZeroMemory(&amp;wc, sizeof(wc));  

    wc.cbSize = sizeof(wc);  

    wc.hbrBackground = (HBRUSH)(COLOR_WINDOW + 1);  

    wc.lpfnWndProc = (WNDPROC)MyWndProc;  

    wc.lpszClassName = L"D3D";  

    wc.style = CS_HREDRAW | CS_VREDRAW;  

    RegisterClassEx(&amp;wc);  

    HWND hwnd = NULL;  

    hwnd = CreateWindow(L"D3D", L"Simplest Video Play Direct3D (Surface)", WS_OVERLAPPEDWINDOW, 100, 100, 500, 500, NULL, NULL, hInstance, NULL);  

    if (hwnd==NULL){  

    if(InitD3D( hwnd, pixel_w, pixel_h)==E_FAIL){  

    ShowWindow(hwnd, nShowCmd);  

    UpdateWindow(hwnd);  

    fp=fopen("../test_bgra_320x180.rgb","rb+");  

    fp=fopen("../test_yuv420p_320x180.yuv","rb+");  

    if(fp==NULL){  

        printf("Cannot open this file.\n");  

    MSG msg;  

    ZeroMemory(&amp;msg, sizeof(msg));  

    while (msg.message != WM_QUIT){  

        //PeekMessage, not GetMessage  

        if (PeekMessage(&amp;msg, NULL, 0, 0, PM_REMOVE)){  

            TranslateMessage(&amp;msg);  

            DispatchMessage(&amp;msg);  

        }  

        else{  

            Sleep(40);  

            Render();  

    UnregisterClass(L"D3D", hInstance);  

1.可以通過設定定義在檔案開始出的宏,決定讀取哪個格式的像素資料(bgra,yuv420p)。

最簡單的視音頻播放示例3:Direct3D播放YUV,RGB(通過Surface)

//set '1' to choose a type of file to play    

2.視窗的寬高為screen_w,screen_h。像素資料的寬高為pixel_w,pixel_h。它們的定義如下。

最簡單的視音頻播放示例3:Direct3D播放YUV,RGB(通過Surface)

//Width, Height    

const int screen_w=500,screen_h=500;    

const int pixel_w=320,pixel_h=180;    

3.其他要點

本程式使用的是Win32的API建立的視窗。但注意這個并不是MFC應用程式的視窗。MFC代碼量太大,并不适宜用來做教程。是以使用Win32的API建立視窗。程式的入口函數是WinMain(),其中調用了CreateWindow()建立了顯示視訊的視窗。此外,程式中的消息循環使用的是PeekMessage()而不是GetMessage()。GetMessage()擷取消息後,将消息從系統中移除,當系統無消息時,會等待下一條消息,是阻塞函數。而函數PeekMesssge()是以檢視的方式從系統中擷取消息,可以不将消息從系統中移除(相當于“偷看”消息),是非阻塞函數;當系統無消息時,傳回FALSE,繼續執行後續代碼。使用PeekMessage()的好處是可以保證每隔40ms可以顯示下一幀畫面。

不論選擇讀取哪個格式的檔案,程式的最終輸出效果都是一樣的,如下圖所示。

最簡單的視音頻播放示例3:Direct3D播放YUV,RGB(通過Surface)

代碼位于“Simplest Media Play”中

上述工程包含了使用各種API(Direct3D,OpenGL,GDI,DirectSound,SDL2)播放多媒體例子。其中音頻輸入為PCM采樣資料。輸出至系統的聲霸卡播放出來。視訊輸入為YUV/RGB像素資料。輸出至顯示器上的一個視窗播放出來。

通過本工程的代碼初學者可以快速學習使用這幾個API播放視訊和音頻的技術。

一共包括了如下幾個子工程:

simplest_audio_play_directsound:  使用DirectSound播放PCM音頻采樣資料。

simplest_audio_play_sdl2:  使用SDL2播放PCM音頻采樣資料。

simplest_video_play_direct3d:  使用Direct3D的Surface播放RGB/YUV視訊像素資料。

simplest_video_play_direct3d_texture:使用Direct3D的Texture播放RGB視訊像素資料。

simplest_video_play_gdi:  使用GDI播放RGB/YUV視訊像素資料。

simplest_video_play_opengl:  使用OpenGL播放RGB/YUV視訊像素資料。

simplest_video_play_opengl_texture: 使用OpenGL的Texture播放YUV視訊像素資料。

simplest_video_play_sdl2:  使用SDL2播放RGB/YUV視訊像素資料。

繼續閱讀