DirectShow系統初級指南

流媒體的處理，以其複雜性和技術性，一向廣受工業界的關注。特别伴随着網際網路的普及，流媒體在網絡上的廣泛應用，怎樣使流媒體的處理變得簡單而富有成效逐漸成為了焦點問題。選擇一種合适的應用方案，事半功倍。此時，微軟的DirectShow，給了我們一個不錯的選擇。

　　DirectShow是微軟公司提供的一套在Windows平台上進行流媒體處理的開發包，與DirectX開發包一起釋出。目前，DirectX最新版本為8.1。

　　那麼，DirectShow能夠做些什麼呢？且看，DirectShow為多媒體流的捕捉和回放提供了強有力的支援。運用DirectShow，我們可以很友善地從支援WDM驅動模型的采集卡上捕獲資料，并且進行相應的後期處理乃至存儲到檔案中。它廣泛地支援各種媒體格式，包括Asf、Mpeg、Avi、Dv、Mp3、Wave等等，使得多媒體資料的回放變得輕而易舉。另外，DirectShow還內建了DirectX其它部分（比如DirectDraw、DirectSound）的技術，直接支援DVD的播放，視訊的非線性編輯，以及與數字錄影機的資料交換。更值得一提的是，DirectShow提供的是一種開放式的開發環境，我們可以根據自己的需要定制自己的元件。

　　DirectShow使用一種叫Filter Graph的模型來管理整個資料流的處理過程；參與資料處理的各個功能子產品叫做Filter；各個Filter在Filter Graph中按一定的順序連接配接成一條“流水線”協同工作。大家可以看到，按照功能來分，Filter大緻分為三類：Source Filters、Transform Filters和Rendering Filters。Source Filters主要負責取得資料，資料源可以是檔案、網際網路、或者計算機裡的采集卡、數字錄影機等，然後将資料往下傳輸；Transform Fitlers主要負責資料的格式轉換、傳輸；Rendering Filtes主要負責資料的最終去向，我們可以将資料送給聲霸卡、顯示卡進行多媒體的示範，也可以輸出到檔案進行存儲。值得注意的是，三個部分并不是都隻有一個Filter去完成功能。恰恰相反，每個部分往往是有幾個Fitler協同工作的。比如，Transform Filters可能包含了一個Mpeg的解碼Filter、以及視訊色彩空間的轉換Filter、音頻采樣頻率轉換Filter等等。除了系統提供的大量Filter外，我們可以定制自己的Filter，以完成我們需要的功能。下圖是一條典型的Avi檔案回放Filter Graph鍊路：

　　在DirectShow系統之上，我們看到的，即是我們的應用程式（Application）。應用程式要按照一定的意圖建立起相應的Filter Graph，然後通過Filter Graph Manager來控制整個的資料處理過程。DirectShow能在Filter Graph運作的時候接收到各種事件，并通過消息的方式發送到我們的應用程式。這樣，就實作了應用程式與DirectShow系統之間的互動。下圖給出了DirectShow應用程式開發的一般過程：

　　以上簡單介紹了DirectShow的系統結構，希望大家對這個強勁的應用架構已經有了大概的認識。如果你有興趣，可以詳細研究DirectX的幫助文檔。DirectShow是一個強大的開發包；另外，它是基于COM的，是以要求程式員具有COM程式設計的一些基本知識。關于如何深入學習DirectShow應用結構以及開發自己的Filter，請參閱筆者的後續文章。筆者将從程式設計的角度，詳細講述來源于實際工作中的經驗之談。

　　從下面開始，我們要從程式員的角度，進一步深入探讨一下DirectShow的應用以及Filter的開發。

　　在這之前，筆者首先要特别提一下微軟提供的一個Filter測試工具——GraphEdit，它的路徑在DXSDK/bin/DXUtils/GraphEdit.exe。（如果您還沒有安裝DirectX SDK，請到微軟的網站上去下載下傳。）通過這個工具，我們可以很直覺地看到Filter Graph的運作及處理流程，友善我們進行程式調試。（如果您手邊就有電腦，還等什麼，馬上體驗一下吧：運作GraphEdit，執行File-＞Render Media File…選擇一個媒體檔案；當Filter Graph建構成功後，按下工具欄的運作按鈕；您就能看到剛才選擇的媒體檔案被回放出來了！看到了吧，寫一個媒體播放器也就這麼回事！）

　　接下去，我們開講Filter的開發。

　　學習DirectShow Filter的開發，不外乎以下幾種方法：看幫助文檔、看示例代碼和看SDK基類源代碼。看幫助文檔，應着重于總體概念上的了解；看示例代碼應與基類源代碼的研究同步進行，因為自己寫Filter，關鍵的第一步是選擇一個合适的Filter基類和Pin的基類。對于Filter的把握，一般認為要掌握以下三方面的内容：Filter之間Pin的連接配接、Filter之間的資料傳輸以及流媒體的随機通路（或者說流的定位）。下面就開始分别進行闡述。

　　所謂的Filter Pin之間的連接配接，實際上是Pin之間Media Type（媒體類型）的一個協商過程。連接配接總是從輸出Pin指向輸入Pin的。要想深入了解具體的連接配接過程，就必須認真研讀SDK的基類源代碼（位于DXSDK/samples/Multimedia/DirectShow/BaseClasses/amfilter.cpp，類CBasePin的Connect方法）。連接配接的大緻過程為，枚舉欲連接配接的輸入Pin上所有的媒體類型，逐一用這些媒體類型與輸出Pin進行連接配接，如果輸出Pin也接受這種媒體類型，則Pin之間的連接配接宣告成功；如果所有輸入Pin上枚舉的媒體類型輸出Pin都不支援，則枚舉輸出Pin上的所有媒體類型，并逐一用這些媒體類型與輸入Pin進行連接配接。如果輸入Pin接受其中的一種媒體類型，則Pin之間的連接配接到此也宣告成功；如果輸出Pin上的所有媒體類型，輸入Pin都不支援，則這兩個Pin之間的連接配接過程宣告失敗。

　　有一點需要注意的是，上述的輸入Pin與輸出Pin一般不屬于同一個Filter，典型的是上一級Filter（也叫Upstream Filter）的輸出Pin連向下一級Filter（也叫Downstream Filter）的輸入Pin。

　　當Filter的Pin之間連接配接完成，也就是說，連接配接雙方通過協商取得了一種大家都支援的媒體類型之後，即開始為資料傳輸做準備。這些準備工作中，最重要的是Pin上的記憶體配置設定器的協商，一般也是由輸出Pin發起。在DirectShow Filter之間，資料是通過一個一個資料包傳送的，這個資料包叫做Sample。Sample本身是一個COM對象，擁有一段記憶體用以裝載資料，Sample就由記憶體配置設定器（Allocator）來統一管理。已成功連接配接的一對輸出、輸入Pin使用同一個記憶體配置設定器，是以資料從輸出Pin傳送到輸入Pin上是無需記憶體拷貝的。而典型的資料拷貝，一般發生在Filter内部，從Filter的輸入Pin上讀取資料後，進行一定意圖的處理，然後在Filter的輸出Pin上填充資料，然後繼續往下傳輸。下面，我們就具體闡述一下Filter之間的資料傳送。

首先，大家要區分一下Filter的兩種主要的資料傳輸模式：推模式（Push Model）和拉模式（Pull Model）。

　　所謂推模式，即源Filter（Source Filter）自己能夠産生資料，并且一般在它的輸出Pin上有獨立的子線程負責将資料發送出去，常見的情況如代表WDM模型的采集卡的Live Source Filter；而所謂拉模式，即源Filter不具有把自己的資料送出去的能力，這種情況下，一般源Filter後緊跟着接一個Parser Filter或Splitter Filter，這種Filter一般在輸入Pin上有個獨立的子線程，負責不斷地從源Filter索取資料，然後經過處理後将資料傳送下去，常見的情況如檔案源。推模式下，源Filter是主動的；拉模式下，源Filter是被動的。而事實上，如果将上圖拉模式中的源Filter和Splitter Filter看成另一個虛拟的源Filter，則後面的Filter之間的資料傳輸也與推模式完全相同。

　　那麼，資料到底是怎麼通過連接配接着的Pin傳輸的呢？首先來看推模式。在源Filter後面的Filter輸入Pin上，一定實作了一個IMemInputPin接口，資料正是通過上一級Filter調用這個接口的Receive方法進行傳輸的。值得注意的是（上面已經提到過），資料從輸出Pin通過Receive方法調用傳輸到輸入Pin上，并沒有進行記憶體拷貝，它隻是一個相當于資料到達的“通知”。再看一下拉模式。拉模式下的源Filter的輸出Pin上，一定實作了一個IAsyncReader接口；其後面的Splitter Filter，就是通過調用這個接口的Request方法或者SyncRead方法來獲得資料。Splitter Filter然後像推模式一樣，調用下一級Filter輸入Pin上的IMemInputPin接口Receive方法實作資料的往下傳送。深入了解這部分内容，請認真研讀SDK的基類源代碼（位于DXSDK/samples/Multimedia/DirectShow/BaseClasses/source.cpp和pullpin.cpp）。

　　下面，我們來講一下流的定位（Media Seeking）。在GraphEdit中，當我們成功建構了一個Filter Graph之後，我們就可以播放它。在播放中，我們可以看到進度條也在相應地前進。當然，我們也可以通過拖動進度條，實作随機通路。要做到這一點，在應用程式級别應該可以知道Filter Graph總共要播放多長時間，目前播放到什麼位置等等。那麼，在Filter級别，這一點是怎麼實作的呢？

　　我們知道，若幹個Filter通過Pin的互相連接配接組成了Filter Graph。而這個Filter Graph是由另一個COM對象Filter Graph Manager來管理的。通過Filter Graph Manager，我們就可以得到一個IMediaSeeking的接口來實作對流媒體的定位。在Filter級别，我們可以看到，Filter Graph Manager首先從最後一個Filter（Renderer Filter）開始，詢問上一級Filter的輸出Pin是否支援IMediaSeeking接口。如果支援，則傳回這個接口；如果不支援，則繼續往上一級Filter詢問，直到源Filter。一般在源Filter的輸出Pin上實作IMediaSeeking接口，它告訴調用者總共有多長時間的媒體内容，目前播放位置等資訊。（如果是檔案源，一般在Parser Filter或Splitter Filter實作這個接口。）對于Filter開發者來說，如果我們寫的是源Filter，我們就要在Filter的輸出Pin上實作IMediaSeeking這個接口；如果寫的是中間的傳輸Filter，隻需要在輸出Pin上将使用者的獲得接口請求往上傳遞給上一級Filter的輸出Pin；如果寫的是Renderer Filter，需要在Filter上将使用者的獲得接口請求往上傳遞給上一級Filter的輸出Pin。進一步的了解，請認真研讀SDK的基類源代碼（位于DXSDK/samples/Multimedia/DirectShow/BaseClasses/transfrm.cpp的類方法CTransformOutputPin::NonDelegatingQueryInterface實作和ctlutil.cpp中類CPosPassThru的實作）。

以上我們介紹了一下如何學習DirectShow Filter開發，以及一些開始寫自己的Filter之前的預備知識。下一講，筆者将根據自己開發Filter的經驗，手把手教你如何寫自己的Filter。

如何寫自己的Filter

　　首先，從VC++的項目開始（請确認你已經給VC++配置好了DirectX的開發環境）。寫自己的Filter，第一步是使用VC++建立一個Filter的項目。由于DirectX SDK提供了很多Filter的例子項目（位于DXSDK/samples/Multimedia/DirectShow/ Filters目錄下），最簡單的方法就是拷貝一個，然後再在此基礎上修改。但如果你是Filter開發的初學者，筆者并不贊成這麼做。

　　自己建立一個Filter項目也很簡單。使用VC++的向導，建立一個空的”Win32 Dynamic-link Library”項目。注意，幾個檔案是必須有的：.def檔案，定義四個導出函數；定義Filter類的.cpp檔案和.h檔案，并在.cpp檔案中定義Filter的注冊資訊以及兩個Filter的注冊函數：DllRegisterServer和DllUnregisterServer。（注：Filter的注冊資訊是Filter在注冊時寫到系統資料庫裡的内容，格式可以參考SDK的示例代碼，Filter相關的GUID務必使用GuidGen.exe産生。）接下去進行項目的設定（Project-＞Settings…）。此時，你可以打開一個SDK的例子項目進行對比，有些宏定義完全可以照抄，最後注意将輸出檔案的擴充名改為.ax。

　　上一講曾經提到過，在寫Filter之前，選擇一個合适的Filter基類是至關重要的。為此，你必須對幾個Filter的基類有相當的了解。在實際應用中，Filter的基類并不總是選擇CBaseFilter的。相反，因為我們絕大部分寫的都是中間的傳輸Filter（Transform Filter），是以基類選擇CTransformFilter和CTransInPlaceFilter的居多。如果我們寫的是源Filter，我們可以選擇CSource作為基類；如果是Renderer Filter，可以選擇CBaseRenderer或CBaseVideoRenderer等。

　　總之，選擇好Filter的基類是很重要的。當然，選擇Filter的基類也是很靈活的，沒有絕對的标準。能夠通過CTransformFilter實作的Filter當然也能從CBaseFilter一步一步實作。下面，筆者就從本人的實際經驗出發，對Filter基類的選擇提出幾點建議供大家參考。

　　首先，你必須明确這個Filter要完成什麼樣的功能，即要對Filter項目進行需求分析。請盡量保持Filter實作的功能的單一性。如果必要的話，你可以将需求分解，由兩個（或者更多的）功能單一的Filter去實作總的功能需求。

　　其次，你應該明确這個Filter大緻在整個Filter Graph的位置，這個Filter的輸入是什麼資料，輸出是什麼資料，有幾個輸入Pin、幾個輸出Pin等等。你可以畫出這個Filter的草圖。弄清這一點十分重要，這将直接決定你使用哪種“模型”的Filter。比如，如果Filter僅有一個輸入Pin和一個輸出Pin，而且一進一處的媒體類型相同，則一般采用CTransInPlaceFilter作為Filter的基類；如果媒體類型不一樣，則一般選擇CTransformFilter作為基類。

　　再者，考慮一些資料傳輸、處理的特殊性要求。比如Filter的輸入和輸出的Sample并不是一一對應的，這就一般要在輸入Pin上進行資料的緩存，而在輸出Pin上使用專門的線程進行資料處理。這種情況下，Filter的基類選擇CSource為宜（雖然這個Filter并不是源Filter）。

　　當Filter的基類標明了之後，Pin的基類也就相應標明了。接下去，就是Filter和Pin上的代碼實作了。有一點需要注意的是，從軟體設計的角度上來說，應該将你的邏輯類代碼同Filter的代碼分開。下面，我們一起來看一下輸入Pin的實作。你需要實作基類所有的純虛函數，比如CheckMediaType等。在CheckMediaType内，你可以對媒體類型進行檢驗，看是否是你期望的那種。因為大部分Filter采用的是推模式傳輸資料，是以在輸入Pin上一般都實作了Receive方法。有的基類裡面已經實作了Receive，而在Filter類上留一個純虛函數供使用者重載進行資料處理。這種情況下一般是無需重載Receive方法的，除非基類的實作不符合你的實際要求。而如果你重載了Receive方法，一般會同時重載以下三個函數EndOfStream、BeginFlush和EndFlush。我們再來看一下輸出Pin的實作。一般情況下，你要實作基類所有的純虛函數，除了CheckMediaType進行媒體類型檢查外，一般還有DecideBufferSize以決定Sample使用記憶體的大小，GetMediaType提供支援的媒體類型。最後，我們看一下Filter類的實作。首先當然也要實作基類的所有純虛函數。除此之外，Filter還要實作CreateInstance以提供COM的入口，實作NonDelegatingQueryInterface以暴露支援的接口。如果我們建立了自定義的輸入、輸出Pin，一般我們還要重載GetPinCount和GetPin兩個函數。

　　Filter架構的實作大緻就是這樣。你或許還想知道怎樣在Filter上實作一個自定義的接口，以及怎麼實作Filter的屬性頁等等。限于篇幅，筆者就不展開闡述了。其實，這些問題都能在SDK的示例項目中找到答案。其他的，關于在實際程式設計中應該注意的一些問題，筆者整理了一下，供大家參考。

　　1. 鎖（Lock）問題

　　DirectShow應用程式至少包含有兩條線程：一條主線程和一條資料傳輸線程。既然是多線程，肯定會碰到線程同步的問題。Filter有兩種鎖：Filter對象鎖和資料流鎖。Filter對象鎖用于Filter級别的如Filter狀态轉換、BeginFlush、EndFlush等；資料流鎖用于資料處理線程内，比如Receive、EndOfStream等。如果這兩種鎖沒有搞清楚，很容易産生程式的死鎖，這一點特别需要提醒。

　　2. EndOfStream問題

　　當Filter接收到這個“消息”，意味着上一級Filter的資料都已經發送完畢。在這之後，如果Receive再有資料接收，也不應該去理睬它。如果Filter對輸入Pin上的資料進行了緩存，在接收到EndOfStream後應確定所有緩存的資料都已經處理過了才能傳回。

　　3. Media Seeking問題

　　一般情況下，你隻需要在Filter的輸出Pin上實作NonDelegatingQueryInterface方法，當使用者申請得到IID_ImediaPosition接口或IID_IMediaSeeking接口時将請求往上一級Filter的輸出Pin上傳遞。當Filter Graph進行Mediaseeking的時候，一般會調用Filter上的BeginFlush、EndFlush和NewSegment。如果你的Filter對資料進行了緩存，你就要重載它們，并做出相應的處理。如果你的Filter負責給發送出去的Sample打時間戳，那麼，在Mediaseeking之後應該重新從零開始打起。

　　4. 關于使用專門的線程

　　如果你使用了專門的線程進行資料的處理和發送，你需要特别小心，不要讓線程進行死循環，并且要讓線程處理函數能夠去時時檢查線程指令。應該確定在Filter結束工作的時候，線程也能正常地結束。有時候，你把GraphEdit程式關掉，但GraphEdit程序仍在記憶體中，往往就是因為資料線程沒有安全關閉這個原因。

　　5. 如何從媒體類型中擷取資訊

　　比如，你想在輸入Pin連接配接的媒體類型中，擷取視訊圖像的寬、高等資訊，你應該在輸入Pin的CompleteConnect方法中實作，而不要在SetMediaType中。

　　DirectX媒體對象（DirectX Media Objects，簡稱DMOs），是微軟提供的另一種流資料處理COM元件。與DirectShow filter相比，DMO有很多相似之處。對filter原理的熟悉，将會大大幫助你對DMO的學習。另外，DMO也因其結構簡單、易于建立和使用而倍受微軟推崇。

DMO與filter的對比

　　1. DMO比filter實作的功能要少很多，這使得DMO“體積”很小；

　　2. DMO使用起來比filter更有靈活性。DMO的使用不需要filter graph，應用程式可以直接與DMO互動。而DMO也可以通過一個DMO wrapper filter工作于DirectShow環境；

　　3. DMO總是同步處理資料，不像filter有獨立的資料傳送線程，需要考慮多線程程式設計問題；

　　4. 與傳統的編解碼管理器ACM、VCM相比，用DMO開發的編解碼器是基于COM的，更易于擴充。并且DMO支援多個輸入和多個輸出；

　　5. DMO不需要像filter一樣配置設定資料傳送的記憶體，而有DMO的使用者負責；

　　6. DMO是一個獨立功能子產品，不需要像filter一樣連接配接成一條鍊路；

　　7. DMO不需要像filter一樣将資料“推”下去，資料的輸入輸出都是由DMO的使用者完成的；

　　所有這些優點，使得DMO成為微軟對于Encoder和Decoder開發的重點推薦模式。DirectX 9.0 SDK中，微軟更是把DMO從DirectShow中分離出來，而對于一些transform filter，微軟也推薦用DMO的方式來替換。

　　關于DMO的使用方式，目前大概有兩種：一種是應用程式直接使用DMO，另一種就是在DirectShow filter中的應用。後者比較簡單，隻是使用了一個DMO wrapper filter。在DirectShow應用程式中，DMO是對使用者透明的，所有使用DMO的工作均由DMO wrapper filter來完成。參見下面的代碼。

// Create the DMO Wrapper filter. IBaseFilter *pFilter; HRESULT hr = CoCreateInstance（CLSID_DMOWrapperFilter, NULL, CLSCTX_INPROC_SERVER, IID_IBaseFilter, reinterpret_cast＜void**＞（&pFilter））; if （SUCCEEDED（hr）） { // Query for IDMOWrapperFilter. IDMOWrapperFilter *pDmoWrapper; hr = pFilter-＞QueryInterface（IID_IDMOWrapperFilter, reinterpret_cast＜void**＞（&pDmoWrapper））; if （SUCCEEDED（hr）） { // Initialize the filter. hr = pDmoWrapper-＞Init（CLSID_MyDMO, DMOCATEGORY_VIDEO_EFFECT）; pDmoWrapper-＞Release（）; if （SUCCEEDED（hr）） { // Add the filter to the graph. hr = pGraph-＞AddFilter（pFilter, L"My DMO"）; } } pFilter-＞Release（）; }

　　而對于DMO的直接使用，以下幾點是要特别注意的。

　　1. 在處理資料之前，必須為每條輸入輸出stream設定media type（Optional stream除外）；

　　2. 從DMO從擷取的media type未必包含format塊，但是在給DMO設定media type時，務必帶上這部分資訊（MIDI除外）；

　　3. 應用程式必須自己負責配置設定資料緩存。緩存的大小可以通過調用DMO的IMediaObject::GetInputSizeInfo或IMediaObject::GetOutputSizeInfo得到。DMO使用的資料緩存也是一個COM對象，支援ImediaBuffer接口，與DirectShow filter的Media Sample類似。

　　4. 一般的DMO依次調用IMediaObject::ProcessInput和IMediaObject::ProcessOutput處理資料，In-Place的DMO調用IMediaObjectInPlace::Process處理資料。兩套方法不能混用。

　　5. 在調用ProcessOutput時，如果傳回的标記是DMO_OUTPUT_DATA_BUFFERF_INCOMPLETE，說明資料的資料還沒有完全取出，需要再次調用ProcessOutput。

　　6. 所有輸入資料都已輸入完成，應該調用DMO的IMediaObject::Discontinuity方法。

　　7. 如果你想中斷資料處理流程，調用DMO的IMediaObject::Flush。

　　8. 差別兩種不同的可丢棄stream，标記分别為DMO_OUTPUT_STREAMF_OPTIONAL和DMO_OUTPUT_STREAMF_DISCARDABLE。注意，後者是要設定media type的。