編寫C++程序使DirectShow進行視頻捕捉
視頻捕捉Graph的構(gòu)建
一個能夠捕捉音頻或者視頻的graph圖都稱之為捕捉graph圖。捕捉graph圖比一般的文件回放graph圖要復(fù)雜許多,dshow提供了一個Capture Graph Builder COM組件使得捕捉graph圖的生成更加簡單。Capture Graph Builder提供了一個ICaptureGraphBuilder2接口,這個接口提供了一些方法用來構(gòu)建和控制捕捉graph。
首先創(chuàng)建一個Capture Graph Builder對象和一個graph manger對象,然后用filter graph manager 作參數(shù),調(diào)用ICaptureGraphBuilder2::SetFiltergraph來初始化Capture Graph Builder??聪旅娴拇a吧:
HRESULT InitCaptureGraphBuilder(IGraphBuilder **ppGraph, //Receives the pointer ICaptureGraphBuilder2 **ppBuilder) //Receives the pointer { if(!ppGraph || !ppBuilder) { return E_POINTER; } IGraphBuilder *pGraph = NULL; ICaptureGraphBuilder2 *pBuild = NULL; //Create the Capture Graph Builder HRESULT hr = CoCreateInstance(CLSID_CaptureGraphBuilder2, NULL, CLSCTX_INPROC_SERVER, IID_ICaptureGraphBuilder2, (void**)&pGraph); if(SECCEEDED(hr)) { //Create the Filter Graph Manager hr = CoCreateInstance(CLSID_FilterGraph, 0, CLSCTX_INPROC_SERVER, IID_IGraphBuilder, (void**)&pGraph); if(SECCEEDED(hr)) { //Initialize the Capture Graph Builder pBuild->SetFiltergraph(pGraph); //Return both interface pointers to the caller *ppBuild = pBuild; *ppGraph = pGraph; //The caller must release both interface return S_OK; } else { pBuild->Release(); } } return hr; //Failed }
視頻捕捉的設(shè)備
現(xiàn)在許多新的視頻捕捉設(shè)備都采用的是WDM驅(qū)動方法,在WDM機制中,微軟提供了一個獨立于硬件設(shè)備的驅(qū)動,稱為類驅(qū)動程序。驅(qū)動程序的供應(yīng)商提供的驅(qū)動程序稱為minidrivers。Minidrivers提供了直接和硬件打交道的函數(shù),在這些函數(shù)中調(diào)用了類驅(qū)動。
在directshow的filter圖表中,任何一個WDM捕捉設(shè)備都是做為一個WDM Video Capture過濾器(Filter)出現(xiàn)。WDM Video Capture過濾器根據(jù)驅(qū)動程序的特征構(gòu)建自己的filter
Direcshow中視頻捕捉的Filter Pin的種類
捕捉Filter一般都有兩個或多個輸出pin,他們輸出的媒體類型都一樣,比如預(yù)覽pin和捕捉pin,因此根據(jù)媒體類型就不能很好的區(qū)別這些pin。此時就要根據(jù)pin的功能來區(qū)別每個pin了,每個pin都有一個GUID,稱為pin的種類。
如果想仔細(xì)的了解pin的種類,請看后面的相關(guān)內(nèi)容Working with Pin Categories。對于大多數(shù)的應(yīng)用來說,ICaptureGraphBuilder2提供了一些函數(shù)可以自動確定pin的種類。
預(yù)覽pin和捕捉pin
視頻捕捉Filter都提供了預(yù)覽和捕捉的輸出pin,預(yù)覽pin用來將視頻流在屏幕上顯示,捕捉pin用來將視頻流寫入文件。
預(yù)覽pin和輸出pin有下面的區(qū)別:
1 為了保證捕捉pin對視頻楨流量,預(yù)覽pin必要的時候可以停止。
2 經(jīng)過捕捉pin的視頻楨都有時間戳,但是預(yù)覽pin的視頻流沒有時間戳。
預(yù)覽pin的視頻流之所以沒有時間戳的原因在于filter圖表管理器在視頻流里加一個很小的latency,如果捕捉時間被認(rèn)為就是render時間的話,視頻renderFilter就認(rèn)為視頻流有一個小小的延遲,如果此時render filter試圖連續(xù)播放的時候,就會丟楨。去掉時間戳就保證了視頻楨來了就可以播放,不用等待,也不丟楨。
- 預(yù)覽pin的種類GUID為PIN_CATEGORY_PREVIEW
- 捕捉pin的種類GUID為PIN_CATEGORY_CAPTURE
Video Port pin
Video Port是一個介于視頻設(shè)備(TV)和視頻卡之間的硬件設(shè)備。同過Video Port,視頻數(shù)據(jù)可以直接發(fā)送到圖像卡上,通過硬件的覆蓋,視頻可以直接在屏幕顯示出來。Video Port就是連接兩個設(shè)備的。
使用Video Port的最大好處是,不用CPU的任何工作,視頻流直接寫入內(nèi)存中。
如果捕捉設(shè)備使用了Video Port,捕捉Filter就用一個video port pin代替預(yù)覽pin。
video port pin的種類GUID為PIN_CATEGORY_VIDEOPORT
一個捕捉filter至少有一個Capture pin,另外,它可能有一個預(yù)覽pin 和一個video port pin,或者兩者都沒有,也許filter有很多的capture pin,和預(yù)覽pin,每一個pin都代表一種媒體類型,因此一個filter可以有一個視頻capture pin,視頻預(yù)覽pin,音頻捕捉pin,音頻預(yù)覽pin。
Upstream WDM Filters
在捕捉Filter之上,WDM設(shè)備可能需要額外的filters,下面就是這些filter
- TV Tuner Filter
- TV Audio Filter.
- Analog Video Crossbar Filter
盡管這些都是一些獨立的filter,但是他們可能代表的是同一個硬件設(shè)備,每個filter都控制設(shè)備的不同函數(shù),這些filter通過pin連接起來,但是在pin中沒有數(shù)據(jù)流動。因此,這些pin 的連接和媒體類型無關(guān)。他們使用一個GUID值來定義一個給定設(shè)備的minidriver,例如:TV tuner Filter 和video capture filter都支持同一種medium。
在實際應(yīng)用中,如果你使用ICaptureGraphBuilder2來創(chuàng)建你的capture graphs,這些filters就會自動被添加到你的graph中。更多的詳細(xì)資料,可以參考WDM Class Driver Filters。
選擇一個視頻捕捉設(shè)備(Select capture device)
如何選擇一個視頻捕捉設(shè)備,可以采用系統(tǒng)設(shè)備枚舉,詳細(xì)資料參見Using the System Device Enumerator 。enumerator可以根據(jù)filter的種類返回一個設(shè)備的monikers。Moniker是一個com對象,可以參見IMoniker的SDK。
對于捕捉設(shè)備,下面兩種類是相關(guān)的。
- CLSID_AudioInputDeviceCategory 音頻設(shè)備
- CLSID_VideoInputDeviceCategory 視頻設(shè)備
下面的代碼演示了如何枚舉一個視頻捕捉設(shè)備
ICreateDevEnum *pDevEnum = NULL; IEnumMoniker *pEnum = NULL; //Create the system device enumerator HRESULT hr = CoCreateInstance(CLSID_SystemDeviceEnum, NULL, CLSCT_INPROC_SERVER, IID_ICreateDevEnum, reinterpret_cast<void**>(&pDevEnum)); if(SUCCEEDED(hr)) { //創(chuàng)建一個枚舉器,枚舉視頻設(shè)備 hr = pDevEnum->CreateClassEnumerator(CLSID_VideoInputDeviceCategory, &pEnum, 0); }
IEnumMoniker接口pEnum返回一個IMoniker接口的列表,代表一系列的moniker,你可以顯示所有的設(shè)備,然后讓用戶選擇一個。
采用IMoniker::BindToStorage方法,返回一個IPropertyBag接口指針。然后調(diào)用IPropertyBag::Read讀取moniker的屬性。下面看看都包含什么屬性:
1 FriendlyName 是設(shè)備的名字
2 Description 屬性僅僅適用于DV和D-VHS/MPEG攝象機,如果這個屬性可用,這個屬性更詳細(xì)的描述了設(shè)備的資料
3DevicePath 這個屬性是不可讀的,但是每個設(shè)備都有一個獨一無二的。你可以用這個屬性來區(qū)別同一個設(shè)備的不同實例
下面的代碼演示了如何顯示遍歷設(shè)備的名稱 ,接上面的代碼
HWND hList; //Handle to the list box IMoniker *pMoniker = NULL; while(pEnum->Next(1, &pMoniker, NULL) == S_OK) { IPropertyBag *pPropBag; hr = pMoniker->BindToStorage(0, 0, IID_IPropertyBag, (void**)(&pPropBag)); if(FAILED(hr)) { pMoniker->Release(); continue; //Skip this one, maybe the next one will work } VARIANT varName; hr = pPropBag->Read(L"Description", &varName, 0); if(FAILED(hr)) { hr = pPropBag->Read(L"FriendlyName", &varName, 0); } if(SECCEEDED(hr)) { //Add it to the application's list box USES_CONVERSION; (long)SendMessage(hList, LB_ADDSTRING, 0, (LPARAM)OLE2T(varName.bstrVal)); VariantClear(&varName); } pPropBag->Release(); pMoniker->Release(); }
如果用戶選中了一個設(shè)備調(diào)用IMoniker::BindToObject為設(shè)備生成filter,然后將filter加入到graph中。
IBaseFilter *pCap = NULL; hr = pMoniker->BindToObject(0, 0, IID_IBaseFilter, (void**)&pCap); if(SECCEEDED(hr)) { hr = m_pGraph->AddFilter(pCap, L"Capture Filter");
為了創(chuàng)建可以預(yù)覽視頻的graph,可以調(diào)用下面的代碼:
ICaptureGraphBuilder2 *pBuild; //Capture Graph Builder //Initialize pBuild(not shown) ... IBaseFilter *pCap; //Video capture filter hr = pBuild->RenderStream(&PIN_CATEGORY_PREVIEW, &MEDIATYPE_Video, pCap, NULL, NULL); }
如何捕捉視頻流并保存到文件(Capture video to File)
1 將視頻流保存到AVI文件
AVI Mux filter接收從capture pin過來的視頻流,然后將其打包成AVI流。音頻流也可以連接到AVI Mux Filter上,這樣mux filter就將視頻流和視頻流合成AVI流。File writer將AVI流寫入到文件中。
可以像下面這樣構(gòu)建graph圖
IBaseFilter *pMux; hr = pBuild->SetOutputFileName(&MEDIASUBTYPE_Avi, //Specifies AVI for the target file L"C:\\Example.avi", //File name &pMux, //Receives a pointer to the mux NULL); //(Optional)Receives a pointer to the file sink
第一個參數(shù)表明文件的類型,這里表明是AVI,第二個參數(shù)是制定文件的名稱。對于AVI文件,SetOutputFileName函數(shù)會創(chuàng)建一個AVI mux Filter 和一個 File writer Filter ,并且將兩個filter添加到graph圖中,在這個函數(shù)中,通過File Writer Filter 請求IFileSinkFilter接口,然后調(diào)用IFileSinkFilter::SetFileName方法,設(shè)置文件的名稱。然后將兩個filter連接起來。第三個參數(shù)返回一個指向 AVI Mux的指針,同時,它也通過第四個參數(shù)返回一個IFileSinkFilter參數(shù),如果你不需要這個參數(shù),你可以將這個參數(shù)設(shè)置成NULL。
然后,你應(yīng)該調(diào)用下面的函數(shù)將capture filter 和AVI Mux連接起來。
hr = pBuild->RenderStream(&PIN_CATEGORY_CAPTURE, //Pin category &MEDIATYPE_Video, //Media type pCap, //Capture filter NULL, //Intermediate filter(optional) pMux); //Mux or file sink filter //Release the mux filter pMux->Release();
第5個參數(shù)就是使用的上面函數(shù)返回的pMux指針。
當(dāng)捕捉音頻的時候,媒體類型要設(shè)置為MEDIATYPE_Audio,如果你從兩個不同的設(shè)備捕捉視頻和音頻,你最好將音頻設(shè)置成主流,這樣可以防止兩個數(shù)據(jù)流間drift,因為avi mux filter為同步音頻,會調(diào)整視頻的播放速度的。為了設(shè)置master 流,調(diào)用IConfigAviMux::SetMasterStream方法,可以采用如下的代碼:
IConfigAviMux *pConfigMux = NULL; hr = pMux->QueryInterface(IID_IConfigAviMux, (void**)&pConfigMux); if(SUCCEEDED(hr)) { pConfigMux->SetMasterStream(1); pConfigMux->Release(); }
SetMasterStream的參數(shù)指的是數(shù)據(jù)流的數(shù)目,這個是由調(diào)用RenderStream的次序決定的。例如,如果你調(diào)用RenderStream首先用于視頻流,然后是音頻,那么視頻流就是0,音頻流就是1。
添加編碼filter
IBaseFilter *pEncoder; //Add it to the filter graph pGraph->AddFilter(pEncoder, L"Encode"); //Render the stream hr = pBuild->RenderStream(&PIN_CATEGORY_CAPTURE, &MEDIATYPE_Video, pCap, pEncoder, pMux); pEncoder->Release();
2 將視頻流保存成wmv格式的文件
為了將視頻流保存成并編碼成windows media video (WMV)格式的文件,將capture pin連到WM ASF Writer filter。
構(gòu)建graph圖最簡單的方法就是將在ICaptureGraphBuilder2::SetOutputFileName方法中指定MEDIASUBTYPE_Asf的filter。如下
IBaseFilter *pASFWriter = 0; hr = pBuild->SetOutputFileName(&MEDIASUBTYPE_Asf, //Create a windows media file L"C:\\VidCap.wmv", //File name &pASFWriter, //Receives a pointer to the filter NULL); //Receives an IFileSinkFilter interface pointer(optional)
參數(shù)MEDIASUBTYPE_Asf 告訴graph builder,要使用wm asf writer作為文件接收器,于是,pbuild 就創(chuàng)建這個filter,將其添加到graph圖中,然后調(diào)用IFileSinkFilter::SetFileName來設(shè)置輸出文件的名字。第三個參數(shù)用來返回一個ASF writer指針,第四個參數(shù)用來返回文件的指針。
在將任何pin連接到WM ASF Writer之前,一定要對WM ASF Writer進行一下設(shè)置,你可以同過WM ASF Writer的IConfigAsfWriter接口指針來進行設(shè)置。
IConfigAsfWriter *pConfig = 0; hr = pASFWriter->QueryInterface(IID_IConfigAsfWriter, (void**)&pConfig); if(SUCCEEDED(hr)) { //Configure the ASF Writer filter pConfig->Release(); }然后調(diào)用ICaptureGraphBuilder2::RenderStream將capture Filter 和 ASF writer連接起來:
hr = pBuild->RenderStream(&PIN_CATEGORY_CAPTURE, //Capture pin &MEDIATYPE_Video, //Video. Use MEDIATYPE_Audio for audio pCap, //Pointer to the capture filter 0, pASFWriter); //Pointer to the sink filter(ASF Filter)
3保存成自定義的文件格式
如果你想將文件保存成自己的格式,你必須有自己的 file writer??聪旅娴拇a:
IBaseFilter *pMux = 0; IFileSinkFilter *pSink = 0; hr = pBuild->SetOutputFileName(&CLSID_MyCustomMuxFilter, //開發(fā)自己的Filter L"C:\\VidCap.avi", &pMux, &pSink);
4如何將視頻流保存進多個文件
當(dāng)你將視頻流保存進一個文件后,如果你想開始保存第二個文件,這時,你應(yīng)該首先將graph停止,然后通過IFileSinkFilter::SetFileName改變 File Writer 的文件名稱。注意,IFileSinkFilter指針你可以在SetOutputFileName時通過第四個參數(shù)返回的。
看看保存多個文件的代碼:
IBaseFilter *pMux = 0; IFileSinkFilter *pSink = 0; hr = pBuild->SetOutputFileName(&MEDIASUBTYPE_Avi, L"C:\\YourFileName.avi", &pMux, &pSink); if(SUCCEEDED(hr)) { hr = pBuild->RenderStream(&PIN_CATEGORY_CAPTURE, &MEDIATYPE_Video, pCap, NULL, pMux); if(SUCCEEDED(hr)) { pControl->Run(); pControl->Stop(); //Change the file name and run the graph again pSink->SetFileName(L"YourFileName02.avi", 0); pControl->Run(); } pMux->Release(); pSink->Release(); }
相關(guān)文章
Linux下用Valgrind做檢查(防止內(nèi)存泄露)
Valgrind是一款基于模擬linux下的程序調(diào)試器和剖析器的軟件套件,可以運行于x86, amd64和ppc32架構(gòu)上。valgrind包含一個核心,它提供一個虛擬的CPU運行程序,還有一系列的工具,它們完成調(diào)試,剖析和一些類似的任務(wù)2014-01-01QT Creator+OpenCV實現(xiàn)圖像灰度化的示例代碼
這篇文章主要為大家詳細(xì)介紹了QT如何利用Creator和OpenCV實現(xiàn)圖像灰度化效果,文中的示例代碼講解詳細(xì),感興趣的小伙伴可以嘗試一下2022-12-12關(guān)于vs strcpy_s()和strcat_s()用法探究
這篇文章主要介紹了關(guān)于vs strcpy_s()strcat_s()用法,本文給大家介紹的非常詳細(xì),對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下2020-05-05C語言中數(shù)組作為函數(shù)的參數(shù)以及返回值的使用簡單入門
這篇文章主要介紹了C語言中數(shù)組作為函數(shù)的參數(shù)以及返回值的使用簡單入門,這里以一維數(shù)組作為基本條件進行例子講解,需要的朋友可以參考下2015-12-12使用Qt實現(xiàn)監(jiān)聽網(wǎng)頁是否響應(yīng)并導(dǎo)出Excel表
Qt導(dǎo)出數(shù)據(jù)到excel,方法有很多,下面這篇文章主要給大家介紹了關(guān)于使用Qt實現(xiàn)監(jiān)聽網(wǎng)頁是否響應(yīng)并導(dǎo)出Excel表的相關(guān)資料,文中通過代碼示例介紹的非常詳細(xì),需要的朋友可以參考下2023-11-11