WPF下YUV播放的D3D解決方案
在視頻媒體播放,監(jiān)控系統(tǒng)的構(gòu)建當(dāng)中,經(jīng)常會(huì)涉及到Y(jié)UV數(shù)據(jù)的顯示問(wèn)題。一般的播放控件以及SDK都是通過(guò)使用Window句柄,利用DirectDraw直接在窗口上渲染。但是,如果用戶界面是使用WPF開發(fā)的時(shí)候,通常只能通過(guò)WinFormHost在WPF界面中嵌入WinForm來(lái)完成。但這么做會(huì)遇到AeroSpace的問(wèn)題,即winform的控件永遠(yuǎn)浮在WPF的最上層,任何WPF元素都會(huì)被蓋住,同時(shí)縮放和拖動(dòng)的時(shí)候都會(huì)造成很差的用戶體驗(yàn)。原因是由于WPF和Winform使用了不同的渲染技術(shù)。
要在WPF中完美的支持YUV數(shù)據(jù)的顯示,通常的解決方式是使用先把YUV數(shù)據(jù)轉(zhuǎn)換成WPF可以支持的RGB數(shù)據(jù),然后利用類似于WriteableBitmap的控件,把他展現(xiàn)在WPF上。這么做的主要問(wèn)題是在做RGB轉(zhuǎn)換的時(shí)候,需要消耗大量的CPU, 效率比較低。一種優(yōu)化方式是使用FFMPEG里的SwScale或者Intel的IPP庫(kù),這些庫(kù)經(jīng)過(guò)了一定的優(yōu)化,可以有限度的使用硬件加速。下面為一個(gè)使用WritableBitmap的例子。
WriteableBitmap imageSource = new WriteableBitmap(videoWidth, videoHeight, DPI_X, DPI_Y, System.Windows.Media.PixelFormats.Bgr32, null); ... int rgbSize = width * height * 4; // bgr32 IntPtr rgbPtr = Marshal.AllocHGlobal(rgbSize); YV12ToRgb(yv12Ptr, rgbPtr, width, height); // 更新圖像 imageSource.Lock(); Interop.Memcpy(this.imageSource.BackBuffer, rgbPtr, rgbSize); imageSource.AddDirtyRect(this.imageSourceRect); imageSource.Unlock(); Marshal.FreeHGlobal(rgbPtr);
另一種解決方法是使用D3DImage作為WPF與顯卡的橋梁。我們可以借助D3DImage,直接將D3D渲染過(guò)后的部分送到WPF中顯示。一個(gè)參考就是VMR9在WPF中的應(yīng)用。VMR9是微軟提供的DirectShow的Render。經(jīng)過(guò)仔細(xì)參考了WpfMediaTookit中VMR9相關(guān)的代碼后,其核心的思想就是在初始化DirectShow構(gòu)建VMR9渲染器時(shí),讓其輸出一個(gè)D3D9Surface,D3DImage將使用該Surface作為BackBuffer。當(dāng)有新的視頻幀在該Surface渲染完成后,VMR9將發(fā)送一個(gè)事件通知。收到通知后,D3DImage刷新一下BackBuffer即可。下面代碼展現(xiàn)了核心思想部分。
private VideoMixingRenderer9 CreateRenderer() { var result = new VideoMixingRenderer9(); var cfg = result as IVMRFilterConfig9; cfg.SetNumberOfStreams(1); cfg.SetRenderingMode(VMR9Mode.Renderless); var notify = result as IVMRSurfaceAllocatorNotify9; var allocator = new Vmr9Allocator(); notify.AdviseSurfaceAllocator(m_userId, allocator); allocator.AdviseNotify(notify); // 在構(gòu)建VMR9 Render時(shí),注冊(cè)新視頻幀渲染完成事件 allocator.NewAllocatorFrame += new Action(allocator_NewAllocatorFrame); // 注冊(cè)接收新D3DSurface被創(chuàng)建的事件 allocator.NewAllocatorSurface += new NewAllocatorSurfaceDelegate(allocator_NewAllocatorSurface); return result; } void allocator_NewAllocatorSurface(object sender, IntPtr pSurface) { // 為了方便理解,只保留核心部分。省略改寫了其他部分 ... // 將pSurface設(shè)置為D3DImage的BackBuffer this.m_d3dImage.Lock(); this.m_d3dImage.SetBackBuffer(D3DResourceType.IDirect3DSurface9, pSurface); this.m_d3dImage.Unlock(); ... } void allocator_NewAllocatorFrame() { ... // 重繪 this.m_d3dImage.Lock(); this.m_d3dImage.AddDirtyRect(new Int32Rect(0, /* Left */ 0, /* Top */ this.m_d3dImage.PixelWidth, /* Width */ this.m_d3dImage.PixelHeight /* Height */)); this.m_d3dImage.Unlock(); ... }
由此,只要是使用DirectShow的視頻播放就可以借助VMR9在WPF上完美顯示。但很多時(shí)候,DirectShow不能解決所有問(wèn)題。例如在做交互式視頻優(yōu)化處理或是視頻疊加的時(shí)候, 采用固定濾鏡流水線的DirectShow很難滿足要求。有的時(shí)候還是需要便捷的直接渲染的方式。
由VMR9的例子我們可以看出,產(chǎn)生出一個(gè)D3D9Surface并在上面渲染是其中的關(guān)鍵。那么剩下的問(wèn)題就是如何把YUV數(shù)據(jù)渲染到D3D9Surface。
D3D沒有直接支持YUV圖像格式。因此需要我們想辦法讓D3D能夠渲染YUV數(shù)據(jù)。在用C#改寫的過(guò)程當(dāng)中,我突然發(fā)現(xiàn)D3D已經(jīng)提供了更簡(jiǎn)單的方法幫助我們實(shí)現(xiàn)YUV到RGB顏色空間的轉(zhuǎn)換,而且是通過(guò)顯卡硬件直接支持。效率相當(dāng)?shù)母?。主要原理就是借助D3DDevice的StrentchRectangle方法。
public void StretchRectangle( Surface sourceSurface, Rectangle sourceRectangle, Surface destSurface, Rectangle destRectangle, TextureFilter filter );
StrentchRectangle方法的主要功能是將一個(gè)Surface上的某個(gè)區(qū)域的內(nèi)容拷貝到另一個(gè)Surface的指定區(qū)域中。在Copy的過(guò)程當(dāng)中,只要是顯卡直接支持的格式,如YV12,YUY2等等, 都會(huì)自動(dòng)的進(jìn)行D3D PixelFormat的轉(zhuǎn)換!因此,我們只需要?jiǎng)?chuàng)建一個(gè)指定好PixelFormat的D3D OffscreenPlainSurface, 把原始數(shù)據(jù)填充進(jìn)去,調(diào)用StrentchRectangle向目標(biāo)Surface拷貝,我們就得到了想要的Surface。剩下的事情就交給D3DImage了。下面是例子代碼的核心部分
public void Render(IntPtr imgBuffer) { lock (this.renderLock) { // 將圖像數(shù)據(jù)填充進(jìn)offscreen surface this.FillBuffer(imgBuffer); // 調(diào)用StrentchRectangle把原始圖像數(shù)據(jù)Copy到TextureSurface中 this.StretchSurface(); // 執(zhí)行渲染操作 this.CreateScene(); } // 通知D3DImage刷新圖像 this.InvalidateImage(); }
以上所述是小編給大家介紹的WPF下YUV播放的D3D解決方案,希望對(duì)大家有所幫助,如果大家有任何疑問(wèn)請(qǐng)給我留言,小編會(huì)及時(shí)回復(fù)大家的。在此也非常感謝大家對(duì)腳本之家網(wǎng)站的支持!
相關(guān)文章
ASP.NET Web Api 2實(shí)現(xiàn)多文件打包并下載文件的實(shí)例
這篇文章主要介紹了ASP.NET Web Api 2利用ByteArrayContent和StreamContent實(shí)現(xiàn)多文件打包并下載的方法,提供源碼下載,需要的朋友可以參考下。2016-06-06ASP.NET中TextBox使用Ajax控件顯示日期不全的問(wèn)題解決方法
這篇文章介紹了ASP.NET中TextBox使用Ajax控件顯示日期不全的問(wèn)題解決方法,有需要的朋友可以參考一下2013-10-10解決Asp.net Mvc返回JsonResult中DateTime類型數(shù)據(jù)格式問(wèn)題的方法
這篇文章主要介紹了解決Asp.net Mvc返回JsonResult中DateTime類型數(shù)據(jù)格式問(wèn)題的方法,需要的朋友可以參考下2016-06-06ASP.NET MVC5網(wǎng)站開發(fā)之展示層架構(gòu)(五)
這篇文章主要為大家詳細(xì)介紹了ASP.NET MVC5網(wǎng)站開發(fā)之展示層架構(gòu),文中示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2016-08-08.NET 6開發(fā)TodoList應(yīng)用之實(shí)現(xiàn)接口請(qǐng)求驗(yàn)證
在響應(yīng)請(qǐng)求處理的過(guò)程中,我們經(jīng)常需要對(duì)請(qǐng)求參數(shù)的合法性進(jìn)行校驗(yàn),如果參數(shù)不合法,將不繼續(xù)進(jìn)行業(yè)務(wù)邏輯的處理。本文將介紹如何使用FluentValidation和MediatR實(shí)現(xiàn)接口請(qǐng)求驗(yàn)證,需要的可以參考一下2021-12-12.net使用jwt進(jìn)行身份認(rèn)證的流程記錄
這篇文章主要給大家介紹了關(guān)于.net使用jwt進(jìn)行身份認(rèn)證的相關(guān)資料,JWT是Auth0提出的通過(guò)對(duì)JSON進(jìn)行加密簽名來(lái)實(shí)現(xiàn)授權(quán)驗(yàn)證的方案,本文通過(guò)示例代碼介紹的非常詳細(xì),需要的朋友可以參考下2021-09-09asp.net Google的translate工具翻譯 API
很久前的一天,我想使用這個(gè)東西,然后看了下,GooGle的Translate工具目前沒有公開API,還是一個(gè)逐漸完善的過(guò)程,另一方面,利用一段很小的程序就可以得到我們想要的效果。2008-12-12