Qt音視頻開發(fā)之通用監(jiān)控布局控件的實(shí)現(xiàn)
一、前言
自從做監(jiān)控系統(tǒng)以來,就一直有打算將這個(gè)功能獨(dú)立出來一個(gè)類,這樣的話很多系統(tǒng)用到此類布局切換,通用這個(gè)類就行,而且后期此布局會(huì)增加其他異形布局,甚至按照16:9之類的比例生成布局,之前此功能直接寫在功能界面UI類中,不方便拓展,好多個(gè)系統(tǒng)用到此功能,一旦增加了64布局、128通道布局等,都需要做對(duì)應(yīng)更改,煩不勝煩,所以務(wù)必將此功能徹底剝離出來,為后面的256通道、異形布局、自定義布局打基礎(chǔ)。
通道切換在監(jiān)控系統(tǒng)中是最基礎(chǔ)的必備功能,一般都會(huì)提供1通道、4通道、6通道、8通道、9通道、16通道這幾個(gè)通道切換,可能做得比較好的還會(huì)提供24通道、32通道、64通道的,這個(gè)可能對(duì)電腦的配置就有一定要求了,一般來說,超過9個(gè)通道實(shí)時(shí)顯示視頻流,基本上會(huì)采用子碼流來顯示,如果都采用主碼流,電腦壓力非常巨大,CPU占用很高,內(nèi)存也高,不過現(xiàn)在的電腦配置越來越高,基本上四千多塊錢的臺(tái)式機(jī),配置已經(jīng)非常好了,顯示個(gè)16個(gè)通道的實(shí)時(shí)視頻毫無壓力。
Qt中的布局非常好用,尤其是QGridLayout表格布局,可以指定行列放置控件,而且還可以設(shè)置每個(gè)控件占用幾行幾列,這樣就可以完美的實(shí)現(xiàn)各種通道布局了。比如6通道,可以設(shè)置通道1占用兩行兩列,其他通道各站一行一列即可,當(dāng)切換布局的時(shí)候,其他隱藏即可。
主要功能:
- 將所有通道切換處理全部集中到一個(gè)類。
- 通用整數(shù)倍數(shù)布局切換函數(shù),可方便拓展到100、255通道等。
- 通用異形布局切換函數(shù),可以參考進(jìn)行自定義異形布局。
- 通道布局切換發(fā)出信號(hào)通知。
- 可控每種布局切換菜單是否啟用。
- 支持自定義子菜單布局內(nèi)容。
- 支持設(shè)置對(duì)應(yīng)的菜單標(biāo)識(shí)比如默認(rèn)的通道字樣改成設(shè)備。
本控件開源,開源地址https://gitee.com/feiyangqingyun/QWidgetDemo/tree/master/video/videobox
二、效果圖
三、體驗(yàn)地址
國內(nèi)站點(diǎn):https://gitee.com/feiyangqingyun
國際站點(diǎn):https://github.com/feiyangqingyun
體驗(yàn)地址:https://pan.baidu.com/s/1YOVD8nkoOSYwX9KgSauLeQ 提取碼:kcgz 文件名:bin_video_demo/bin_linux_video。
四、相關(guān)代碼
void VideoBox::change_video_normal(int index, int flag) { //首先隱藏所有通道 hide_video_all(); int size = 0; int row = 0; int column = 0; //行列數(shù)一致的比如 2*2 3*4 4*4 5*5 等可以直接套用通用的公式 //按照這個(gè)函數(shù)還可以非常容易的拓展出 10*10 16*16=256 通道界面 for (int i = 0; i < videoCount; ++i) { if (i >= index) { //添加到對(duì)應(yīng)布局并設(shè)置可見 gridLayout->addWidget(widgets.at(i), row, column); widgets.at(i)->setVisible(true); size++; column++; if (column == flag) { row++; column = 0; } } if (size == (flag * flag)) { break; } } } void VideoBox::change_video_custom(int index, int type) { //從開始索引開始往后衍生多少個(gè)通道 QList<int> indexs; for (int i = index; i < (index + type); ++i) { indexs << i; } if (type == 6) { change_video_6(indexs); } else if (type == 8) { change_video_8(indexs); } else if (type == 13) { change_video_13(indexs); } } void VideoBox::change_video_6(const QList<int> &indexs) { //過濾防止索引越界 if (indexs.size() < 6) { return; } //首先隱藏所有通道 hide_video_all(); //挨個(gè)重新添加到布局 gridLayout->addWidget(widgets.at(indexs.at(0)), 0, 0, 2, 2); gridLayout->addWidget(widgets.at(indexs.at(1)), 0, 2, 1, 1); gridLayout->addWidget(widgets.at(indexs.at(2)), 1, 2, 1, 1); gridLayout->addWidget(widgets.at(indexs.at(3)), 2, 2, 1, 1); gridLayout->addWidget(widgets.at(indexs.at(4)), 2, 1, 1, 1); gridLayout->addWidget(widgets.at(indexs.at(5)), 2, 0, 1, 1); //設(shè)置通道控件可見 for (int i = indexs.first(); i <= indexs.last(); ++i) { widgets.at(i)->setVisible(true); } } void VideoBox::change_video_8(const QList<int> &indexs) { //過濾防止索引越界 if (indexs.size() < 8) { return; } //首先隱藏所有通道 hide_video_all(); //挨個(gè)重新添加到布局 gridLayout->addWidget(widgets.at(indexs.at(0)), 0, 0, 3, 3); gridLayout->addWidget(widgets.at(indexs.at(1)), 0, 3, 1, 1); gridLayout->addWidget(widgets.at(indexs.at(2)), 1, 3, 1, 1); gridLayout->addWidget(widgets.at(indexs.at(3)), 2, 3, 1, 1); gridLayout->addWidget(widgets.at(indexs.at(4)), 3, 3, 1, 1); gridLayout->addWidget(widgets.at(indexs.at(5)), 3, 2, 1, 1); gridLayout->addWidget(widgets.at(indexs.at(6)), 3, 1, 1, 1); gridLayout->addWidget(widgets.at(indexs.at(7)), 3, 0, 1, 1); //設(shè)置通道控件可見 for (int i = indexs.first(); i <= indexs.last(); ++i) { widgets.at(i)->setVisible(true); } } void VideoBox::change_video_13(const QList<int> &indexs) { //過濾防止索引越界 if (indexs.size() < 13) { return; } //首先隱藏所有通道 hide_video_all(); //挨個(gè)重新添加到布局 gridLayout->addWidget(widgets.at(indexs.at(0)), 0, 0, 1, 1); gridLayout->addWidget(widgets.at(indexs.at(1)), 0, 1, 1, 1); gridLayout->addWidget(widgets.at(indexs.at(2)), 0, 2, 1, 1); gridLayout->addWidget(widgets.at(indexs.at(3)), 0, 3, 1, 1); gridLayout->addWidget(widgets.at(indexs.at(4)), 1, 0, 1, 1); gridLayout->addWidget(widgets.at(indexs.at(5)), 2, 0, 1, 1); gridLayout->addWidget(widgets.at(indexs.at(6)), 1, 1, 2, 2); gridLayout->addWidget(widgets.at(indexs.at(7)), 1, 3, 1, 1); gridLayout->addWidget(widgets.at(indexs.at(8)), 2, 3, 1, 1); gridLayout->addWidget(widgets.at(indexs.at(9)), 3, 0, 1, 1); gridLayout->addWidget(widgets.at(indexs.at(10)), 3, 1, 1, 1); gridLayout->addWidget(widgets.at(indexs.at(11)), 3, 2, 1, 1); gridLayout->addWidget(widgets.at(indexs.at(12)), 3, 3, 1, 1); //設(shè)置通道控件可見 for (int i = indexs.first(); i <= indexs.last(); ++i) { widgets.at(i)->setVisible(true); } } void VideoBox::change_video_1(int index) { //首先隱藏所有通道 hide_video_all(); //添加通道到布局 gridLayout->addWidget(widgets.at(index), 0, 0); //設(shè)置可見 widgets.at(index)->setVisible(true); } void VideoBox::change_video_4(int index) { change_video_normal(index, 2); } void VideoBox::change_video_6(int index) { change_video_custom(index, 6); } void VideoBox::change_video_8(int index) { change_video_custom(index, 8); } void VideoBox::change_video_9(int index) { change_video_normal(index, 3); } void VideoBox::change_video_13(int index) { change_video_custom(index, 13); } void VideoBox::change_video_16(int index) { change_video_normal(index, 4); } void VideoBox::change_video_25(int index) { change_video_normal(index, 5); } void VideoBox::change_video_36(int index) { change_video_normal(index, 6); } void VideoBox::change_video_64(int index) { change_video_normal(index, 8); }
五、功能特點(diǎn)
5.1 基礎(chǔ)功能
- 支持各種音頻視頻文件格式,比如mp3、wav、mp4、asf、rm、rmvb、mkv等。
- 支持本地?cái)z像頭設(shè)備,可指定分辨率、幀率。
- 支持各種視頻流格式,比如rtp、rtsp、rtmp、http等。
- 本地音視頻文件和網(wǎng)絡(luò)音視頻文件,自動(dòng)識(shí)別文件長度、播放進(jìn)度、音量大小、靜音狀態(tài)等。
- 文件可以指定播放位置、調(diào)節(jié)音量大小、設(shè)置靜音狀態(tài)等。
- 支持倍速播放文件,可選0.5倍、1.0倍、2.5倍、5.0倍等速度,相當(dāng)于慢放和快放。
- 支持開始播放、停止播放、暫停播放、繼續(xù)播放。
- 支持抓拍截圖,可指定文件路徑,可選抓拍完成是否自動(dòng)顯示預(yù)覽。
- 支持錄像存儲(chǔ),手動(dòng)開始錄像、停止錄像,部分內(nèi)核支持暫停錄像后繼續(xù)錄像,跳過不需要錄像的部分。
- 支持無感知切換循環(huán)播放、自動(dòng)重連等機(jī)制。
- 提供播放成功、播放完成、收到解碼圖片、收到抓拍圖片、視頻尺寸變化、錄像狀態(tài)變化等信號(hào)。
- 多線程處理,一個(gè)解碼一個(gè)線程,不卡主界面。
5.2 特色功能
- 同時(shí)支持多種解碼內(nèi)核,包括qmedia內(nèi)核(Qt4/Qt5/Qt6)、ffmpeg內(nèi)核(ffmpeg2/ffmpeg3/ffmpeg4/ffmpeg5)、vlc內(nèi)核(vlc2/vlc3)、mpv內(nèi)核(mpv1/mp2)、海康sdk、easyplayer內(nèi)核等。
- 非常完善的多重基類設(shè)計(jì),新增一種解碼內(nèi)核只需要實(shí)現(xiàn)極少的代碼量,就可以應(yīng)用整套機(jī)制。
- 同時(shí)支持多種畫面顯示策略,自動(dòng)調(diào)整(原始分辨率小于顯示控件尺寸則按照原始分辨率大小顯示,否則等比例縮放)、等比例縮放(永遠(yuǎn)等比例縮放)、拉伸填充(永遠(yuǎn)拉伸填充)。所有內(nèi)核和所有視頻顯示模式下都支持三種畫面顯示策略。
- 同時(shí)支持多種視頻顯示模式,句柄模式(傳入控件句柄交給對(duì)方繪制控制)、繪制模式(回調(diào)拿到數(shù)據(jù)后轉(zhuǎn)成QImage用QPainter繪制)、GPU模式(回調(diào)拿到數(shù)據(jù)后轉(zhuǎn)成yuv用QOpenglWidget繪制)。
- 支持多種硬件加速類型,ffmpeg可選dxva2、d3d11va等,mpv可選auto、dxva2、d3d11va,vlc可選any、dxva2、d3d11va。不同的系統(tǒng)環(huán)境有不同的類型選擇,比如linux系統(tǒng)有vaapi、vdpau,macos系統(tǒng)有videotoolbox。
- 解碼線程和顯示窗體分離,可指定任意解碼內(nèi)核掛載到任意顯示窗體,動(dòng)態(tài)切換。
- 支持共享解碼線程,默認(rèn)開啟并且自動(dòng)處理,當(dāng)識(shí)別到相同的視頻地址,共享一個(gè)解碼線程,在網(wǎng)絡(luò)視頻環(huán)境中可以大大節(jié)約網(wǎng)絡(luò)流量以及對(duì)方設(shè)備的推流壓力。國內(nèi)頂尖視頻廠商均采用此策略。這樣只要拉一路視頻流就可以共享到幾十個(gè)幾百個(gè)通道展示。
- 自動(dòng)識(shí)別視頻旋轉(zhuǎn)角度并繪制,比如手機(jī)上拍攝的視頻一般是旋轉(zhuǎn)了90度的,播放的時(shí)候要自動(dòng)旋轉(zhuǎn)處理,不然默認(rèn)是倒著的。
- 自動(dòng)識(shí)別視頻流播放過程中分辨率的變化,在視頻控件上自動(dòng)調(diào)整尺寸。比如攝像機(jī)可以在使用過程中動(dòng)態(tài)配置分辨率,當(dāng)分辨率改動(dòng)后對(duì)應(yīng)視頻控件也要做出同步反應(yīng)。
- 音視頻文件無感知自動(dòng)切換循環(huán)播放,不會(huì)出現(xiàn)切換期間黑屏等肉眼可見的切換痕跡。
- 視頻控件同時(shí)支持任意解碼內(nèi)核、任意畫面顯示策略、任意視頻顯示模式。
- 視頻控件懸浮條同時(shí)支持句柄、繪制、GPU三種模式,非絕對(duì)坐標(biāo)移來移去。
- 本地?cái)z像頭設(shè)備支持指定設(shè)備名稱、分辨率、幀率進(jìn)行播放。
- 錄像文件同時(shí)支持打開的視頻文件、本地?cái)z像頭、網(wǎng)絡(luò)視頻流等。
- 瞬間響應(yīng)打開和關(guān)閉,無論是打開不存在的視頻或者網(wǎng)絡(luò)流,探測設(shè)備是否存在,讀取中的超時(shí)等待,收到關(guān)閉指令立即中斷之前的操作并響應(yīng)。
- 支持打開各種圖片文件,支持本地音視頻文件拖曳播放。
- 視頻控件懸浮條自帶開始和停止錄像切換、聲音靜音切換、抓拍截圖、關(guān)閉視頻等功能。
- 音頻組件支持聲音波形值數(shù)據(jù)解析,可以根據(jù)該值繪制波形曲線和柱狀聲音條,默認(rèn)提供了聲音振幅信號(hào)。
- 各組件中極其詳細(xì)的打印信息提示,尤其是報(bào)錯(cuò)信息提示,封裝的統(tǒng)一打印格式。針對(duì)現(xiàn)場復(fù)雜的設(shè)備環(huán)境測試極其方便有用,相當(dāng)于精確定位到具體哪個(gè)通道哪個(gè)步驟出錯(cuò)。
- 代碼框架和結(jié)構(gòu)優(yōu)化到最優(yōu),性能強(qiáng)悍,持續(xù)迭代更新升級(jí)。
- 源碼支持Qt4、Qt5、Qt6,兼容所有版本。
5.3 視頻控件
- 可動(dòng)態(tài)添加任意多個(gè)osd標(biāo)簽信息,標(biāo)簽信息包括名字、是否可見、字號(hào)大小、文本文字、文本顏色、標(biāo)簽圖片、標(biāo)簽坐標(biāo)、標(biāo)簽格式(文本、日期、時(shí)間、日期時(shí)間、圖片)、標(biāo)簽位置(左上角、左下角、右上角、右下角、居中、自定義坐標(biāo))。
- 可動(dòng)態(tài)添加任意多個(gè)圖形信息,這個(gè)非常有用,比如人工智能算法解析后的圖形區(qū)域信息直接發(fā)給視頻控件即可。圖形信息支持任意形狀,直接繪制在原始圖片上,采用絕對(duì)坐標(biāo)。
- 圖形信息包括名字、邊框大小、邊框顏色、背景顏色、矩形區(qū)域、路徑集合、點(diǎn)坐標(biāo)集合等。
- 每個(gè)圖形信息都可指定三種區(qū)域中的一種或者多種,指定了的都會(huì)繪制。
- 內(nèi)置懸浮條控件,懸浮條位置支持頂部、底部、左側(cè)、右側(cè)。
- 懸浮條控件參數(shù)包括邊距、間距、背景透明度、背景顏色、文本顏色、按下顏色、位置、按鈕圖標(biāo)代碼集合、按鈕名稱標(biāo)識(shí)集合、按鈕提示信息集合。
- 懸浮條控件一排工具按鈕可自定義,通過結(jié)構(gòu)體參數(shù)設(shè)置,圖標(biāo)可選圖形字體還是自定義圖片。
- 懸浮條按鈕內(nèi)部實(shí)現(xiàn)了錄像切換、抓拍截圖、靜音切換、關(guān)閉視頻等功能,也可以自行在源碼中增加自己對(duì)應(yīng)的功能。
- 懸浮條按鈕對(duì)應(yīng)實(shí)現(xiàn)了功能的按鈕,有對(duì)應(yīng)圖標(biāo)切換處理,比如錄像按鈕按下后會(huì)切換到正在錄像中的圖標(biāo),聲音按鈕切換后變成靜音圖標(biāo),再次切換還原。
- 懸浮條按鈕單擊后都用名稱唯一標(biāo)識(shí)作為信號(hào)發(fā)出,可以自行關(guān)聯(lián)響應(yīng)處理。
- 懸浮條空白區(qū)域可以顯示提示信息,默認(rèn)顯示當(dāng)前視頻分辨率大小,可以增加幀率、碼流大小等信息。
- 視頻控件參數(shù)包括邊框大小、邊框顏色、焦點(diǎn)顏色、背景顏色(默認(rèn)透明)、文字顏色(默認(rèn)全局文字顏色)、填充顏色(視頻外的空白處填充黑色)、背景文字、背景圖片(如果設(shè)置了圖片優(yōu)先取圖片)、是否拷貝圖片、縮放顯示模式(自動(dòng)調(diào)整、等比例縮放、拉伸填充)、視頻顯示模式(句柄、繪制、GPU)、啟用懸浮條、懸浮條尺寸(橫向?yàn)楦叨?、縱向?yàn)閷挾龋腋l位置(頂部、底部、左側(cè)、右側(cè))。
5.4 內(nèi)核ffmpeg
- 支持各種音視頻文件、本地?cái)z像頭設(shè)備,各種視頻流網(wǎng)絡(luò)流。
- 支持開始播放、暫停播放、繼續(xù)播放、停止播放、設(shè)置播放進(jìn)度、倍速播放。
- 可設(shè)置音量、靜音切換、抓拍圖片、錄像存儲(chǔ)。
- 自動(dòng)提取專輯信息比如標(biāo)題、藝術(shù)家、專輯、專輯封面,自動(dòng)顯示專輯封面。
- 完美支持音視頻同步和倍速播放。
- 解碼策略支持速度優(yōu)先、質(zhì)量優(yōu)先、均衡處理、最快速度。
- 支持手機(jī)視頻旋轉(zhuǎn)角度顯示,比如一般手機(jī)拍攝的視頻是旋轉(zhuǎn)了90度的,解碼顯示的時(shí)候需要重新旋轉(zhuǎn)90度才是正的。
- 自動(dòng)轉(zhuǎn)換yuv420格式,比如本地?cái)z像頭是yuyv422格式,有些視頻文件是xx格式,統(tǒng)一將非yuv420格式轉(zhuǎn)換,然后再進(jìn)行處理。
- 支持硬解碼dxva2、d3d11va等,性能極高尤其是大分辨率比如4K視頻。
- 視頻響應(yīng)極低延遲0.2s左右,極速響應(yīng)打開視頻流0.5s左右,專門做了優(yōu)化處理。
- 硬解碼和GPU繪制組合,極低CPU占用,比??荡笕A等客戶端更優(yōu)。
- 支持視頻流中的各種音頻格式,AAC、PCM、G.726、G.711A、G.711Mu、G.711ulaw、G.711alaw、MP2L2等都支持,推薦選擇AAC兼容性跨平臺(tái)性最好。
- 視頻存儲(chǔ)支持yuv、h264、mp4多種格式,音頻存儲(chǔ)支持pcm、wav、aac多種格式。默認(rèn)視頻mp4格式、音頻aac格式。
- 支持分開存儲(chǔ)音頻視頻文件,也支持合并到一個(gè)mp4文件,默認(rèn)策略是無論何種音視頻文件格式存儲(chǔ),最終都轉(zhuǎn)成mp4及aac格式,然后合并成音視頻一起的mp4文件。
- 支持本地?cái)z像頭實(shí)時(shí)視頻顯示帶音頻輸入輸出,音視頻錄制合并到一個(gè)mp4文件。
- 支持H264/H265編碼(現(xiàn)在越來越多的監(jiān)控?cái)z像頭是H265視頻流格式)生成視頻文件,內(nèi)部自動(dòng)識(shí)別切換編碼格式。
- 自動(dòng)識(shí)別視頻流動(dòng)態(tài)分辨率改動(dòng),重新打開視頻流。
- 支持用戶信息中包含特殊字符(比如用戶信息中包含+#@等字符)的視頻流播放,內(nèi)置解析轉(zhuǎn)義處理。
- 純qt+ffmpeg解碼,非sdl等第三方繪制播放依賴,gpu繪制采用qopenglwidget,音頻播放采用qaudiooutput。
- 同時(shí)支持ffmpeg2、ffmpeg3、ffmpeg4、ffmpeg5版本,全部做了兼容處理。如果需要支持xp需要選用ffmpeg3及以下。
以上就是Qt音視頻開發(fā)之通用監(jiān)控布局控件的實(shí)現(xiàn)的詳細(xì)內(nèi)容,更多關(guān)于Qt監(jiān)控布局控件的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章!
相關(guān)文章
C++實(shí)現(xiàn)LeetCode(157.用Read4來讀取N個(gè)字符)
這篇文章主要介紹了C++實(shí)現(xiàn)LeetCode(157.用Read4來讀取N個(gè)字符),本篇文章通過簡要的案例,講解了該項(xiàng)技術(shù)的了解與使用,以下就是詳細(xì)內(nèi)容,需要的朋友可以參考下2021-07-07C語言 詳細(xì)解析時(shí)間復(fù)雜度與空間復(fù)雜度
算法復(fù)雜度分為時(shí)間復(fù)雜度和空間復(fù)雜度。其作用: 時(shí)間復(fù)雜度是度量算法執(zhí)行的時(shí)間長短;而空間復(fù)雜度是度量算法所需存儲(chǔ)空間的大小2022-04-04一文帶你了解C語言中的動(dòng)態(tài)內(nèi)存管理函數(shù)
C語言中內(nèi)存管理相關(guān)的函數(shù)主要有realloc、calloc、malloc、free等,這篇文章主要為大家講解一下這四個(gè)函數(shù)的具體用法,需要的可以參考一下2023-03-03