OpenCV視頻流C++多線程處理方法詳細分析

更新時間：2022年11月16日 14:27:39 作者：hlld26

為OpenCV是搞計算機視覺必須要掌握的基礎,這篇文章主要給大家介紹了關于OpenCV視頻流多線程處理的相關資料,文中通過示例代碼介紹的非常詳細,需要的朋友可以參考下

為什么需要多線程處理視頻流

在之前有寫過一篇文章Python環(huán)境下OpenCV視頻流的多線程處理方式，上面簡單記錄了如何使用Python實現(xiàn)對OpenCV視頻流的多線程處理。簡單來說，在目標檢測等任務中，如果視頻流的捕獲、解碼以及檢測都在同一個線程中，那么很可能出現(xiàn)目標檢測器實時性不高導致的檢測時延問題。使用多線程處理，將視頻幀的捕獲和解碼放在一個線程，推理放在一個線程，可以有效緩解時延的問題，使得目標檢測的實時性看似有所提升。

C++的多線程處理方式

C++的處理方式與Python大致相同，但卻可能遇到一些問題，如使用OpneCV多線程時X11庫報錯、OpenCV顯示卡死等問題，這些問題可能的解決方法會在后面簡單提一下。在本文中，使用的多線程是c++11中引入的thread標準庫，實現(xiàn)方式則包括函數(shù)封裝和類封裝兩種。

函數(shù)封裝的實現(xiàn)方式

函數(shù)封裝的實現(xiàn)方式相比類封裝要更為簡潔，當然可復用性也會降低。簡單的示例代碼如下：

// video_test.cpp
#include <iostream>
#include <thread>
#include <mutex>
#include <atomic>
#include <opencv2/core/core.hpp>
#include <opencv2/highgui/highgui.hpp>
#include <opencv2/imgproc/imgproc.hpp>
static std::mutex mutex;
static std::atomic_bool isOpen;
static void cameraThreadFunc(int camId, int height, int width, cv::Mat* pFrame)
{
    cv::VideoCapture capture(camId);
    capture.set(cv::CAP_PROP_FOURCC, CV_FOURCC('M', 'J', 'P', 'G'));
    capture.set(cv::CAP_PROP_FRAME_WIDTH, width);
    capture.set(cv::CAP_PROP_FRAME_HEIGHT, height);
    capture.set(cv::CAP_PROP_FPS, 30);
    if (!capture.isOpened()) {
        isOpen = false;
        std::cout << "Failed to open camera with index " << camId << std::endl;
    }
    cv::Mat frame;
    while (isOpen) {
        capture >> frame;
        if (mutex.try_lock()) {
            frame.copyTo(*pFrame);
            mutex.unlock();
        }
        cv::waitKey(5);
    }
    capture.release();
}
int main(int argc, char* argv[])
{
    isOpen = true;
    cv::Mat frame(480, 640, CV_8UC3), gray;
    std::thread thread(cameraThreadFunc, 0, 480, 640, &frame);
    while (isOpen) {
        mutex.lock();
        frame.copyTo(gray);
        mutex.unlock();
        if (gray.empty()) {
            break;
        }
        cv::cvtColor(frame, gray, cv::COLOR_BGR2GRAY);
        cv::blur(gray, gray, cv::Size(3, 3));
        cv::Canny(gray, gray, 5 , 38 , 3);
        cv::waitKey(100);
        cv::imshow("video", gray);
        if (cv::waitKey(1) == 'q') {
            break;
        }
    }
    isOpen = false;
    thread.join();
    return 0;
}

在上面的代碼中，攝像頭的打開、幀捕獲及解碼都在cameraThreadFunc線程函數(shù)中進行。在c++11中，有關pthread的線程操作都封裝在thread標準庫中，線程的開啟方式也由執(zhí)行pthread_create()函數(shù)變?yōu)閷?code>thread類的操作。使用thread類時，第一個參數(shù)為線程函數(shù)的指針，后續(xù)的參數(shù)為傳入線程函數(shù)的參數(shù)。需要注意的是：如果要傳入?yún)?shù)引用，則需要使用std::ref()對參數(shù)進行包裝；如果傳入類成員函數(shù)時，則thread類構造函數(shù)的第二個參數(shù)必須為this。

使用多線程時還需要考慮線程之間的同步問題，在上面的程序中，兩個線程會同時訪問pFrame指向的緩存空間，使用mutex可確保同一時刻下僅有一個線程能訪問到緩存空間。另外，使用atomic_bool在多線程中進行狀態(tài)切換也是必要的，原子操作使得對布爾變量的賦值在臨界區(qū)中進行，可消除線程之間競爭訪問或訪問結果不一致的情況。

在上面的程序中，由于主線程會先訪問pFrame變量，因此需要預先為pFrame申請空間，不然程序開始執(zhí)行時出現(xiàn)pFrame為空的情況。在Ubuntu中使用g++編譯的方法如下：

g++ video_test.cpp -std=c++11 -I/usr/local/include/ -lpthread -L/usr/local/lib -lopencv_highgui -lopencv_core -lopencv_imgproc -lopencv_videoio -o video_test

根據(jù)OpenCV版本和安裝位置的不同，需要相應修改頭文件和庫文件的位置，例如對于OpenCV4，頭文件目錄應修改為/usr/local/include/opencv4。在Jetson平臺上，頭文件的位置在/usr/include/opencv4，庫文件則在/usr/lib/aarch64-linux-gnu。如果有配置pkg-config，那么還可以使用如下方式進行編譯：

g++ video_test.cpp -std=c++11 `pkg-config --cflags opencv` -pthread `pkg-config --libs opencv` -o video_test

類封裝的實現(xiàn)方式

同函數(shù)封裝的方式相似，類封裝的方式僅是將線程函數(shù)和線程同步變量變?yōu)轭惓蓡T，從而提升程序的可復用性。簡單的示例代碼如下：

// video_test.cpp
#include <iostream>
#include <string>
#include <thread>
#include <mutex>
#include <atomic>
#include <opencv2/core/core.hpp>
#include <opencv2/highgui/highgui.hpp>
#include <opencv2/imgproc/imgproc.hpp>
class VideoCaptureMT {
public:
	VideoCaptureMT(int index, int height=480, int width=640);
	VideoCaptureMT(std::string filePath, int height=480, int width=640);
	~VideoCaptureMT();
	bool isOpened() {
		return m_IsOpen;
	}
	void release() {
		m_IsOpen = false;
	}
	bool read(cv::Mat& frame);
private:
	void captureInit(int index, std::string filePath, int height, int width);
	void captureFrame();
	cv::VideoCapture* m_pCapture;
	cv::Mat* m_pFrame;
	std::mutex* m_pMutex;
	std::thread* m_pThread;
	std::atomic_bool m_IsOpen;
};
VideoCaptureMT::VideoCaptureMT(int index, int height, int width)
{
	captureInit(index, std::string(), height, width);
}
VideoCaptureMT::VideoCaptureMT(std::string filePath, int height, int width)
{
	captureInit(0, filePath, height, width);
}
VideoCaptureMT::~VideoCaptureMT()
{
	m_IsOpen = false;
	m_pThread->join();
	if (m_pCapture->isOpened()) {
		m_pCapture->release();
	}
	delete m_pThread;
	delete m_pMutex;
	delete m_pCapture;
	delete m_pFrame;
}
void VideoCaptureMT::captureInit(int index, std::string filePath, int height, int width)
{
	if (!filePath.empty()) {
		m_pCapture = new cv::VideoCapture(filePath);
	}
	else {
		m_pCapture = new cv::VideoCapture(index);
	}
	m_pCapture->set(cv::CAP_PROP_FRAME_WIDTH, width);
	m_pCapture->set(cv::CAP_PROP_FRAME_HEIGHT, height);
	m_pCapture->set(cv::CAP_PROP_FPS, 30);
	m_IsOpen = true;
	m_pFrame = new cv::Mat(height, width, CV_8UC3);
	m_pMutex = new std::mutex();
	m_pThread = new std::thread(&VideoCaptureMT::captureFrame, this);
}
void VideoCaptureMT::captureFrame()
{
	cv::Mat frameBuff;
	while (m_IsOpen) {
		(*m_pCapture) >> frameBuff;
		if (m_pMutex->try_lock()) {
			frameBuff.copyTo(*m_pFrame);
			m_pMutex->unlock();
		}
		cv::waitKey(5);
	}
}
bool VideoCaptureMT::read(cv::Mat& frame)
{
	if (m_pFrame->empty()) {
		m_IsOpen = false;
	}
	else {
		m_pMutex->lock();
		m_pFrame->copyTo(frame);
		m_pMutex->unlock();
	}
	return m_IsOpen;
}
int main(int argc, char* argv[])
{
	VideoCaptureMT capture(0);
	cv::Mat frame, gray;
	while (capture.isOpened()) {
		if (!capture.read(frame)) {
			break;
		}
		cv::cvtColor(frame, gray, cv::COLOR_BGR2GRAY);
		cv::blur(gray, gray, cv::Size(3, 3));
		cv::Canny(gray, gray, 5 , 38 , 3);
		cv::waitKey(100);
		cv::imshow("image", gray);
        if (cv::waitKey(5) == 'q') {
			break;
		}
	}
	capture.release();
	return 0;
}

在上面的代碼中，線程函數(shù)和線程間同步變量都是類成員，不同的地方在于：攝像頭是在主線程中打開，在子線程中捕獲和解碼幀，但實際效果和函數(shù)封裝的方式沒有區(qū)別。

可能遇到的問題

使用C++編寫OpenCV的多線程程序時可能會遇到一些問題，例如我在Jetson AGX上運行時會報錯，提示需要進行XInitThreads的初始化。出現(xiàn)這樣的情況時，需要在cpp文件中添加#include <X11/Xlib.h>頭文件，并在main函數(shù)開頭添加XInitThreads()函數(shù)調用，在編譯時還需要添加-lX11鏈接庫。我在Jetson Nano上運行時還遇到顯示窗口卡死的情況，既imshow函數(shù)出現(xiàn)問題，點擊關閉窗戶后又會重新打開新窗口正常顯示。遇到這樣的情況，可在main函數(shù)開頭添加一行代碼cv::setNumThreads(1)，設置OpenCV在單線程的模式下運行可緩解窗口卡死的情況。

到此這篇關于OpenCV視頻流C++多線程處理方法詳細分析的文章就介紹到這了,更多相關OpenCV視頻流內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: