openCV中meanshift算法查找目標(biāo)的實(shí)現(xiàn)
一、簡(jiǎn)介
圖像直方圖的反向投影是一個(gè)概率分布圖，表示一個(gè)指定圖像片段出現(xiàn)在特定位置的概率。當(dāng)我們已知圖像中某個(gè)物體的大體位置時(shí)，可以通過(guò)概率分布圖找到物體在另一張圖像中的準(zhǔn)確位置。我們可以設(shè)定一個(gè)初始位置，在其周?chē)磸?fù)移動(dòng)來(lái)提高局部匹配概率，從而找到物體的準(zhǔn)確位置，這個(gè)實(shí)現(xiàn)過(guò)程叫做均值平移算法。
二、實(shí)現(xiàn)過(guò)程
因?yàn)槿宋锏拿娌刻卣飨鄬?duì)于其他位置更明顯，本次實(shí)驗(yàn)主要應(yīng)用于人物的面部識(shí)別。
1、設(shè)定感興趣的區(qū)域
感興趣區(qū)域的設(shè)定有兩種方式，一種是已知圖片人物臉部位置的像素坐標(biāo)，通過(guò)設(shè)定矩形框來(lái)定位到人物臉部位置，另一種是使用opencv自帶的selectROI函數(shù)，手動(dòng)框選自己感興趣的位置。
2、獲取臉部直方圖并做歸一化
設(shè)置一個(gè)ColorHistogram類(lèi)增加一個(gè)獲取色調(diào)直方圖的函數(shù)getHueHistogram。此函數(shù)包含將圖像轉(zhuǎn)換成HSV色彩空間，屏蔽低飽和度的像素（可能用到，也可能用不到），計(jì)算圖像直方圖。
cv::Mat getHueHistogram(const cv::Mat &image2, int minSaturation = 0)
{
cv::Mat hist;
//轉(zhuǎn)換成HSV色彩空間
cv::Mat hsv;
cv::cvtColor(image2, hsv, CV_BGR2HSV);
//cv::imshow("hsv", hsv);
//掩碼（可能用的到也可能用不到)
cv::Mat mask;
if (minSaturation > 0) {
std::vector<cv::Mat>v;
cv::split(hsv, v); //將3個(gè)通道分割進(jìn)3幅圖像
cv::threshold(v[1], mask, minSaturation, 255, cv::THRESH_BINARY);//屏蔽低飽和度的像素
}
//準(zhǔn)備一維色調(diào)直方圖的參數(shù)
hranges[0] = 0.0;
hranges[1] = 180.0; //范圍是0~180
channels[0] = 0; //色調(diào)通道
//計(jì)算直方圖
cv::calcHist(&hsv, 1, //僅為一幅圖像的直方圖
channels, //使用的通道
mask, //二值掩碼
hist, //作為結(jié)果的直方圖
1, //這是一維的直方圖
histSize, //箱子數(shù)量
ranges); //像素值的范圍
return hist;
}
然后，對(duì)獲取的直方圖做歸一化。
void setHistogram(const cv::Mat& h) {
histogram = h;
cv::normalize(histogram, histogram, 1.0);
}
3、反向投影，用meanshift查找目標(biāo)
打開(kāi)第二張圖像，并將其轉(zhuǎn)換成HSV色彩空間（代碼中對(duì)輸入的圖像做了resize，避免有些圖像尺寸過(guò)大，顯示不全），然后對(duì)第一幅圖像的直方圖做反向投影。下面result是反向投影的結(jié)果，目前是框選了路飛的臉部作為感興趣區(qū)域，如果框選路飛的帽子，反向投影會(huì)有不一樣的效果，大家可以自己嘗試。
//打開(kāi)第二幅圖像，并轉(zhuǎn)換成HSV，對(duì)第一幅圖像的直方圖做反向投影
image = cv::imread("lufei2.JPG");
resize(image, image3, cv::Size(500, 700));
cv::cvtColor(image3, hsv, CV_BGR2HSV); //轉(zhuǎn)換成HSV色彩空間
int ch[1] = { 0 };
cv::Mat result = finder.find(hsv, 0.0f, 180.0f, ch);
使用openCV的meanshift算法可以將初始矩形區(qū)域修改成圖像人物臉部的新位置。
cv::TermCriteria criteria( cv::TermCriteria::MAX_ITER | cv::TermCriteria::EPS, 10, // 最多迭代10 次 1); // 或者重心移動(dòng)距離小于1 個(gè)像素 cv::meanShift(result, rect, criteria);
至此，就找到了另一張圖像中人物的臉部。
三、其他實(shí)驗(yàn)結(jié)果
除了進(jìn)行從單人圖像找另一個(gè)單人圖像的實(shí)驗(yàn)，還做了從單人圖像找多人合影的圖像，下面是對(duì)NBA球星做的一個(gè)實(shí)驗(yàn)。
四、部分原理補(bǔ)充
本實(shí)驗(yàn)為了突出感興趣目標(biāo)特征，使用了HSV色彩空間的色調(diào)分量，使用CV_BGR2HSV標(biāo)志轉(zhuǎn)換圖像后，得到的第一個(gè)通道就是色調(diào)分量。這是一個(gè)8位分量，值范圍為0~180（如果使用cv::cvtColor，轉(zhuǎn)換后的圖像與原始圖像的類(lèi)型就會(huì)是相同的）。為了提取色調(diào)圖像，cv::split 函數(shù)把三通道的 HSV 圖像分割成三個(gè)單通道圖像。這三幅圖像存放在一個(gè) std::vector 實(shí)例中，并且色調(diào)圖像是向量的第一個(gè)入口（即索引為 0）。
在使用顏色的色調(diào)分量時(shí)，要把它的飽和度考慮在內(nèi)（飽和度是向量的第二個(gè)入口），當(dāng)顏色的飽和度很低時(shí)，它的色調(diào)信息就會(huì)變得不穩(wěn)定且不可靠。這是因?yàn)榈惋柡投阮伾?B、G 和 R 分量幾乎是相等的，這導(dǎo)致很難確定它所表示的準(zhǔn)確顏色。因此，在 getHueHistogram 方法中使用 minSat 參數(shù)屏蔽掉飽和度低于此閾值的像素，不把它們統(tǒng)計(jì)進(jìn)直方圖中。
均值偏移算法是一個(gè)迭代過(guò)程，用于定位概率函數(shù)的局部最大值，方法是尋找預(yù)定義窗口內(nèi)部數(shù)據(jù)點(diǎn)的重心或加權(quán)平均值。然后，把窗口移動(dòng)到重心的位置，并重復(fù)該過(guò)程，直到窗口中心收斂到一個(gè)穩(wěn)定的點(diǎn)。OpenCV 實(shí)現(xiàn)該算法時(shí)定義了兩個(gè)停止條件：迭代次數(shù)達(dá)到最大值 （MAX_ITER）；窗口中心的偏移值小于某個(gè)限值（EPS），可認(rèn)為該位置收斂到一個(gè)穩(wěn)定點(diǎn)。這兩個(gè)條件存儲(chǔ)在一個(gè) cv::TermCriteria 實(shí)例中。
五、完整代碼
#include <iostream>
#include<Windows.h>
#include<opencv2/core.hpp> //圖像數(shù)據(jù)結(jié)構(gòu)的核心
#include<opencv2/highgui.hpp> //所有圖形接口函數(shù)
#include<opencv2/imgproc.hpp>
#include <opencv2/imgproc/types_c.h>
#include<opencv2/imgproc/imgproc.hpp>
#include<opencv2/opencv.hpp>
using namespace std;
using namespace cv;
//獲得色調(diào)直方圖
class ColorHistogram
{
private:
int histSize[3]; // 每個(gè)維度的大小
float hranges[2]; // 值的范圍（三個(gè)維度用同一個(gè)值）
const float* ranges[3]; // 每個(gè)維度的范圍
int channels[3]; // 需要處理的通道
public:
ColorHistogram() {
// 準(zhǔn)備用于彩色圖像的默認(rèn)參數(shù)
// 每個(gè)維度的大小和范圍是相等的
histSize[0] = histSize[1] = histSize[2] = 256;
hranges[0] = 0.0; // BGR 范圍為0~256
hranges[1] = 256.0;
ranges[0] = hranges; // 這個(gè)類(lèi)中
ranges[1] = hranges; // 所有通道的范圍都相等
ranges[2] = hranges;
channels[0] = 0; // 三個(gè)通道：B
channels[1] = 1; // G
channels[2] = 2; // R
}
//計(jì)算一維直方圖，BGR的原圖轉(zhuǎn)換成HSV，忽略低飽和度的像素
cv::Mat getHueHistogram(const cv::Mat &image2, int minSaturation = 0)
{
cv::Mat hist;
//轉(zhuǎn)換成HSV色彩空間
cv::Mat hsv;
cv::cvtColor(image2, hsv, CV_BGR2HSV);
//cv::imshow("hsv", hsv);
//掩碼（可能用的到也可能用不到)
cv::Mat mask;
if (minSaturation > 0) {
std::vector<cv::Mat>v;
cv::split(hsv, v); //將3個(gè)通道分割進(jìn)3幅圖像
cv::threshold(v[1], mask, minSaturation, 255, cv::THRESH_BINARY);//屏蔽低飽和度的像素
}
//準(zhǔn)備一維色調(diào)直方圖的參數(shù)
hranges[0] = 0.0;
hranges[1] = 180.0; //范圍是0~180
channels[0] = 0; //色調(diào)通道
//計(jì)算直方圖
cv::calcHist(&hsv, 1, //僅為一幅圖像的直方圖
channels, //使用的通道
mask, //二值掩碼
hist, //作為結(jié)果的直方圖
1, //這是一維的直方圖
histSize, //箱子數(shù)量
ranges); //像素值的范圍
return hist;
}
};
class ContentFinder {
private:
// 直方圖參數(shù)
float hranges[2];
const float* ranges[3];
int channels[3];
float threshold; // 判斷閾值
cv::Mat histogram; // 輸入直方圖
public:
ContentFinder() : threshold(0.1f) {
// 本類(lèi)中所有通道的范圍相同
ranges[0] = hranges;
ranges[1] = hranges;
ranges[2] = hranges;
}
// 對(duì)直方圖做歸一化
void setHistogram(const cv::Mat& h) {
histogram = h;
cv::normalize(histogram, histogram, 1.0);
}
// 查找屬于直方圖的像素
cv::Mat find(const cv::Mat& image, float minValue, float maxValue,
int *channels) {
cv::Mat result;
hranges[0] = minValue;
hranges[1] = maxValue;
// 直方圖的維度數(shù)與通道列表一致
for (int i = 0; i < histogram.dims; i++)
this->channels[i] = channels[i];
cv::calcBackProject(&image, 1, // 只使用一幅圖像
channels, // 通道
histogram, // 直方圖
result, // 反向投影的圖像
ranges, // 每個(gè)維度的值范圍
255.0 // 選用的換算系數(shù)
// 把概率值從1 映射到255
);
cv::imshow("result", result);
return result;
}
};
int main()
{
/************均值檢測(cè)meanshift***********/
cv::Mat image = cv::imread("ZMS1.jpg");
cv::Mat image2;
cv::Mat image3;
cv::Mat hsv;
resize(image, image2, cv::Size(500, 700));
cv::Rect rect;
rect = cv::selectROI("image", image2, false, false);
cv::Mat imageROI = image2(rect).clone();//手動(dòng)框選
/*cv::Rect rect(227, 108, 108, 104);
cv::Mat imageROI = image2(rect);*///手動(dòng)設(shè)置矩形框選范圍
cv::rectangle(image2, rect, cv::Scalar(255, 0, 0), 1, cv::LINE_8, 0);
cv::imshow("image2", image2);
//得到人臉直方圖
int minsat = 65; //最小飽和度
ColorHistogram hc;
cv::Mat colorhist = hc.getHueHistogram(imageROI, minsat);
//把直方圖傳給ContentFinder類(lèi)
ContentFinder finder;
finder.setHistogram(colorhist);//對(duì)直方圖做歸一化
//打開(kāi)第二幅圖像，并轉(zhuǎn)換成HSV，對(duì)第一幅圖像的直方圖做反向投影
image = cv::imread("ZMS2.JPG");
resize(image, image3, cv::Size(500, 700));
cv::cvtColor(image3, hsv, CV_BGR2HSV); //轉(zhuǎn)換成HSV色彩空間
int ch[1] = { 0 };
cv::Mat result = finder.find(hsv, 0.0f, 180.0f, ch);
cv::TermCriteria criteria(
cv::TermCriteria::MAX_ITER | cv::TermCriteria::EPS,
10, // 最多迭代10 次
1); // 或者重心移動(dòng)距離小于1 個(gè)像素
cv::meanShift(result, rect, criteria);
cv::rectangle(image3, rect, cv::Scalar(0, 255, 0), 1, cv::LINE_8, 0);
cv::imshow("image3", image3);
waitKey(0);
}
到此這篇關(guān)于openCV中meanshift算法查找目標(biāo)的實(shí)現(xiàn)的文章就介紹到這了,更多相關(guān)openCV meanshift查找目標(biāo)內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
C++內(nèi)存分區(qū)包括棧區(qū)、堆區(qū)、全局靜態(tài)區(qū)、常量區(qū)，各自負(fù)責(zé)不同的數(shù)據(jù)存儲(chǔ)和回收，棧區(qū)主要用于存放函數(shù)局部變量和參數(shù)，堆區(qū)用于動(dòng)態(tài)分配內(nèi)存，全局靜態(tài)區(qū)用于存放全局靜態(tài)變量和靜態(tài)成員變量，常量區(qū)用于存放常量和字符串常量2023-04-04
Lambda表達(dá)式是現(xiàn)代C++在C ++ 11和更高版本中的一個(gè)新的語(yǔ)法糖 ,在C++11、C++14、C++17和C++20中Lambda表達(dá)的內(nèi)容還在不斷更新。 lambda表達(dá)式(也稱(chēng)為lambda函數(shù))是在調(diào)用或作為函數(shù)參數(shù)傳遞的位置處定義匿名函數(shù)對(duì)象的便捷方法2022-05-05
C++實(shí)現(xiàn)高性能轉(zhuǎn)換大小寫(xiě)算法示例
大小寫(xiě)轉(zhuǎn)換是我們作為一名程序員經(jīng)常會(huì)遇到，也必須要會(huì)的一個(gè)功能，下面這篇文章主要給大家介紹了關(guān)于C++實(shí)現(xiàn)高性能轉(zhuǎn)換大小寫(xiě)算法的相關(guān)資料，文中通過(guò)示例代碼介紹的非常詳細(xì)，需要的朋友可以參考借鑒，下面來(lái)一起看看吧。2018-01-01
這篇文章主要介紹了使用OpenCV C++ 制作哈哈鏡圖像特效。其原理就是讓圖像像素扭曲，將像素重新進(jìn)行映射。感興趣的可以跟隨小編一起試一試2022-01-01
C語(yǔ)言順序表的基本操作(初始化,插入,刪除,查詢,擴(kuò)容,打印,清空等)
這篇文章主要介紹了C語(yǔ)言順序表的基本操作(初始化,插入,刪除,查詢,擴(kuò)容,打印,清空等)，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。2023-02-02
數(shù)據(jù)對(duì)象是指存儲(chǔ)在內(nèi)存中的一個(gè)指定數(shù)據(jù)類(lèi)型的數(shù)值或字符串，它們都有一個(gè)自己的地址，指針是保存這個(gè)地址的變量，本篇文章帶你掌握C語(yǔ)言指針的用法2021-10-10
今天我要給大家介紹C++中更深入的內(nèi)容了，C++繼承的賦值轉(zhuǎn)換與菱形虛擬繼承。C++這門(mén)語(yǔ)言為了使代碼不冗余，做了些什么操作呢？C++的繼承就很好地實(shí)現(xiàn)了類(lèi)層次的代碼復(fù)用，今天我就要來(lái)和大家好好聊一聊它了2022-08-08
C語(yǔ)言中函數(shù)指針的三種使用方法總結(jié)
這篇文章主要介紹了 C語(yǔ)言中函數(shù)指針的三種使用方法總結(jié)的相關(guān)資料,希望通過(guò)本文大家能夠徹底掌握指針的使用方法，需要的朋友可以參考下2017-10-10
這篇文章主要為大家詳細(xì)介紹了C++實(shí)現(xiàn)簡(jiǎn)單單向鏈表，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2020-05-05
智能指針是C++11引入的類(lèi)模板，用于管理資源，行為類(lèi)似于指針，但不需要手動(dòng)申請(qǐng)、釋放資源，本文主要為大家介紹了它的相關(guān)知識(shí)，需要的可以參考一下2023-06-06