C++?OpenCV實(shí)戰(zhàn)之零部件的自動(dòng)光學(xué)檢測
一、背景
首先任務(wù)背景是AOI(自動(dòng)光學(xué)檢測)
最重要的目的在于:將前景和物體進(jìn)行分割與分類;
場景示意圖:

需要注意,在螺母的傳送帶上,需要有前光和背光,給物體打光才能夠拍攝清晰的圖像;
二、基礎(chǔ)知識
首先分為以下幾步:
1、噪聲抑制(預(yù)處理)
2、背景移除(分割)
3、二值化
4、連通域、輪廓查找算法
降噪算法
先使用中值濾波對椒鹽噪聲進(jìn)行過濾,再使用高斯濾波對物體邊緣進(jìn)行模糊;
背景移除
首先有兩種方案可以實(shí)現(xiàn)背景移除,也就是減法和除法;

連通圖檢測計(jì)數(shù)
首先連通域類型分為4路連通和8路連通:

使用連通圖檢測算法,可以將不連通的每個(gè)物體都用不同顏色劃分出來;
三、代碼實(shí)現(xiàn)
1、實(shí)現(xiàn)多窗口展示
如果想要多張圖像展示在一個(gè)窗口中,也就是實(shí)現(xiàn)拼接圖片的操作,使用Python代碼實(shí)現(xiàn)起來可能比較便捷,C++代碼需要定義一個(gè)類,并且實(shí)際編寫也比較繁瑣;
class Display {
private:
int cols, rows, width, height;
String title;
vector<String> win_names;
vector<Mat> images;
Mat canvas;
public:
Display(String t, int c, int r, int flags) :title(t), cols(c), rows(r) {
height = 1080;
width = 1920;
namedWindow(title, flags);
canvas = Mat(height, width, CV_8UC3);
imshow(title, canvas);
}
int add_window(String win_name, Mat image, bool flag = true) {
win_names.push_back(win_name);
images.push_back(image);
if (flag) {
draw();
}
return win_names.size();
}
// 實(shí)現(xiàn)刪除窗口
int delete_window(String win_name) {
int index = 0;
for (const auto& it : win_names) {
if (it == win_name) break;
index++;
}
win_names.erase(win_names.begin() + index);
images.erase(images.begin() + index);
return win_names.size();
}
void draw() {
canvas.setTo(Scalar(20, 20, 20));
int single_width = width / cols;
int single_height = height / rows;
int max_win = win_names.size() > cols * rows ? cols * rows : win_names.size();
int i = 0;
auto iw = win_names.begin();
for (auto it = images.begin(); it != images.end()&&i<max_win; it++,i++,iw++) {
String win_name = *iw;
Mat img = *it;
int x = (single_width) * (i % cols);
int y = (single_height)*floor(i * 1.0 / cols);
Rect mask(x, y, single_width, single_height);
rectangle(canvas, mask, Scalar(255, 255, 255), 9);
Mat resized_img;
resize(img, resized_img, Size(single_width, single_height));
Mat sub_canvas(canvas, mask);
if (resized_img.channels() == 1) {
cvtColor(resized_img, resized_img, COLOR_GRAY2BGR);
}
resized_img.copyTo(sub_canvas);
putText(sub_canvas, win_name, Point(50, 50), FONT_HERSHEY_COMPLEX, 2, Scalar(0, 0, 255), 3, LINE_AA);
}
imshow(title, canvas);
}
};
// 使用智能指針
shared_ptr<Display> multi_window;
int main(int argc, char** argv)
{
// 實(shí)現(xiàn)多窗口
String total_path = "imgpath";
String background_path = "imgpath";
Mat abc = imread(total_path, 0);
multi_window = make_shared<Display>("Review for all", 3, 2, WINDOW_NORMAL);
multi_window->add_window("ABC", abc);
multi_window->add_window("ABCC", abc);
multi_window->delete_window("ABC"); // 也支持刪除窗口
multi_window->draw();
waitKey(0);
return 0;
}

2、降噪處理
采用中值濾波+高斯濾波結(jié)合的降噪方法:
Mat get_background(const Mat& bg){
Mat img;
medianBlur(bg,img,3);
GaussianBlur(bg,img,Size(3,3),0);
return img;
}
Mat smoothen_img(const Mat& noise_img){
Mat img;
medianBlur(noise_img,img,5);
GaussianBlur(img,img,Size(3,3),0);
return img;
}
3、背景去除
分為兩種方式,一種為減法,一種為除法;
Mat remove_background_divide(Mat image, Mat background) {
Mat tmp;
Mat fg, bg;
image.convertTo(fg, CV_32F);
background.convertTo(bg, CV_32F);
tmp = 1 - (fg / bg);
tmp.convertTo(tmp, CV_8U, 255);
return tmp;
}
Mat remove_background_minus(Mat image, Mat background) {
return background - image;
}

從結(jié)果圖上看,使用除法的方式能更好的保留白色部分的信息,因此選用除法的方式;
4、連通圖實(shí)現(xiàn)
對二值化后的圖像進(jìn)行連通域劃分,并且用隨機(jī)顏色繪制到Mask圖上;
void connection_check(Mat image) {
Mat labels;
int num = connectedComponents(image, labels);
if (num <= 1) {
cout << "No stuff detect!!" << endl;
return;
}
else
{
cout << num << " objects detected!!" << endl;
}
Mat display = Mat::zeros(image.rows, image.cols, CV_8UC3);
for (int i = 1; i < num; i++) {
Mat mask = (labels == i);
display.setTo(random_color_generator(seed), mask);
}
multi_window->add_window("Segment", display);
}

5、計(jì)算連通域面積
OpenCV中也自帶了對面積區(qū)域的計(jì)算:
void connection_heavy_check(Mat image) {
Mat labels, stats, centroids;
int num =connectedComponentsWithStats(image, labels, stats, centroids);
if (num <= 1) {
cout << "No stuff detect!!" << endl;
return;
}
else
{
cout << num << " objects detected!!" << endl;
}
Mat display = Mat::zeros(image.rows, image.cols, CV_8UC3);
for (int i = 1; i < num; i++) {
// 得到連通域的質(zhì)心點(diǎn)
Point2i pt(centroids.at<double>(i, 0), centroids.at<double>(i, 1));
// 打印標(biāo)簽和連通域坐標(biāo)和面積
cout << "Stuff #" << i << ", Position: " << pt << " ,Area: " << stats.at<int>(i, CC_STAT_AREA) << endl;
Mat mask = (labels == i);
display.setTo(random_color_generator(seed), mask);
stringstream ss;
ss << stats.at<int>(i, CC_STAT_AREA);
putText(display, ss.str(), pt, FONT_HERSHEY_SIMPLEX, 0.5, Scalar(255, 255, 255), 2);
}
multi_window->add_window("Segment more", display);
}
6、輪廓檢測
實(shí)現(xiàn)對物體輪廓的檢測;
void get_contour(Mat image) {
vector<vector<Point>> contours;
findContours(image, contours, RETR_EXTERNAL, CHAIN_APPROX_SIMPLE);
Mat display = Mat::zeros(image.rows, image.cols, CV_8UC3);
if (contours.size() == 0) {
cout << "No contour detect!!" << endl;
return;
}
else
{
cout << contours.size() << " contour detected!!" << endl;
}
for (int i = 0; i < contours.size(); i++) {
drawContours(display, contours, i, random_color_generator(seed), 2);
}
multi_window->add_window("CONTOURS", display);
}
從上結(jié)果圖可知,檢測到的輪廓并不包含內(nèi)部輪廓,如果想檢測所有輪廓應(yīng)該將findContours函數(shù)中的類型參數(shù)改為RETR_LIST即可;
四、總結(jié)
本次項(xiàng)目中涉及的技術(shù)點(diǎn)如下:
- 多窗口展示
- 背景去除
- 連通圖的實(shí)現(xiàn)
- 輪廓邊緣檢測
并且在實(shí)際的C++代碼中,還涉及了智能指針等高階知識;
工業(yè)質(zhì)檢項(xiàng)目作為視覺領(lǐng)域較為成熟的落地項(xiàng)目,其大部分都是基于深度學(xué)習(xí)的方式實(shí)現(xiàn)了,但如果能掌握一些OpenCV的方法,也可以在項(xiàng)目中起到優(yōu)化效果的作用;
到此這篇關(guān)于C++ OpenCV實(shí)戰(zhàn)之零部件的自動(dòng)光學(xué)檢測的文章就介紹到這了,更多相關(guān)C++ OpenCV光學(xué)檢測內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
C語言動(dòng)態(tài)內(nèi)存分配函數(shù)的實(shí)現(xiàn)
這篇文章主要介紹了C語言動(dòng)態(tài)內(nèi)存分配函數(shù)的實(shí)現(xiàn),文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-05-05
C語言 動(dòng)態(tài)內(nèi)存開辟常見問題解決與分析流程
動(dòng)態(tài)內(nèi)存是相對靜態(tài)內(nèi)存而言的。所謂動(dòng)態(tài)和靜態(tài)就是指內(nèi)存的分配方式。動(dòng)態(tài)內(nèi)存是指在堆上分配的內(nèi)存,而靜態(tài)內(nèi)存是指在棧上分配的內(nèi)存2022-03-03
VC通過托盤圖標(biāo)得到該所屬進(jìn)程的實(shí)現(xiàn)代碼
這篇文章主要介紹了VC通過托盤圖標(biāo)得到該所屬進(jìn)程的實(shí)現(xiàn)代碼,為了方便大家使用特將多個(gè)代碼分享給大家,需要的朋友可以參考下2021-10-10
C語言實(shí)現(xiàn)交換排序算法(冒泡,快速排序)的示例代碼
這篇文章主要為大家詳細(xì)介紹了如何利用C語言實(shí)現(xiàn)交換排序算法(冒泡排序、快速排序),文中的示例代碼講解詳細(xì),感興趣的小伙伴可以了解一下2022-07-07
C++與QML進(jìn)行數(shù)據(jù)交互的常見方法總結(jié)
這篇文章主要為大家詳細(xì)介紹了C++與QML進(jìn)行數(shù)據(jù)交互的常見方法,文中 的示例代碼講解詳細(xì),具有一定的參考價(jià)值,有需要的小伙伴可以跟隨小編一起了解一下2023-10-10

