C++?OpenCV實戰(zhàn)之零部件的自動光學檢測
一、背景
首先任務(wù)背景是AOI(自動光學檢測)
最重要的目的在于:將前景和物體進行分割與分類;
場景示意圖:
需要注意,在螺母的傳送帶上,需要有前光和背光,給物體打光才能夠拍攝清晰的圖像;
二、基礎(chǔ)知識
首先分為以下幾步:
1、噪聲抑制(預處理)
2、背景移除(分割)
3、二值化
4、連通域、輪廓查找算法
降噪算法
先使用中值濾波對椒鹽噪聲進行過濾,再使用高斯濾波對物體邊緣進行模糊;
背景移除
首先有兩種方案可以實現(xiàn)背景移除,也就是減法和除法;
連通圖檢測計數(shù)
首先連通域類型分為4路連通和8路連通:
使用連通圖檢測算法,可以將不連通的每個物體都用不同顏色劃分出來;
三、代碼實現(xiàn)
1、實現(xiàn)多窗口展示
如果想要多張圖像展示在一個窗口中,也就是實現(xiàn)拼接圖片的操作,使用Python代碼實現(xiàn)起來可能比較便捷,C++代碼需要定義一個類,并且實際編寫也比較繁瑣;
class Display { private: int cols, rows, width, height; String title; vector<String> win_names; vector<Mat> images; Mat canvas; public: Display(String t, int c, int r, int flags) :title(t), cols(c), rows(r) { height = 1080; width = 1920; namedWindow(title, flags); canvas = Mat(height, width, CV_8UC3); imshow(title, canvas); } int add_window(String win_name, Mat image, bool flag = true) { win_names.push_back(win_name); images.push_back(image); if (flag) { draw(); } return win_names.size(); } // 實現(xiàn)刪除窗口 int delete_window(String win_name) { int index = 0; for (const auto& it : win_names) { if (it == win_name) break; index++; } win_names.erase(win_names.begin() + index); images.erase(images.begin() + index); return win_names.size(); } void draw() { canvas.setTo(Scalar(20, 20, 20)); int single_width = width / cols; int single_height = height / rows; int max_win = win_names.size() > cols * rows ? cols * rows : win_names.size(); int i = 0; auto iw = win_names.begin(); for (auto it = images.begin(); it != images.end()&&i<max_win; it++,i++,iw++) { String win_name = *iw; Mat img = *it; int x = (single_width) * (i % cols); int y = (single_height)*floor(i * 1.0 / cols); Rect mask(x, y, single_width, single_height); rectangle(canvas, mask, Scalar(255, 255, 255), 9); Mat resized_img; resize(img, resized_img, Size(single_width, single_height)); Mat sub_canvas(canvas, mask); if (resized_img.channels() == 1) { cvtColor(resized_img, resized_img, COLOR_GRAY2BGR); } resized_img.copyTo(sub_canvas); putText(sub_canvas, win_name, Point(50, 50), FONT_HERSHEY_COMPLEX, 2, Scalar(0, 0, 255), 3, LINE_AA); } imshow(title, canvas); } }; // 使用智能指針 shared_ptr<Display> multi_window; int main(int argc, char** argv) { // 實現(xiàn)多窗口 String total_path = "imgpath"; String background_path = "imgpath"; Mat abc = imread(total_path, 0); multi_window = make_shared<Display>("Review for all", 3, 2, WINDOW_NORMAL); multi_window->add_window("ABC", abc); multi_window->add_window("ABCC", abc); multi_window->delete_window("ABC"); // 也支持刪除窗口 multi_window->draw(); waitKey(0); return 0; }
2、降噪處理
采用中值濾波+高斯濾波結(jié)合的降噪方法:
Mat get_background(const Mat& bg){ Mat img; medianBlur(bg,img,3); GaussianBlur(bg,img,Size(3,3),0); return img; } Mat smoothen_img(const Mat& noise_img){ Mat img; medianBlur(noise_img,img,5); GaussianBlur(img,img,Size(3,3),0); return img; }
3、背景去除
分為兩種方式,一種為減法,一種為除法;
Mat remove_background_divide(Mat image, Mat background) { Mat tmp; Mat fg, bg; image.convertTo(fg, CV_32F); background.convertTo(bg, CV_32F); tmp = 1 - (fg / bg); tmp.convertTo(tmp, CV_8U, 255); return tmp; } Mat remove_background_minus(Mat image, Mat background) { return background - image; }
從結(jié)果圖上看,使用除法的方式能更好的保留白色部分的信息,因此選用除法的方式;
4、連通圖實現(xiàn)
對二值化后的圖像進行連通域劃分,并且用隨機顏色繪制到Mask圖上;
void connection_check(Mat image) { Mat labels; int num = connectedComponents(image, labels); if (num <= 1) { cout << "No stuff detect!!" << endl; return; } else { cout << num << " objects detected!!" << endl; } Mat display = Mat::zeros(image.rows, image.cols, CV_8UC3); for (int i = 1; i < num; i++) { Mat mask = (labels == i); display.setTo(random_color_generator(seed), mask); } multi_window->add_window("Segment", display); }
5、計算連通域面積
OpenCV中也自帶了對面積區(qū)域的計算:
void connection_heavy_check(Mat image) { Mat labels, stats, centroids; int num =connectedComponentsWithStats(image, labels, stats, centroids); if (num <= 1) { cout << "No stuff detect!!" << endl; return; } else { cout << num << " objects detected!!" << endl; } Mat display = Mat::zeros(image.rows, image.cols, CV_8UC3); for (int i = 1; i < num; i++) { // 得到連通域的質(zhì)心點 Point2i pt(centroids.at<double>(i, 0), centroids.at<double>(i, 1)); // 打印標簽和連通域坐標和面積 cout << "Stuff #" << i << ", Position: " << pt << " ,Area: " << stats.at<int>(i, CC_STAT_AREA) << endl; Mat mask = (labels == i); display.setTo(random_color_generator(seed), mask); stringstream ss; ss << stats.at<int>(i, CC_STAT_AREA); putText(display, ss.str(), pt, FONT_HERSHEY_SIMPLEX, 0.5, Scalar(255, 255, 255), 2); } multi_window->add_window("Segment more", display); }
6、輪廓檢測
實現(xiàn)對物體輪廓的檢測;
void get_contour(Mat image) { vector<vector<Point>> contours; findContours(image, contours, RETR_EXTERNAL, CHAIN_APPROX_SIMPLE); Mat display = Mat::zeros(image.rows, image.cols, CV_8UC3); if (contours.size() == 0) { cout << "No contour detect!!" << endl; return; } else { cout << contours.size() << " contour detected!!" << endl; } for (int i = 0; i < contours.size(); i++) { drawContours(display, contours, i, random_color_generator(seed), 2); } multi_window->add_window("CONTOURS", display); }
從上結(jié)果圖可知,檢測到的輪廓并不包含內(nèi)部輪廓,如果想檢測所有輪廓應(yīng)該將findContours函數(shù)中的類型參數(shù)改為RETR_LIST即可;
四、總結(jié)
本次項目中涉及的技術(shù)點如下:
- 多窗口展示
- 背景去除
- 連通圖的實現(xiàn)
- 輪廓邊緣檢測
并且在實際的C++代碼中,還涉及了智能指針等高階知識;
工業(yè)質(zhì)檢項目作為視覺領(lǐng)域較為成熟的落地項目,其大部分都是基于深度學習的方式實現(xiàn)了,但如果能掌握一些OpenCV的方法,也可以在項目中起到優(yōu)化效果的作用;
到此這篇關(guān)于C++ OpenCV實戰(zhàn)之零部件的自動光學檢測的文章就介紹到這了,更多相關(guān)C++ OpenCV光學檢測內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
C語言動態(tài)內(nèi)存分配函數(shù)的實現(xiàn)
這篇文章主要介紹了C語言動態(tài)內(nèi)存分配函數(shù)的實現(xiàn),文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧2021-05-05C語言 動態(tài)內(nèi)存開辟常見問題解決與分析流程
動態(tài)內(nèi)存是相對靜態(tài)內(nèi)存而言的。所謂動態(tài)和靜態(tài)就是指內(nèi)存的分配方式。動態(tài)內(nèi)存是指在堆上分配的內(nèi)存,而靜態(tài)內(nèi)存是指在棧上分配的內(nèi)存2022-03-03C語言實現(xiàn)交換排序算法(冒泡,快速排序)的示例代碼
這篇文章主要為大家詳細介紹了如何利用C語言實現(xiàn)交換排序算法(冒泡排序、快速排序),文中的示例代碼講解詳細,感興趣的小伙伴可以了解一下2022-07-07C++與QML進行數(shù)據(jù)交互的常見方法總結(jié)
這篇文章主要為大家詳細介紹了C++與QML進行數(shù)據(jù)交互的常見方法,文中 的示例代碼講解詳細,具有一定的參考價值,有需要的小伙伴可以跟隨小編一起了解一下2023-10-10