欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

詳解利用OpenCV提取圖像中的矩形區(qū)域(PPT屏幕等)

 更新時(shí)間:2019年07月01日 14:22:03   作者:才才才  
這篇文章主要介紹了詳解利用OpenCV提取圖像中的矩形區(qū)域(PPT屏幕等),小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,也給大家做個(gè)參考。一起跟隨小編過來看看吧

前言

最近參加了大創(chuàng)項(xiàng)目,題目涉及到計(jì)算機(jī)視覺,學(xué)姐發(fā)了個(gè)修正圖像的博客鏈接,于是打算用這個(gè)題目入門OpenCV。

分析問題

照片中的PPT區(qū)域總是沿著x,y,z三個(gè)軸都有傾斜(如下圖),要想把照片翻轉(zhuǎn)到平行位置,需要進(jìn)行透視變換,而透視變換需要同一像素點(diǎn)變換前后的坐標(biāo)。由此可以想到,提取矩形區(qū)域四個(gè)角的坐標(biāo)作為變換前的坐標(biāo),變換后的坐標(biāo)可以設(shè)為照片的四個(gè)角落,經(jīng)過投影變換,矩形區(qū)域?qū)?huì)翻轉(zhuǎn)并充滿圖像。

因此我們要解決的問題變?yōu)椋禾崛【匦蔚乃膫€(gè)角落、進(jìn)行透視變換。

提取矩形角落坐標(biāo)

矩形的檢測主要是提取邊緣,PPT顯示部分的亮度通常高于周圍環(huán)境,我們可以將圖片閾值化,將PPT部分與周圍環(huán)境明顯的分別開來,這對(duì)后邊的邊緣檢測非常有幫助。

檢測矩形并提取坐標(biāo)需要對(duì)圖像進(jìn)行預(yù)處理、邊緣檢測、提取輪廓、檢測凸包、角點(diǎn)檢測。

預(yù)處理

由于手機(jī)拍攝的照片像素可能會(huì)很高,為了加快處理速度,我們首先縮小圖片,這里縮小了4倍。

pyrDown(srcPic,   shrinkedPic);    //減小尺寸 加快運(yùn)算速度
pyrDown(shrinkedPic, shrinkedPic);  

轉(zhuǎn)化為灰度圖

cvtColor(shrinkedPic, greyPic, COLOR_BGR2GRAY); //轉(zhuǎn)化為灰度圖

中值濾波

medianBlur(greyPic, greyPic, 7); //中值濾波

轉(zhuǎn)為二值圖片

threshold(greyPic, binPic, 80, 255, THRESH_BINARY); //閾值化為二值圖片

此時(shí)圖片已經(jīng)變成了這個(gè)樣子:

可見PPT部分已經(jīng)與環(huán)境分離開來。

邊緣檢測與輪廓處理

進(jìn)行Canny邊緣檢測

Canny(binPic, cannyPic, cannyThr, cannyThr*FACTOR); //Canny邊緣檢測

這里 cannyThr = 200, FACTOR = 2.5
可能由于邊緣特征過于明顯,系數(shù)在100-600范圍(具體數(shù)字可能有出入,反正范圍非常大)內(nèi)產(chǎn)生的效果幾乎相同。

提取輪廓

vector<vector<Point>> contours;  //儲(chǔ)存輪廓
vector<Vec4i> hierarchy;
  
findContours(cannyPic, contours, hierarchy, RETR_CCOMP, CHAIN_APPROX_SIMPLE);  //獲取輪廓

findContour函數(shù)原型如下:

CV_EXPORTS_W void findContours( InputOutputArray image, OutputArrayOfArrays contours,
               OutputArray hierarchy, int mode,
              int method, Point offset = Point());

檢測到的輪廓都存在contours里,每個(gè)輪廓保存為一個(gè)vector<Point>
hierarchy為可選的輸出向量,包括圖像的拓?fù)湫畔?,這里可以選擇不用。

我們可以反復(fù)調(diào)用drawContours函數(shù)將輪廓畫出

linePic = Mat::zeros(cannyPic.rows, cannyPic.cols, CV_8UC3);
for (int index = 0; index < contours.size(); index++){    
    drawContours(linePic, contours, index, Scalar(rand() & 255, rand() & 255, rand() & 255), 1, 8/*, hierarchy*/);
}

drawContours函數(shù)原型:

CV_EXPORTS_W void drawContours( InputOutputArray image, InputArrayOfArrays contours,
              int contourIdx, const Scalar& color,
              int thickness = 1, int lineType = LINE_8,
              InputArray hierarchy = noArray(),
              int maxLevel = INT_MAX, Point offset = Point() );

作用是將contours中的第contourIdx條輪廓用color顏色繪制到image中,thickness為線條的粗細(xì), contourIdx為負(fù)數(shù)時(shí)畫出所有輪廓

這里要注意的是在繪制輪廓前要提前為輸出矩陣分配空間,否則會(huì)出現(xiàn)以下錯(cuò)誤

OpenCV(3.4.1) Error: Assertion failed (size.width>0 && size.height>0) in cv::imshow, file C:\build\master_winpack-build-win64-vc15\opencv\modules\highgui\src\window.cpp, line 356

提取面積最大的輪廓并用多邊形將輪廓包圍

從上面的輪廓圖中看出,PPT的矩形已經(jīng)成為了圖片的主要部分,接下來的思路是提取面積最大的輪廓,得到矩形輪廓。

vector<vector<Point>> polyContours(contours.size());
int maxArea = 0;
for (int index = 0; index < contours.size(); index++){    
    if (contourArea(contours[index]) > contourArea(contours[maxArea]))
      maxArea = index;    
    approxPolyDP(contours[index], polyContours[index], 10, true);
  }

contourArea用來計(jì)算輪廓的面積
approxPolyDP的作用是用多邊形包圍輪廓,可以得到嚴(yán)格的矩形,有助于找到角點(diǎn)

畫出矩形,同樣注意要提前為Mat分配空間

Mat polyPic = Mat::zeros(shrinkedPic.size(), CV_8UC3);
drawContours(polyPic, polyContours, maxArea, Scalar(0,0,255/*rand() & 255, rand() & 255, rand() & 255*/), 2);


如圖,接下來我們只需提取到四個(gè)角的坐標(biāo)

尋找凸包

vector<int> hull;
convexHull(polyContours[maxArea], hull, false);  //檢測該輪廓的凸包

convexHull函數(shù)原型

CV_EXPORTS_W void convexHull( InputArray points, OutputArray hull,
              bool clockwise = false, bool returnPoints = true );

hull為輸出參數(shù), clockwise決定凸包順逆時(shí)針方向, returnPoints為真時(shí)返回凸包的各個(gè)點(diǎn),否則返回各點(diǎn)的指數(shù)
hull可以為vector<int>類型,此時(shí)返回的是凸包點(diǎn)在原圖中的下標(biāo)索引

我們可以把點(diǎn)和多邊形添加到原圖中查看效果

for (int i = 0; i < hull.size(); ++i){
    circle(polyPic, polyContours[maxArea][i], 10, Scalar(rand() & 255, rand() & 255, rand() & 255), 3);
  }
addWeighted(polyPic, 0.5, shrinkedPic, 0.5, 0, shrinkedPic);

現(xiàn)在我們已經(jīng)比較準(zhǔn)確地獲得了需要的點(diǎn),下面就要利用這些點(diǎn)進(jìn)行坐標(biāo)映射。

投影變換

投影變換需要像素在兩個(gè)坐標(biāo)系中的坐標(biāo)一一對(duì)應(yīng),雖然我們已經(jīng)有了四個(gè)坐標(biāo),但還沒有區(qū)分它們的位置。

新建兩個(gè)數(shù)組

Point2f srcPoints[4], dstPoints[4];
dstPoints[0] = Point2f(0, 0);
dstPoints[1] = Point2f(srcPic.cols, 0);
dstPoints[2] = Point2f(srcPic.cols, srcPic.rows);
dstPoints[3] = Point2f(0, srcPic.rows);

dstPoints儲(chǔ)存的是變換后各點(diǎn)的坐標(biāo),依次為左上,右上,右下, 左下

srcPoints儲(chǔ)存的是上面得到的四個(gè)角的坐標(biāo)

下面對(duì)得到的四個(gè)點(diǎn)進(jìn)行處理

for (int i = 0; i < 4; i++){
  polyContours[maxArea][i] = Point2f(polyContours[maxArea][i].x * 4, polyContours[maxArea][i].y * 4); //恢復(fù)坐標(biāo)到原圖
}
    //對(duì)四個(gè)點(diǎn)進(jìn)行排序 分出左上 右上 右下 左下
bool sorted = false;
int n = 4;
while (!sorted){
  for (int i = 1; i < n; i++){
  sorted = true;
    if (polyContours[maxArea][i-1].x > polyContours[maxArea][i].x){
      swap(polyContours[maxArea][i-1], polyContours[maxArea][i]);
      sorted = false;
    }
  }
  n--;
}
if (polyContours[maxArea][0].y < polyContours[maxArea][1].y){
  srcPoints[0] = polyContours[maxArea][0];
  srcPoints[3] = polyContours[maxArea][1];
}
else{
  srcPoints[0] = polyContours[maxArea][1];
  srcPoints[3] = polyContours[maxArea][0];
}

if (polyContours[maxArea][9].y < polyContours[maxArea][10].y){
  srcPoints[1] = polyContours[maxArea][2];
  srcPoints[2] = polyContours[maxArea][3];
}
else{
  srcPoints[1] = polyContours[maxArea][3];
  srcPoints[2] = polyContours[maxArea][2];
}

即先對(duì)四個(gè)點(diǎn)的x坐標(biāo)進(jìn)行冒泡排序分出左右,再根據(jù)兩對(duì)坐標(biāo)的y值比較分出上下
(筆者試圖通過凸包的順逆時(shí)針順序以及凸包點(diǎn)與原點(diǎn)的距離來活得位置信息,卻均以失敗告終)

坐標(biāo)變換需要矩陣運(yùn)算,OpenCV中給我們提供了getPerspectiveTransform函數(shù)用來得到矩陣

Mat transMat = getPerspectiveTransform(srcPoints, dstPoints); //得到變換矩陣

接下來進(jìn)行坐標(biāo)變換,網(wǎng)上查到的步驟都是通過perspectiveTransform函數(shù)變換,但嘗試多次都出現(xiàn)了報(bào)錯(cuò),Google了好長時(shí)間才知道原來這個(gè)函數(shù)的傳入輸入輸出參數(shù)均為點(diǎn)集,我們這個(gè)場景用起來比較麻煩。

warpPerspective函數(shù)可以直接傳入輸入Mat類型數(shù)據(jù),比較方便

warpPerspective(srcPic, outPic, transMat, srcPic.size()); //進(jìn)行坐標(biāo)變換

參數(shù)分別為輸入輸出圖像、變換矩陣、大小。

坐標(biāo)變換后就得到了我們要的最終圖像。

總結(jié)

我們利用了屏幕亮度較高的特點(diǎn),通過二值化突出輪廓提取坐標(biāo),進(jìn)行透視變換。

但局限性在于,如果矩形的亮度與背景相差不大,就很難用這種方法檢測到輪廓。

以上就是本文的全部內(nèi)容,希望對(duì)大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。

相關(guān)文章

  • Python中url標(biāo)簽使用知識(shí)點(diǎn)總結(jié)

    Python中url標(biāo)簽使用知識(shí)點(diǎn)總結(jié)

    這篇文章主要介紹了Python中url標(biāo)簽使用知識(shí)點(diǎn)以及相關(guān)實(shí)例代碼,需要的朋友們參考下。
    2020-01-01
  • Python下劃線命名模式

    Python下劃線命名模式

    下劃線前綴的含義是告知其他程序員:以單個(gè)下劃線開頭的變量或方法僅供內(nèi)部使用,該約定在PEP 8中有定義,這篇文章主要介紹了Python下劃線命名模式,需要的朋友可以參考下
    2023-10-10
  • python里讀寫excel等數(shù)據(jù)文件的6種常用方式(小結(jié))

    python里讀寫excel等數(shù)據(jù)文件的6種常用方式(小結(jié))

    這篇文章主要介紹了python里讀寫excel等數(shù)據(jù)文件的6種常用方式(小結(jié)),文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2021-04-04
  • 兩個(gè)命令把 Vim 打造成 Python IDE的方法

    兩個(gè)命令把 Vim 打造成 Python IDE的方法

    這篇文章主要介紹了兩個(gè)命令把 Vim 打造成 Python IDE,需要的朋友可以參考下
    2016-03-03
  • Python繪制數(shù)碼晶體管日期

    Python繪制數(shù)碼晶體管日期

    這篇文章主要為大家詳細(xì)介紹了Python繪制數(shù)碼晶體管日期,文中示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下
    2021-02-02
  • Python為何不支持switch語句原理詳解

    Python為何不支持switch語句原理詳解

    這篇文章主要介紹了Python為何不支持switch語句原理詳解,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
    2020-10-10
  • Python實(shí)現(xiàn)不一樣的猜數(shù)字游戲的示例代碼

    Python實(shí)現(xiàn)不一樣的猜數(shù)字游戲的示例代碼

    大家知道“猜數(shù)字”這個(gè)游戲嗎?顧名思義就是一個(gè)人想一個(gè)數(shù)字,另一個(gè)人猜。本文就來用Python實(shí)現(xiàn)一款不一樣的猜數(shù)字游戲,感興趣的可以了解一下
    2023-02-02
  • Python繪制詞云圖之可視化神器pyecharts

    Python繪制詞云圖之可視化神器pyecharts

    這篇文章主要介紹了Python繪制詞云圖之可視化神器pyecharts,文章圍繞主題展開詳細(xì)的相關(guān)內(nèi)容,具有一定的參考價(jià)值,需要的小伙伴可以參考一下
    2022-07-07
  • Python緩存方案優(yōu)化程序性能提高數(shù)據(jù)訪問速度

    Python緩存方案優(yōu)化程序性能提高數(shù)據(jù)訪問速度

    Python緩存方案是一種優(yōu)化程序性能,提高數(shù)據(jù)訪問速度的方案。通過緩存數(shù)據(jù),可以減少重復(fù)的計(jì)算和IO操作,從而提高程序的運(yùn)行效率。Python中常用的緩存方案包括內(nèi)存緩存、磁盤緩存和分布式緩存等,根據(jù)實(shí)際需求選擇不同的方案可以幫助我們更好地優(yōu)化程序性能
    2023-05-05
  • Python股票開源庫akshare的具體使用

    Python股票開源庫akshare的具體使用

    AKShare是一個(gè)開源財(cái)經(jīng)數(shù)據(jù)接口庫,本文主要介紹了Python股票開源庫akshare的具體使用,具有一定的參考價(jià)值,感興趣的可以了解一下
    2024-04-04

最新評(píng)論