深入探討opencv圖像矯正算法實戰(zhàn)

更新時間：2021年05月21日 09:19:14 作者：唯有自己強大

在機器視覺中，對于圖像的處理有時候因為放置的原因?qū)е翿OI區(qū)域傾斜，這個時候我們會想辦法把它糾正為正確的角度視角來，本文主要介紹了opencv圖像矯正算法，感興趣的可以了解一下

摘要

在機器視覺中，對于圖像的處理有時候因為放置的原因?qū)е翿OI區(qū)域傾斜，這個時候我們會想辦法把它糾正為正確的角度視角來，方便下一步的布局分析與文字識別，這個時候通過透視變換就可以取得比較好的裁剪效果。

本次實戰(zhàn)，對于圖像的矯正使用了兩種矯正思路：

針對邊緣比較明顯的圖像，使用基于輪廓提取的矯正算法。
針對邊緣不明顯，但是排列整齊的文本圖像，使用了基于霍夫直線探測的矯正算法。

基于輪廓提取的矯正算法

整體思路：

圖片灰度化，二值化
檢測輪廓,并篩選出目標輪廓（通過橫縱比或面積去除干擾輪廓)
獲取目標輪廓的最小外接矩形
獲取最小外接矩形的四頂點，并定義矯正圖像后的四頂點
透視變換（四點變換）

opencv實現(xiàn)（分解步驟）：

（一）圖片灰度化，二值化（開運算，消除噪點）

  Mat src = imread("D:/opencv練習(xí)圖片/圖片矯正.png");
    imshow("原圖片", src);
    // 二值圖像
    Mat gray, binary;
    cvtColor(src, gray, COLOR_BGR2GRAY);
    threshold(gray, binary, 0, 255, THRESH_BINARY_INV| THRESH_OTSU);
    imshow("二值化", binary);
    // 定義結(jié)構(gòu)元素
    Mat se = getStructuringElement(MORPH_RECT, Size(3, 3), Point(-1, -1));
    morphologyEx(binary, binary, MORPH_OPEN, se);
    imshow("開運算", binary);

注意：由于原圖像背景是白色，因此二值化時候要用THRESH_BINARY_INV

（二）提取輪廓，篩選輪廓

// 尋找最大輪廓
    vector<vector<Point>> contours;
    findContours(binary, contours, RETR_EXTERNAL, CHAIN_APPROX_NONE);
    int index = -1;
    int max = 0;
    for (size_t i = 0; i < contours.size(); i++) 
    {
        double area = contourArea(contours[i]);
        if (area > max) 
        {
            max = area;
            index = i;
        }
    }

（三）求取最小外接矩形以及四頂點坐標，并定義變換后的四頂點坐標

// 尋找最小外接矩形
    RotatedRect rect = minAreaRect(contours[index]);    
    Point2f srcpoint[4];//存放變換前四頂點
    Point2f dstpoint[4];//存放變換后四頂點
    rect.points(srcpoint);//獲取最小外接矩形四頂點坐標
    //顯示頂點
    for (size_t i = 0; i < 4; i++)
    {
        circle(src, srcpoint[i], 5, Scalar(0, 0, 255),-1);//-1表示填充
    }
    imshow("頂點坐標", src);
    //獲取外接矩形寬高
    float width = rect.size.width;
    float height = rect.size.height;
    //定義矯正后四頂點
    dstpoint[0]= Point2f(0, height);
    dstpoint[1] = Point2f(0, 0);
    dstpoint[2] = Point2f(width, 0);
    dstpoint[3] = Point2f(width, height);

😄 這里需要注意的是：

RotatedRect 類的矩形返回的是矩形的中心坐標，傾斜角度。

Rect類的矩形返回的是矩形的左上角坐標，寬，高。因此要獲取RotatedRect 類的矩形的寬，高就要用：

//獲取外接矩形寬高
    float width = rect.size.width;
    float height = rect.size.height;

獲取RotatedRect 類四頂點坐標的順序依次是：左下-左上-右上-右下（可通過顯示頂點依次查看）

對應(yīng)矯正后的四頂點就是：(0，height)-(0，0)-(width，0)-(width，height）

（四）透視變換

// 透視變換
    Mat M = getPerspectiveTransform(srcpoint, dstpoint);
    Mat result = Mat::zeros(Size(width, height), CV_8UC3);
    warpPerspective(src, result, M, result.size());
    imshow("矯正結(jié)果", result);

基于霍夫直線探測的矯正算法

對于文本圖像（如圖），它沒有明顯的輪廓邊緣去求四頂點。但是經(jīng)過深入分析，可以發(fā)現(xiàn)：文本的每一行文字都是呈一條直線，而且這些直線都是平行的！

利用這個特征就可以實現(xiàn)基于霍夫直線探測的矯正算法：

用霍夫線變換探測出圖像中的所有直線計算出每條直線的傾斜角，求他們的平均值根據(jù)傾斜角旋轉(zhuǎn)矯正

💙先來看看什么是霍夫變換：

霍夫變換在檢測各種形狀的的技術(shù)中非常流行，如果你要檢測的形狀可以用數(shù)學(xué)表達式寫出，你就可以是使用霍夫變換檢測它。

霍夫變換的直線檢測簡單來說就是在空間坐標系和映射到另外一個參數(shù)空間，將空間坐標系中的每一個點映射到另外一個參數(shù)空間中的線，通過該參數(shù)空間中所有線的交叉次數(shù)得到實際空間坐標系中的直線。

在OpenCV中，使用Hough變換的直線檢測在函數(shù)HoughLines和HoughLinesP中實現(xiàn)。

HoughLines函數(shù)（標準霍夫變換）

從平面坐標轉(zhuǎn)換到霍夫空間，最終輸出是找到直線的極坐標（r，θ）

HoughLines(
InputArray src,        // 輸入圖像，必須CV_8U的二值圖像（常用canny處理后的二值圖像）
OutputArray lines,     // 輸出的極坐標來表示直線
double rho,            // 步長(常為1）
double theta,          //角度，（一般是CV_PI/180）
int threshold,         // 閾值，只有獲得足夠交點的極坐標點才被看成是直線
double min_theta=0，   // 表示角度掃描范圍 0 ~180之間， 默認即可
double max_theta=CV_PI) 
// 一般情況是有經(jīng)驗的開發(fā)者使用，需要自己反變換到平面空間

HoughLinesP函數(shù)（霍夫變換直線概率)

從平面坐標轉(zhuǎn)換到霍夫空間，最終輸出是找到直線的起點和終點（直角坐標系）

HoughLinesP(
InputArray src, // 輸入圖像，必須CV_8U的二值圖像
OutputArray lines, // 輸出找到直線的兩點
double rho, // 步長（半徑，常設(shè)為1）
double theta, //角度，一般取值CV_PI/180
Int threshold, // 閾值，累計次數(shù)必須達到的值,一般為150
double minLineLength=0，// 最小直線長度，一般為50
double maxLineGap=0）// 最大間隔，一般為10

opencv實現(xiàn)（分解步驟）：

（一）圖片灰度化，Canny邊緣提取

Mat src, src_edge, src_gray,src_rotate;
    double angle;
    src = imread("D:/opencv練習(xí)圖片/文本矯正.png");
    imshow("文本圖片", src);
    cvtColor(src, src_gray, COLOR_RGB2GRAY);
    Canny(src_gray, src_edge, 50, 200, 3);
    imshow("canny", src_edge);

（二）霍夫直線檢測（HoughLines函數(shù)）并顯示

//通過霍夫變換檢測直線
    vector<Vec2f> plines;
    //第5個參數(shù)就是閾值，閾值越大，檢測精度越高
    HoughLines(src_edge, plines, 1, CV_PI / 180, 200, 0, 0);
    cout << plines.size() << endl;
    //由于圖像不同，閾值不好設(shè)定，因為閾值設(shè)定過高導(dǎo)致無法檢測直線，閾值過低直線太多，速度很慢
    //所以根據(jù)閾值由大到小設(shè)置了三個閾值，如果經(jīng)過大量試驗后，可以固定一個適合的閾值。
    
    float sum = 0;
    //依次畫出每條線段
    for (size_t i = 0; i < plines.size(); i++)
    {
        float rho = plines[i][0];
        float theta = plines[i][1];
        Point pt1, pt2;
        double a = cos(theta), b = sin(theta);
        double x0 = a * rho, y0 = b * rho;
        pt1.x = cvRound(x0 + 1000 * (-b));//cvRound四舍五入
        pt1.y = cvRound(y0 + 1000 * (a));
        pt2.x = cvRound(x0 - 1000 * (-b));
        pt2.y = cvRound(y0 - 1000 * (a));
        sum += theta;
        line(src_gray, pt1, pt2, Scalar(55, 100, 195), 1, LINE_AA);//Scalar函數(shù)用于調(diào)節(jié)線段顏色         
        imshow("直線探測效果圖", src_gray);
        float average = sum / plines.size(); //對所有角度求平均，這樣做旋轉(zhuǎn)效果會更好
        angle = DegreeTrans(average) - 90;
    }

😊核心代碼分析：

由于需要求解直線的傾斜角度，因此這里使用了HoughLines函數(shù)，返回的是直線的步長和弧度（極坐標系下）

通過極坐標系下的步長和弧度，可以轉(zhuǎn)換到直接坐標系下的兩點坐標，然后顯示。（原理如圖）

（三）根據(jù)傾斜角度，進行放射變換（逆時針旋轉(zhuǎn)矯正）

    //旋轉(zhuǎn)中心為圖像中心    
    Point2f center;
    center.x = float(src.cols / 2.0);
    center.y = float(src.rows / 2.0);
    int length = 0;
    length = sqrt(src.cols*src.cols + src.rows*src.rows);
    Mat M = getRotationMatrix2D(center, angle, 1);
    warpAffine(src, src_rotate, M, Size(length, length), 1, 0, Scalar(255, 255, 255));//仿射變換，背景色填充為白色  
    imshow("矯正后", src_rotate);