openCV實踐項目之銀行卡卡號識別功能
更新時間：2022年11月21日 10:17:24 作者：老師我作業(yè)忘帶了
最近在惡補opencv,在前期不太那么認真的學習狀態(tài)下,著手搞了一下這個小項目實戰(zhàn),基于模板匹配下的銀行卡卡號識別,下面這篇文章主要給大家介紹了關于openCV實踐項目之銀行卡卡號識別功能的相關資料,需要的朋友可以參考下
本文用于對之前openCV知識點學習的復習及實踐。要求達到以下效果：
一、基本流程思路分析
本項目本質上就是進行模板匹配。
注：為多用到所學知識，為了加深理解多加了些步驟，實際上本項目可以很簡單就能完成。
1.1 模板處理
模板：
- 轉換成灰度圖，二值化處理，用于輪廓檢測。
- 我們將模板中的十個數(shù)字通過輪廓檢測(外輪廓)，能夠獲得每個數(shù)字拐點處的坐標。
- 將這些返回值對其使用外接矩形，我們能得到每個數(shù)字的外接矩形的(x,y,h,w)，上圖是從左到右從小到大排列的，我們只需根據(jù)x的大小進行正向排序即可。
- 循環(huán)遍歷通過切片切出外接矩形，保存到字典中，對應0-9。
實際上：第二步我們可以直接將返回值倒序，得到對應0-9的正向拐點坐標列表，對其直接外接矩形切片即可。
1.2 銀行卡處理
銀行卡中呢有很多的干擾項，或者說是沒用的地方，因為我們需要的只是中間的那一塊數(shù)字。我們不直接選中的話，思路如下：
- 將其轉換為灰度圖。
- 禮帽操作(原始圖像-開運算后的圖像)，目的是突出更明亮的地方，不明白沒關系最后會有總結。
- 梯度處理，歸一化。禮帽操作本次實驗中去掉了背景部分，方便梯度處理對其進行差異描繪，更干凈些。
- 對梯度處理后的圖像進行閉操作，此時如上圖4000、1234、5678、9010這四塊都連在一起是一個整體了。
- 進行二值處理，用于后面輪廓檢測，把那四塊數(shù)字的輪廓檢測出來。
- 進行閉操作，原理同4。
- 輪廓檢測，我們所需要的這四段數(shù)字它們的外接矩形的長寬或者比例是與途中其它元素不同的，我們通過這一特征在輪廓檢測返回的隊列中篩選出需要的部分，保存下來。
- 同樣，根據(jù)x坐標的位置進行排序。
- 有了這4段外接矩形的坐標，我們可以在原圖片上把它們摳出來(切片)。
- 對每一組進行輪廓檢測、排序(倒序)，得到單個數(shù)字的輪廓，繼續(xù)對其外接矩形切片。
- 得到的每個數(shù)字的外接矩形矩陣，與模板中每個數(shù)字進行匹配，得分最高對應正確數(shù)字。
注：上述過程有很大優(yōu)化的空間，這樣做是為了加深理解，具體可看代碼部分。
二、主要知識點羅列
圖片讀取、轉換為灰度圖、濾波操作等
略
二值處理
ret, dst = cv2.threshold(src, thresh, maxval, type)
- ret, dst： 返回閾值、輸出圖。
- src： 輸入圖，只能輸入單通道圖像，通常來說為灰度圖。
- thresh： 閾值。
- maxval： 當像素值超過了閾值（或者小于閾值，根據(jù)type來決定），所賦予的值。
- type：二值化操作的類型，包含以下5種類型：
- cv2.THRESH_BINARY 超過閾值部分取maxval（最大值），否則取0
- cv2.THRESH_BINARY_INV , THRESH_BINARY的反轉
- cv2.THRESH_TRUNC 大于閾值部分設為閾值，否則不變
- cv2.THRESH_TOZERO 大于閾值部分不改變，否則設為0
- cv2.THRESH_TOZERO_INV THRESH_TOZERO的反轉
計算輪廓
cv2.findContours(img,mode,method)
- RETR_EXTERNAL ：只檢索最外面的輪廓；( 本次使用)
- RETR_LIST：檢索所有的輪廓，并將其保存到一條鏈表當中；
- RETR_CCOMP：檢索所有的輪廓，并將他們組織為兩層：頂層是各部分的外部邊界，第二層是空洞的邊界;
- RETR_TREE：檢索所有的輪廓，并重構嵌套輪廓的整個層次;(常用，推薦)
method:輪廓逼近方法
- CHAIN_APPROX_NONE：以Freeman鏈碼的方式輸出輪廓，所有其他方法輸出多邊形（頂點的序列）。
- CHAIN_APPROX_SIMPLE:壓縮水平的、垂直的和斜的部分，也就是，函數(shù)只保留他們的終點部分。
繪制輪廓
cv2.drawContours(draw_img, refCnts, -1, (0, 0, 255), 2)
- draw_img：要繪制的圖片，會在該圖片上直接進行修改。
- refCnts: 輪廓
- 其它：-1指全部輪廓，0為最后一個輪廓，(0，0，255)顏色，2粗細。
排序
refCnts = contours.sort_contours(refCnts, method="left-to-right")[0]
- 返回排序后的輪廓。
禮帽操作
tophat = cv2.morphologyEx(gray, cv2.MORPH_TOPHAT, rectKernel)
- 原圖-開運算，本次實驗用它獲得我們想要保留的部分。
- 開運算：先腐蝕后膨脹。
閉運算
gradX = cv2.morphologyEx(gradX, cv2.MORPH_CLOSE, rectKernel)
- 先膨脹后腐蝕，本次實驗目的是將每組數(shù)“模糊處理”使其連在一起。
模板匹配
res = cv2.matchTemplate(img, template, cv2.TM_SQDIFF)
- 模板匹配和卷積原理很像，假如原圖形是AxB大小，而模板是axb大小，則輸出結果的矩陣是(A-a+1)x(B-b+1)。
- TM_SQDIFF：計算平方不同，計算出來的值越小，越相關
- TM_CCORR：計算相關性，計算出來的值越大，越相關
- TM_CCOEFF：計算相關系數(shù)，計算出來的值越大，越相關
- TM_SQDIFF_NORMED：計算歸一化平方不同，計算出來的值越接近0，越相關
- TM_CCORR_NORMED：計算歸一化相關性，計算出來的值越接近1，越相關
- TM_CCOEFF_NORMED：計算歸一化相關系數(shù)，計算出來的值越接近1，越相關
min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(res)
- 最小值最大值及其坐標位置，具體看模板匹配使用的方法是什么。
更多初級知識點：
三、代碼部分
3.1 代碼講解
3.1.1 處理模板
導包
import cv2 import numpy as np from imutils import contours # 排序操作，也可以不用。
定義繪圖展示函數(shù)
def cv_show(name, img):
cv2.imshow(name, img)
cv2.waitKey(0) # 按鍵結束
cv2.destroyAllWindows()
模板讀取、灰度、二值化
# 讀取模板圖像
img = cv2.imread('ocr_a_reference.png')
# 轉換為灰度圖 也可讀取時直接轉換
ref = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
# 二值圖像
ref = cv2.threshold(ref, 10, 255, cv2.THRESH_BINARY_INV)[1]
輪廓檢測、排序
# 輪廓檢測
refCnts, hierarchy = cv2.findContours(ref, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
'''
draw_img = img.copy()
cv2.drawContours(draw_img, refCnts, -1, (0, 0, 255), 2) # 第0個輪廓是9 第1個輪廓是8......
cv_show('draw_img',draw_img)
'''
# 排序(倒序操作) 得到正序0-9的輪廓
refCnts = sorted(refCnts,key=lambda b: b[0][0][0], reverse=False)
遍歷對這10個輪廓，做外接矩形，對外接矩形區(qū)域在二值化圖ref上做切片，即把他們一個個摳出來，保存在 digits 字典中。
digits = {}
# 遍歷每一個輪廓
for (i, c) in enumerate(refCnts):
# 計算外接矩形并且resize成合適大小
(x, y, w, h) = cv2.boundingRect(c)
roi = ref[y:y + h, x:x + w]
roi = cv2.resize(roi, (57, 88))
# 每一個數(shù)字對應每一個模板，此時模板中的10個數(shù)字分別被保存到了字典中
digits[i] = roi3.1.2 處理銀行卡
初始化卷積核，讀取輸入圖像。
# 初始化卷積核
rectKernel = cv2.getStructuringElement(cv2.MORPH_RECT, (9, 3))
sqKernel = cv2.getStructuringElement(cv2.MORPH_RECT, (5, 5))
# 讀入銀行卡
image = cv2.imread('./images/credit_card_01.png')
統(tǒng)一大小，這里建議讓它變小一點，處理像素少一點，后面閉運算讓其模糊也方便一些。
set_width = 300 # 自己設定 這里我統(tǒng)一了寬度 rate = set_width/image.shape[:2][1] image = cv2.resize(image,(0,0),fx=rate,fy=rate)
轉為灰度圖
# 同樣也可以在第一步完成 gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
禮帽，突出更明亮的區(qū)域，可以看到此時銀行卡后面的花紋基本已經(jīng)消失了。 。
tophat = cv2.morphologyEx(gray, cv2.MORPH_TOPHAT, rectKernel)
梯度運算，這里使用Sobel算子，只進行了x方向計算。前面的禮帽操作是的我們梯度運算結果更干凈些。
# ksize=-1相當于用3*3的
gradX = cv2.Sobel(tophat, ddepth=cv2.CV_32F, dx=1, dy=0, ksize=-1)
gradX = np.absolute(gradX) # 絕對值，白-黑 黑-白
# 或者寫為 cv2.convertScaleAbs(sobelx)
# 歸一化處理
(minVal, maxVal) = (np.min(gradX), np.max(gradX))
# gradX與最小值之間的距離占區(qū)間長度的幾分之幾
gradX = (255 * ((gradX - minVal) / (maxVal - minVal)))
gradX = gradX.astype("uint8")
閉運算、二值化、閉運算
# 閉運算 把銀行卡卡號那里弄模糊
gradX = cv2.morphologyEx(gradX, cv2.MORPH_CLOSE, rectKernel)
# 二值化，用于之后輪廓檢測。
thresh = cv2.threshold(gradX, 0, 255,
cv2.THRESH_BINARY | cv2.THRESH_OTSU)[1]
# 再來一個閉操作
thresh = cv2.morphologyEx(thresh, cv2.MORPH_CLOSE, sqKernel) 
輪廓檢測
threshCnts, hierarchy = cv2.findContours(thresh.copy(), cv2.RETR_EXTERNAL,
cv2.CHAIN_APPROX_SIMPLE)
'''
cur_img = image.copy()
cv2.drawContours(cur_img, threshCnts, -1, (0, 0, 255), 3)
cv_show('img', cur_img)
'''
遍歷所有輪廓，得到想要的四組數(shù)字，并排序。
locs = []
# 遍歷輪廓
for (i, c) in enumerate(threshCnts):
# 計算矩形
(x, y, w, h) = cv2.boundingRect(c)
ar = w / float(h)
# 選擇合適的區(qū)域，根據(jù)實際任務來，這里的基本都是四個數(shù)字一組
if ar > 2.5 and ar < 4.0:
if (w > 40 and w < 55) and (h > 10 and h < 20):
# 符合的留下來
locs.append((x, y, w, h))
# 將符合的這四組輪廓按x從左到右排序
locs = sorted(locs, key=lambda x: x[0])遍歷這四組數(shù)
output = []
# 遍歷每一個輪廓中的數(shù)字
for (i, (gX, gY, gW, gH)) in enumerate(locs):
groupOutput = []
# 根據(jù)坐標提取每一個組
group = gray[gY - 5:gY + gH + 5, gX - 5:gX + gW + 5]
cv_show('group', group)
# 預處理
group = cv2.threshold(group, 0, 255,
cv2.THRESH_BINARY | cv2.THRESH_OTSU)[1]
cv_show('group', group)
# 計算每一組的輪廓
# group_,
digitCnts, hierarchy = cv2.findContours(group.copy(), cv2.RETR_EXTERNAL,
cv2.CHAIN_APPROX_SIMPLE)
# 就是個排序 真正的順序我們都知道，可以自己用sort函數(shù)
digitCnts = contours.sort_contours(digitCnts,
method="left-to-right")[0]
# 計算每一組中的每一個數(shù)值
for c in digitCnts:
# 找到當前數(shù)值的輪廓，resize成合適的的大小
(x, y, w, h) = cv2.boundingRect(c)
roi = group[y:y + h, x:x + w]
roi = cv2.resize(roi, (57, 88))
cv_show('roi', roi)
# 計算匹配得分
scores = []
# 在模板中計算每一個得分 字典digits記錄了模板0-9
for (digit, digitROI) in digits.items():
# 模板匹配
result = cv2.matchTemplate(roi, digitROI,
cv2.TM_CCOEFF)
(_, score, _, _) = cv2.minMaxLoc(result)
scores.append(score)
# 得到最合適的數(shù)字，這里用的匹配方法對應得分越大越好。
groupOutput.append(str(np.argmax(scores)))
# 畫出來
cv2.rectangle(image, (gX - 5, gY - 5),
(gX + gW + 5, gY + gH + 5), (0, 0, 255), 1)
cv2.putText(image, "".join(groupOutput), (gX, gY - 15),
cv2.FONT_HERSHEY_SIMPLEX, 0.65, (0, 0, 255), 2)
# 得到結果
output.extend(groupOutput)
輸出結果
print("Credit Card #: {}".format("".join(output)))
# cv_show("Image", image)
Credit Card #: 4000123456789010
3.2 完整代碼
直接copy
我去掉了圖片展示，直接輸出文本結果。
import cv2
import numpy as np
from imutils import contours # 排序操作，也可以不用。
# 繪圖展示
def cv_show(name, img):
cv2.imshow(name, img)
cv2.waitKey(0)
cv2.destroyAllWindows()
# 讀取一個模板圖像
img = cv2.imread('ocr_a_reference.png', )
# 灰度圖
ref = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
# 二值圖像
ref = cv2.threshold(ref, 10, 255, cv2.THRESH_BINARY_INV)[1]
# 輪廓檢測
refCnts, hierarchy = cv2.findContours(ref, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
# 排序(倒序操作) 得到正序0-9的輪廓
refCnts = sorted(refCnts, key=lambda b: b[0][0][0], reverse=False)
digits = {}
# 遍歷每一個輪廓
for (i, c) in enumerate(refCnts):
# 計算外接矩形并且resize成合適大小
(x, y, w, h) = cv2.boundingRect(c)
roi = ref[y:y + h, x:x + w]
roi = cv2.resize(roi, (57, 88))
# 每一個數(shù)字對應每一個模板，此時模板中的10個數(shù)字分別被保存到了字典中
digits[i] = roi
# 初始化卷積核
rectKernel = cv2.getStructuringElement(cv2.MORPH_RECT, (9, 3))
sqKernel = cv2.getStructuringElement(cv2.MORPH_RECT, (5, 5))
# 讀入銀行卡
image = cv2.imread('./images/credit_card_01.png')
# 統(tǒng)一大小，這里建議讓它變小一點，處理像素少一點，后面閉運算讓其模糊也方便一些。
set_width = 300 # 自己設定 這里我統(tǒng)一了寬度
rate = set_width / image.shape[:2][1]
image = cv2.resize(image, (0, 0), fx=rate, fy=rate)
# 轉為灰度圖
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
# 禮帽，突出更明亮的區(qū)域
tophat = cv2.morphologyEx(gray, cv2.MORPH_TOPHAT, rectKernel)
# 梯度運算，這里使用Sobel算子，只進行了x方向計算。前面的禮帽操作是的我們梯度運算結果更干凈些。
# ksize=-1相當于用3*3的
gradX = cv2.Sobel(tophat, ddepth=cv2.CV_32F, dx=1, dy=0, ksize=-1)
gradX = np.absolute(gradX) # 絕對值，白-黑 黑-白
# 或者寫為 cv2.convertScaleAbs(sobelx)
# 歸一化處理
(minVal, maxVal) = (np.min(gradX), np.max(gradX))
# gradX與最小值之間的距離占區(qū)間長度的幾分之幾
gradX = (255 * ((gradX - minVal) / (maxVal - minVal)))
gradX = gradX.astype("uint8")
# 閉運算 把銀行卡卡號那里弄模糊
gradX = cv2.morphologyEx(gradX, cv2.MORPH_CLOSE, rectKernel)
# 二值化，用于之后輪廓檢測。
thresh = cv2.threshold(gradX, 0, 255,
cv2.THRESH_BINARY | cv2.THRESH_OTSU)[1]
# 再來一個閉操作
thresh = cv2.morphologyEx(thresh, cv2.MORPH_CLOSE, sqKernel)
# 輪廓檢測
threshCnts, hierarchy = cv2.findContours(thresh.copy(), cv2.RETR_EXTERNAL,
cv2.CHAIN_APPROX_SIMPLE)
locs = []
# 遍歷輪廓
for (i, c) in enumerate(threshCnts):
# 計算矩形
(x, y, w, h) = cv2.boundingRect(c)
ar = w / float(h)
# 選擇合適的區(qū)域，根據(jù)實際任務來，這里的基本都是四個數(shù)字一組
if ar > 2.5 and ar < 4.0:
if (w > 40 and w < 55) and (h > 10 and h < 20):
# 符合的留下來
locs.append((x, y, w, h))
# 將符合的這四組輪廓按x從左到右排序
locs = sorted(locs, key=lambda x: x[0])
# 遍歷這四組數(shù)
output = []
# 遍歷每一個輪廓中的數(shù)字
for (i, (gX, gY, gW, gH)) in enumerate(locs):
groupOutput = []
# 根據(jù)坐標提取每一個組
group = gray[gY - 5:gY + gH + 5, gX - 5:gX + gW + 5]
# 預處理
group = cv2.threshold(group, 0, 255,
cv2.THRESH_BINARY | cv2.THRESH_OTSU)[1]
# 計算每一組的輪廓
# group_,
digitCnts, hierarchy = cv2.findContours(group.copy(), cv2.RETR_EXTERNAL,
cv2.CHAIN_APPROX_SIMPLE)
# 就是個排序 真正的順序我們都知道，可以自己用sort函數(shù)
digitCnts = contours.sort_contours(digitCnts,
method="left-to-right")[0]
# 計算每一組中的每一個數(shù)值
for c in digitCnts:
# 找到當前數(shù)值的輪廓，resize成合適的的大小
(x, y, w, h) = cv2.boundingRect(c)
roi = group[y:y + h, x:x + w]
roi = cv2.resize(roi, (57, 88))
# 計算匹配得分
scores = []
# 在模板中計算每一個得分 字典digits記錄了模板0-9
for (digit, digitROI) in digits.items():
# 模板匹配
result = cv2.matchTemplate(roi, digitROI,
cv2.TM_CCOEFF)
(_, score, _, _) = cv2.minMaxLoc(result)
scores.append(score)
# 得到最合適的數(shù)字，這里用的匹配方法對應得分越大越好。
groupOutput.append(str(np.argmax(scores)))
# 畫出來
cv2.rectangle(image, (gX - 5, gY - 5),
(gX + gW + 5, gY + gH + 5), (0, 0, 255), 1)
cv2.putText(image, "".join(groupOutput), (gX, gY - 15),
cv2.FONT_HERSHEY_SIMPLEX, 0.65, (0, 0, 255), 2)
# 得到結果
output.extend(groupOutput)
print("Credit Card #: {}".format("".join(output)))總結
到此這篇關于openCV實踐項目之銀行卡卡號識別功能的文章就介紹到這了,更多相關openCV銀行卡卡號識別內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！
相關文章
這篇文章主要介紹了Python requests模塊用法，Python內置了requests模塊，該模塊主要用來發(fā)送HTTP請求，requests模塊比urllib模塊更簡潔2023-02-02
這不是一篇關于Python異常的全面介紹的文章，這只是在學習Python異常后的一篇筆記式的記錄和小結性質的文章2013-10-10
Streamlit+Echarts實現(xiàn)繪制精美圖表
在數(shù)據(jù)分析和可視化的領域,選擇合適的工具可以讓我們事半功倍,本文主要為大家介紹兩個工具,Streamlit和ECharts,感興趣的小伙伴可以跟隨小編一起了解下2023-09-09
prettytable是Python的一個第三方工具庫,用于創(chuàng)建漂亮的ASCII表格,本文主要介紹了python中prettytable庫的使用方法,使用prettytable可以輕松地將數(shù)據(jù)可視化為表格,感興趣的可以了解一下2023-08-08
今天小編就為大家分享一篇pytorch模型預測結果與ndarray互轉方式，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-01-01
Python socket網(wǎng)絡編程TCP/IP服務器與客戶端通信
這篇文章主要介紹了Python socket網(wǎng)絡編程TCP/IP服務器與客戶端通信的相關資料,這里對Scoket 進行詳解并創(chuàng)建TCP服務器及TCP 客戶端實例代碼，需要的朋友可以參考下2017-01-01
這篇文章主要介紹了sklearn中make_blobs的用法詳情，sklearn中的make_blobs函數(shù)主要是為了生成數(shù)據(jù)集的，下面文章的學習內容，需要的小伙伴可以參考一下2022-01-01
Python數(shù)據(jù)分析入門之數(shù)據(jù)讀取與存儲
今天繼續(xù)帶大家學習python數(shù)據(jù)分析,下文中有非常詳細的代碼示例,清楚地解釋了python數(shù)據(jù)讀取與存儲的相關知識,需要的朋友可以參考下2021-05-05
本文詳細介紹了如何使用Anaconda包管理工具創(chuàng)建虛擬環(huán)境,并安裝CUDA加速平臺和PyTorch庫,同時在PyCharm中配置和使用PyTorch進行深度學習任務,需要的朋友可以參考下2025-02-02
這篇文章主要介紹了pandas通過字典生成dataframe的方法步驟，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2019-07-07