openCV實(shí)踐項(xiàng)目之銀行卡卡號(hào)識(shí)別功能
本文用于對之前openCV知識(shí)點(diǎn)學(xué)習(xí)的復(fù)習(xí)及實(shí)踐。要求達(dá)到以下效果:
一、基本流程思路分析
本項(xiàng)目本質(zhì)上就是進(jìn)行模板匹配。
注:為多用到所學(xué)知識(shí),為了加深理解多加了些步驟,實(shí)際上本項(xiàng)目可以很簡單就能完成。
1.1 模板處理
模板:
- 轉(zhuǎn)換成灰度圖,二值化處理,用于輪廓檢測。
- 我們將模板中的十個(gè)數(shù)字通過輪廓檢測(外輪廓),能夠獲得每個(gè)數(shù)字拐點(diǎn)處的坐標(biāo)。
- 將這些返回值對其使用外接矩形,我們能得到每個(gè)數(shù)字的外接矩形的(x,y,h,w),上圖是從左到右從小到大排列的,我們只需根據(jù)x的大小進(jìn)行正向排序即可。
- 循環(huán)遍歷通過切片切出外接矩形,保存到字典中,對應(yīng)0-9。
實(shí)際上:第二步我們可以直接將返回值倒序,得到對應(yīng)0-9的正向拐點(diǎn)坐標(biāo)列表,對其直接外接矩形切片即可。
1.2 銀行卡處理
銀行卡中呢有很多的干擾項(xiàng),或者說是沒用的地方,因?yàn)槲覀冃枰闹皇侵虚g的那一塊數(shù)字。我們不直接選中的話,思路如下:
- 將其轉(zhuǎn)換為灰度圖。
- 禮帽操作(原始圖像-開運(yùn)算后的圖像),目的是突出更明亮的地方,不明白沒關(guān)系最后會(huì)有總結(jié)。
- 梯度處理,歸一化。禮帽操作本次實(shí)驗(yàn)中去掉了背景部分,方便梯度處理對其進(jìn)行差異描繪,更干凈些。
- 對梯度處理后的圖像進(jìn)行閉操作,此時(shí)如上圖4000、1234、5678、9010這四塊都連在一起是一個(gè)整體了。
- 進(jìn)行二值處理,用于后面輪廓檢測,把那四塊數(shù)字的輪廓檢測出來。
- 進(jìn)行閉操作,原理同4。
- 輪廓檢測,我們所需要的這四段數(shù)字它們的外接矩形的長寬或者比例是與途中其它元素不同的,我們通過這一特征在輪廓檢測返回的隊(duì)列中篩選出需要的部分,保存下來。
- 同樣,根據(jù)x坐標(biāo)的位置進(jìn)行排序。
- 有了這4段外接矩形的坐標(biāo),我們可以在原圖片上把它們摳出來(切片)。
- 對每一組進(jìn)行輪廓檢測、排序(倒序),得到單個(gè)數(shù)字的輪廓,繼續(xù)對其外接矩形切片。
- 得到的每個(gè)數(shù)字的外接矩形矩陣,與模板中每個(gè)數(shù)字進(jìn)行匹配,得分最高對應(yīng)正確數(shù)字。
注:上述過程有很大優(yōu)化的空間,這樣做是為了加深理解,具體可看代碼部分。
二、主要知識(shí)點(diǎn)羅列
圖片讀取、轉(zhuǎn)換為灰度圖、濾波操作等
略
二值處理
ret, dst = cv2.threshold(src, thresh, maxval, type)
- ret, dst: 返回閾值、輸出圖。
- src: 輸入圖,只能輸入單通道圖像,通常來說為灰度圖。
- thresh: 閾值。
- maxval: 當(dāng)像素值超過了閾值(或者小于閾值,根據(jù)type來決定),所賦予的值。
- type:二值化操作的類型,包含以下5種類型:
- cv2.THRESH_BINARY 超過閾值部分取maxval(最大值),否則取0
- cv2.THRESH_BINARY_INV , THRESH_BINARY的反轉(zhuǎn)
- cv2.THRESH_TRUNC 大于閾值部分設(shè)為閾值,否則不變
- cv2.THRESH_TOZERO 大于閾值部分不改變,否則設(shè)為0
- cv2.THRESH_TOZERO_INV THRESH_TOZERO的反轉(zhuǎn)
計(jì)算輪廓
cv2.findContours(img,mode,method)
- RETR_EXTERNAL :只檢索最外面的輪廓;( 本次使用)
- RETR_LIST:檢索所有的輪廓,并將其保存到一條鏈表當(dāng)中;
- RETR_CCOMP:檢索所有的輪廓,并將他們組織為兩層:頂層是各部分的外部邊界,第二層是空洞的邊界;
- RETR_TREE:檢索所有的輪廓,并重構(gòu)嵌套輪廓的整個(gè)層次;(常用,推薦)
method:輪廓逼近方法
- CHAIN_APPROX_NONE:以Freeman鏈碼的方式輸出輪廓,所有其他方法輸出多邊形(頂點(diǎn)的序列)。
- CHAIN_APPROX_SIMPLE:壓縮水平的、垂直的和斜的部分,也就是,函數(shù)只保留他們的終點(diǎn)部分。
繪制輪廓
cv2.drawContours(draw_img, refCnts, -1, (0, 0, 255), 2)
- draw_img:要繪制的圖片,會(huì)在該圖片上直接進(jìn)行修改。
- refCnts: 輪廓
- 其它:-1指全部輪廓,0為最后一個(gè)輪廓,(0,0,255)顏色,2粗細(xì)。
排序
refCnts = contours.sort_contours(refCnts, method="left-to-right")[0]
- 返回排序后的輪廓。
禮帽操作
tophat = cv2.morphologyEx(gray, cv2.MORPH_TOPHAT, rectKernel)
- 原圖-開運(yùn)算,本次實(shí)驗(yàn)用它獲得我們想要保留的部分。
- 開運(yùn)算:先腐蝕后膨脹。
閉運(yùn)算
gradX = cv2.morphologyEx(gradX, cv2.MORPH_CLOSE, rectKernel)
- 先膨脹后腐蝕,本次實(shí)驗(yàn)?zāi)康氖菍⒚拷M數(shù)“模糊處理”使其連在一起。
模板匹配
res = cv2.matchTemplate(img, template, cv2.TM_SQDIFF)
- 模板匹配和卷積原理很像,假如原圖形是AxB大小,而模板是axb大小,則輸出結(jié)果的矩陣是(A-a+1)x(B-b+1)。
- TM_SQDIFF:計(jì)算平方不同,計(jì)算出來的值越小,越相關(guān)
- TM_CCORR:計(jì)算相關(guān)性,計(jì)算出來的值越大,越相關(guān)
- TM_CCOEFF:計(jì)算相關(guān)系數(shù),計(jì)算出來的值越大,越相關(guān)
- TM_SQDIFF_NORMED:計(jì)算歸一化平方不同,計(jì)算出來的值越接近0,越相關(guān)
- TM_CCORR_NORMED:計(jì)算歸一化相關(guān)性,計(jì)算出來的值越接近1,越相關(guān)
- TM_CCOEFF_NORMED:計(jì)算歸一化相關(guān)系數(shù),計(jì)算出來的值越接近1,越相關(guān)
min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(res)
- 最小值最大值及其坐標(biāo)位置,具體看模板匹配使用的方法是什么。
更多初級(jí)知識(shí)點(diǎn):
三、代碼部分
3.1 代碼講解
3.1.1 處理模板
導(dǎo)包
import cv2 import numpy as np from imutils import contours # 排序操作,也可以不用。
定義繪圖展示函數(shù)
def cv_show(name, img): cv2.imshow(name, img) cv2.waitKey(0) # 按鍵結(jié)束 cv2.destroyAllWindows()
模板讀取、灰度、二值化
# 讀取模板圖像 img = cv2.imread('ocr_a_reference.png') # 轉(zhuǎn)換為灰度圖 也可讀取時(shí)直接轉(zhuǎn)換 ref = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) # 二值圖像 ref = cv2.threshold(ref, 10, 255, cv2.THRESH_BINARY_INV)[1]
輪廓檢測、排序
# 輪廓檢測 refCnts, hierarchy = cv2.findContours(ref, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) ''' draw_img = img.copy() cv2.drawContours(draw_img, refCnts, -1, (0, 0, 255), 2) # 第0個(gè)輪廓是9 第1個(gè)輪廓是8...... cv_show('draw_img',draw_img) ''' # 排序(倒序操作) 得到正序0-9的輪廓 refCnts = sorted(refCnts,key=lambda b: b[0][0][0], reverse=False)
遍歷對這10個(gè)輪廓,做外接矩形,對外接矩形區(qū)域在二值化圖ref上做切片,即把他們一個(gè)個(gè)摳出來,保存在 digits 字典中。
digits = {} # 遍歷每一個(gè)輪廓 for (i, c) in enumerate(refCnts): # 計(jì)算外接矩形并且resize成合適大小 (x, y, w, h) = cv2.boundingRect(c) roi = ref[y:y + h, x:x + w] roi = cv2.resize(roi, (57, 88)) # 每一個(gè)數(shù)字對應(yīng)每一個(gè)模板,此時(shí)模板中的10個(gè)數(shù)字分別被保存到了字典中 digits[i] = roi
3.1.2 處理銀行卡
初始化卷積核,讀取輸入圖像。
# 初始化卷積核 rectKernel = cv2.getStructuringElement(cv2.MORPH_RECT, (9, 3)) sqKernel = cv2.getStructuringElement(cv2.MORPH_RECT, (5, 5)) # 讀入銀行卡 image = cv2.imread('./images/credit_card_01.png')
統(tǒng)一大小,這里建議讓它變小一點(diǎn),處理像素少一點(diǎn),后面閉運(yùn)算讓其模糊也方便一些。
set_width = 300 # 自己設(shè)定 這里我統(tǒng)一了寬度 rate = set_width/image.shape[:2][1] image = cv2.resize(image,(0,0),fx=rate,fy=rate)
轉(zhuǎn)為灰度圖
# 同樣也可以在第一步完成 gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
禮帽,突出更明亮的區(qū)域,可以看到此時(shí)銀行卡后面的花紋基本已經(jīng)消失了。 。
tophat = cv2.morphologyEx(gray, cv2.MORPH_TOPHAT, rectKernel)
梯度運(yùn)算,這里使用Sobel算子,只進(jìn)行了x方向計(jì)算。前面的禮帽操作是的我們梯度運(yùn)算結(jié)果更干凈些。
# ksize=-1相當(dāng)于用3*3的 gradX = cv2.Sobel(tophat, ddepth=cv2.CV_32F, dx=1, dy=0, ksize=-1) gradX = np.absolute(gradX) # 絕對值,白-黑 黑-白 # 或者寫為 cv2.convertScaleAbs(sobelx) # 歸一化處理 (minVal, maxVal) = (np.min(gradX), np.max(gradX)) # gradX與最小值之間的距離占區(qū)間長度的幾分之幾 gradX = (255 * ((gradX - minVal) / (maxVal - minVal))) gradX = gradX.astype("uint8")
閉運(yùn)算、二值化、閉運(yùn)算
# 閉運(yùn)算 把銀行卡卡號(hào)那里弄模糊 gradX = cv2.morphologyEx(gradX, cv2.MORPH_CLOSE, rectKernel) # 二值化,用于之后輪廓檢測。 thresh = cv2.threshold(gradX, 0, 255, cv2.THRESH_BINARY | cv2.THRESH_OTSU)[1] # 再來一個(gè)閉操作 thresh = cv2.morphologyEx(thresh, cv2.MORPH_CLOSE, sqKernel)
輪廓檢測
threshCnts, hierarchy = cv2.findContours(thresh.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) ''' cur_img = image.copy() cv2.drawContours(cur_img, threshCnts, -1, (0, 0, 255), 3) cv_show('img', cur_img) '''
遍歷所有輪廓,得到想要的四組數(shù)字,并排序。
locs = [] # 遍歷輪廓 for (i, c) in enumerate(threshCnts): # 計(jì)算矩形 (x, y, w, h) = cv2.boundingRect(c) ar = w / float(h) # 選擇合適的區(qū)域,根據(jù)實(shí)際任務(wù)來,這里的基本都是四個(gè)數(shù)字一組 if ar > 2.5 and ar < 4.0: if (w > 40 and w < 55) and (h > 10 and h < 20): # 符合的留下來 locs.append((x, y, w, h)) # 將符合的這四組輪廓按x從左到右排序 locs = sorted(locs, key=lambda x: x[0])
遍歷這四組數(shù)
output = [] # 遍歷每一個(gè)輪廓中的數(shù)字 for (i, (gX, gY, gW, gH)) in enumerate(locs): groupOutput = [] # 根據(jù)坐標(biāo)提取每一個(gè)組 group = gray[gY - 5:gY + gH + 5, gX - 5:gX + gW + 5] cv_show('group', group) # 預(yù)處理 group = cv2.threshold(group, 0, 255, cv2.THRESH_BINARY | cv2.THRESH_OTSU)[1] cv_show('group', group) # 計(jì)算每一組的輪廓 # group_, digitCnts, hierarchy = cv2.findContours(group.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) # 就是個(gè)排序 真正的順序我們都知道,可以自己用sort函數(shù) digitCnts = contours.sort_contours(digitCnts, method="left-to-right")[0] # 計(jì)算每一組中的每一個(gè)數(shù)值 for c in digitCnts: # 找到當(dāng)前數(shù)值的輪廓,resize成合適的的大小 (x, y, w, h) = cv2.boundingRect(c) roi = group[y:y + h, x:x + w] roi = cv2.resize(roi, (57, 88)) cv_show('roi', roi) # 計(jì)算匹配得分 scores = [] # 在模板中計(jì)算每一個(gè)得分 字典digits記錄了模板0-9 for (digit, digitROI) in digits.items(): # 模板匹配 result = cv2.matchTemplate(roi, digitROI, cv2.TM_CCOEFF) (_, score, _, _) = cv2.minMaxLoc(result) scores.append(score) # 得到最合適的數(shù)字,這里用的匹配方法對應(yīng)得分越大越好。 groupOutput.append(str(np.argmax(scores))) # 畫出來 cv2.rectangle(image, (gX - 5, gY - 5), (gX + gW + 5, gY + gH + 5), (0, 0, 255), 1) cv2.putText(image, "".join(groupOutput), (gX, gY - 15), cv2.FONT_HERSHEY_SIMPLEX, 0.65, (0, 0, 255), 2) # 得到結(jié)果 output.extend(groupOutput)
輸出結(jié)果
print("Credit Card #: {}".format("".join(output)))
# cv_show("Image", image)
Credit Card #: 4000123456789010
3.2 完整代碼
直接copy
我去掉了圖片展示,直接輸出文本結(jié)果。
import cv2 import numpy as np from imutils import contours # 排序操作,也可以不用。 # 繪圖展示 def cv_show(name, img): cv2.imshow(name, img) cv2.waitKey(0) cv2.destroyAllWindows() # 讀取一個(gè)模板圖像 img = cv2.imread('ocr_a_reference.png', ) # 灰度圖 ref = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) # 二值圖像 ref = cv2.threshold(ref, 10, 255, cv2.THRESH_BINARY_INV)[1] # 輪廓檢測 refCnts, hierarchy = cv2.findContours(ref, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) # 排序(倒序操作) 得到正序0-9的輪廓 refCnts = sorted(refCnts, key=lambda b: b[0][0][0], reverse=False) digits = {} # 遍歷每一個(gè)輪廓 for (i, c) in enumerate(refCnts): # 計(jì)算外接矩形并且resize成合適大小 (x, y, w, h) = cv2.boundingRect(c) roi = ref[y:y + h, x:x + w] roi = cv2.resize(roi, (57, 88)) # 每一個(gè)數(shù)字對應(yīng)每一個(gè)模板,此時(shí)模板中的10個(gè)數(shù)字分別被保存到了字典中 digits[i] = roi # 初始化卷積核 rectKernel = cv2.getStructuringElement(cv2.MORPH_RECT, (9, 3)) sqKernel = cv2.getStructuringElement(cv2.MORPH_RECT, (5, 5)) # 讀入銀行卡 image = cv2.imread('./images/credit_card_01.png') # 統(tǒng)一大小,這里建議讓它變小一點(diǎn),處理像素少一點(diǎn),后面閉運(yùn)算讓其模糊也方便一些。 set_width = 300 # 自己設(shè)定 這里我統(tǒng)一了寬度 rate = set_width / image.shape[:2][1] image = cv2.resize(image, (0, 0), fx=rate, fy=rate) # 轉(zhuǎn)為灰度圖 gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY) # 禮帽,突出更明亮的區(qū)域 tophat = cv2.morphologyEx(gray, cv2.MORPH_TOPHAT, rectKernel) # 梯度運(yùn)算,這里使用Sobel算子,只進(jìn)行了x方向計(jì)算。前面的禮帽操作是的我們梯度運(yùn)算結(jié)果更干凈些。 # ksize=-1相當(dāng)于用3*3的 gradX = cv2.Sobel(tophat, ddepth=cv2.CV_32F, dx=1, dy=0, ksize=-1) gradX = np.absolute(gradX) # 絕對值,白-黑 黑-白 # 或者寫為 cv2.convertScaleAbs(sobelx) # 歸一化處理 (minVal, maxVal) = (np.min(gradX), np.max(gradX)) # gradX與最小值之間的距離占區(qū)間長度的幾分之幾 gradX = (255 * ((gradX - minVal) / (maxVal - minVal))) gradX = gradX.astype("uint8") # 閉運(yùn)算 把銀行卡卡號(hào)那里弄模糊 gradX = cv2.morphologyEx(gradX, cv2.MORPH_CLOSE, rectKernel) # 二值化,用于之后輪廓檢測。 thresh = cv2.threshold(gradX, 0, 255, cv2.THRESH_BINARY | cv2.THRESH_OTSU)[1] # 再來一個(gè)閉操作 thresh = cv2.morphologyEx(thresh, cv2.MORPH_CLOSE, sqKernel) # 輪廓檢測 threshCnts, hierarchy = cv2.findContours(thresh.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) locs = [] # 遍歷輪廓 for (i, c) in enumerate(threshCnts): # 計(jì)算矩形 (x, y, w, h) = cv2.boundingRect(c) ar = w / float(h) # 選擇合適的區(qū)域,根據(jù)實(shí)際任務(wù)來,這里的基本都是四個(gè)數(shù)字一組 if ar > 2.5 and ar < 4.0: if (w > 40 and w < 55) and (h > 10 and h < 20): # 符合的留下來 locs.append((x, y, w, h)) # 將符合的這四組輪廓按x從左到右排序 locs = sorted(locs, key=lambda x: x[0]) # 遍歷這四組數(shù) output = [] # 遍歷每一個(gè)輪廓中的數(shù)字 for (i, (gX, gY, gW, gH)) in enumerate(locs): groupOutput = [] # 根據(jù)坐標(biāo)提取每一個(gè)組 group = gray[gY - 5:gY + gH + 5, gX - 5:gX + gW + 5] # 預(yù)處理 group = cv2.threshold(group, 0, 255, cv2.THRESH_BINARY | cv2.THRESH_OTSU)[1] # 計(jì)算每一組的輪廓 # group_, digitCnts, hierarchy = cv2.findContours(group.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) # 就是個(gè)排序 真正的順序我們都知道,可以自己用sort函數(shù) digitCnts = contours.sort_contours(digitCnts, method="left-to-right")[0] # 計(jì)算每一組中的每一個(gè)數(shù)值 for c in digitCnts: # 找到當(dāng)前數(shù)值的輪廓,resize成合適的的大小 (x, y, w, h) = cv2.boundingRect(c) roi = group[y:y + h, x:x + w] roi = cv2.resize(roi, (57, 88)) # 計(jì)算匹配得分 scores = [] # 在模板中計(jì)算每一個(gè)得分 字典digits記錄了模板0-9 for (digit, digitROI) in digits.items(): # 模板匹配 result = cv2.matchTemplate(roi, digitROI, cv2.TM_CCOEFF) (_, score, _, _) = cv2.minMaxLoc(result) scores.append(score) # 得到最合適的數(shù)字,這里用的匹配方法對應(yīng)得分越大越好。 groupOutput.append(str(np.argmax(scores))) # 畫出來 cv2.rectangle(image, (gX - 5, gY - 5), (gX + gW + 5, gY + gH + 5), (0, 0, 255), 1) cv2.putText(image, "".join(groupOutput), (gX, gY - 15), cv2.FONT_HERSHEY_SIMPLEX, 0.65, (0, 0, 255), 2) # 得到結(jié)果 output.extend(groupOutput) print("Credit Card #: {}".format("".join(output)))
總結(jié)
到此這篇關(guān)于openCV實(shí)踐項(xiàng)目之銀行卡卡號(hào)識(shí)別功能的文章就介紹到這了,更多相關(guān)openCV銀行卡卡號(hào)識(shí)別內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
Streamlit+Echarts實(shí)現(xiàn)繪制精美圖表
在數(shù)據(jù)分析和可視化的領(lǐng)域,選擇合適的工具可以讓我們事半功倍,本文主要為大家介紹兩個(gè)工具,Streamlit和ECharts,感興趣的小伙伴可以跟隨小編一起了解下2023-09-09pytorch模型預(yù)測結(jié)果與ndarray互轉(zhuǎn)方式
今天小編就為大家分享一篇pytorch模型預(yù)測結(jié)果與ndarray互轉(zhuǎn)方式,具有很好的參考價(jià)值,希望對大家有所幫助。一起跟隨小編過來看看吧2020-01-01Python socket網(wǎng)絡(luò)編程TCP/IP服務(wù)器與客戶端通信
這篇文章主要介紹了Python socket網(wǎng)絡(luò)編程TCP/IP服務(wù)器與客戶端通信的相關(guān)資料,這里對Scoket 進(jìn)行詳解并創(chuàng)建TCP服務(wù)器及TCP 客戶端實(shí)例代碼,需要的朋友可以參考下2017-01-01Python數(shù)據(jù)分析入門之?dāng)?shù)據(jù)讀取與存儲(chǔ)
今天繼續(xù)帶大家學(xué)習(xí)python數(shù)據(jù)分析,下文中有非常詳細(xì)的代碼示例,清楚地解釋了python數(shù)據(jù)讀取與存儲(chǔ)的相關(guān)知識(shí),需要的朋友可以參考下2021-05-05