opencv 識別微信登錄驗證滑動塊位置

更新時間：2018年08月07日 09:26:18 作者：鏘墻搶嗆

這篇文章主要介紹了opencv 識別微信登錄驗證滑動塊位置及各自的優(yōu)缺點,需要的朋友可以參考下

目標

識別微信登錄新賬號，需要拖動滑塊驗證時，目標塊相對于圖片的位置

前提相關信息:

滑塊與目標位置的距離是隨機的，且在一定范圍內，設其最大最小值為[min, max]
滑塊滑到距離目標左右10個單位的誤差內也可以通過驗證
每次的滑塊驗證碼有三次重試的機會，如果三次驗證不過，微信會自動換驗證碼
可以無限次數刷新驗證碼
應用機器學習應該能達到出色的識別率，但考慮到時間+學習成本，不采用機器學習的方式

相關圖片信息

截圖 - 通過android自帶的截圖工具截取驗證的界面，在代碼中為screenshot.jpg

三種方案

1.隨機拖動

基本思路:

每次驗證碼的三次重試機會，分別采用min + 10, (min + max)/2, max - 10三個位置進行拖動。

若不通過，則刷新驗證碼，重復上述過程

優(yōu)點：

單張驗證碼通過率下等
不用截圖、下載圖片與滑塊圖
不需要加入python-opencv層
因為可以無限重試，試的次數多了就能過

缺點:

判斷的位置是根據min、max推斷出來的大致范圍
min、max的值如果變化得很明顯，那么程序也要響應修改min與max的值

2.根據顏色識別圖片目標位置 (我打算采用這個方案)

基本思路:

根據目標位置的顏色的規(guī)律性(一般都是灰黑灰黑的)，制定一個顏色范圍

從圖片中用inRange將圖片轉換成黑白圖，白色部分為原圖中符合顏色范圍的區(qū)域

用findContours找出所有輪廓，根據輪廓所涉及的元素點的最多的幾項判斷目標位置的大致范圍

代碼實現

# 讀取截圖
screenshot = cv2.imread('screenshot.jpg')
# 篩選出符合顏色區(qū)間的區(qū)域
inRange = cv2.inRange(screenshot, np.array([90, 90, 90]), np.array([115, 115, 115]))
# 從圖中找出所有的輪廓
_, cnts, _ = cv2.findContours(inRange.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
# 對所有輪廓做排序，排序依據是每個輪廓包含的點的數量
cnts.sort(key=len, reverse=True)
# 取前兩個輪廓(有些圖片目標位置不一定是第一個輪廓)
for cnt in cnts[0: 2]:
  xSum = 0
  xCounter = 0
  for position in cnt:
    xCounter += 1
    xSum += position[0][0]
  # 算出所有點的X坐標平均值，并在此基礎上做一個60像素的偏移，這個偏移可以根據自己手機進行調整
  x = int(xSum / xCounter - 60)
  # 在截圖上畫一條紅線，表示識別的x坐標位置
  cv2.line(screenshot, (x, 0), (x, 500), (0, 0, 255), 5)
cv2.imshow("screenshot", screenshot)
cv2.waitKey(0)

優(yōu)點:

單張驗證碼通過率中等
不用下載圖片與滑塊圖

缺點:

判斷的位置仍然是大致范圍，較第一種隨機位置范圍精確性有較大提升
需要加入python-opencv層
需要截圖
根據滑塊識別目標位置

基本思路:

滑塊與目標位置的區(qū)別在于，目標位置加了一層灰黑色透明前景色，圖片處理時先給滑塊圖片加上相同的灰黑色透明前景色

用處理過的滑塊去匹配目標位置

代碼實現:

# 讀取滑塊圖片，并給其加上相同的灰黑色透明前景色，再進行灰化
block = cv2.imread('block.jpg')
blockCopy = block.copy()
w, h = block.shape[:-1]
cv2.rectangle(blockCopy, (0, 0), (w, h), (47, 47, 47), -1)
cv2.addWeighted(blockCopy, 0.7, block, 0.3, 0, block)
block = cv2.cvtColor(block, cv2.COLOR_RGB2GRAY)
# 讀取驗證碼圖片，并灰化
captcha = cv2.imread('captcha.jpg')
captchaGray = cv2.cvtColor(captcha, cv2.COLOR_RGB2GRAY)
# 尋找captcha中匹配block的位置
res = cv2.matchTemplate(captchaGray, block, cv2.TM_SQDIFF)
min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(res)
# 在最符合的畫一個矩形
cv2.rectangle(captcha, min_loc, (min_loc[0] + w, min_loc[1] + h), (0, 0, 255), -1)
cv2.imshow('block', block)
cv2.imshow("captcha", captcha)
cv2.waitKey(0);

優(yōu)點: