目標(biāo)

識別微信登錄新賬號，需要拖動滑塊驗(yàn)證時(shí)，目標(biāo)塊相對于圖片的位置

前提相關(guān)信息:

• 滑塊與目標(biāo)位置的距離是隨機(jī)的，且在一定范圍內(nèi)，設(shè)其最大最小值為[min, max]
• 滑塊滑到距離目標(biāo)左右10個(gè)單位的誤差內(nèi)也可以通過驗(yàn)證
• 每次的滑塊驗(yàn)證碼有三次重試的機(jī)會，如果三次驗(yàn)證不過，微信會自動換驗(yàn)證碼
• 可以無限次數(shù)刷新驗(yàn)證碼
• 應(yīng)用機(jī)器學(xué)習(xí)應(yīng)該能達(dá)到出色的識別率，但考慮到時(shí)間+學(xué)習(xí)成本，不采用機(jī)器學(xué)習(xí)的方式

相關(guān)圖片信息

截圖 - 通過android自帶的截圖工具截取驗(yàn)證的界面，在代碼中為screenshot.jpg

三種方案

1.隨機(jī)拖動

基本思路:

每次驗(yàn)證碼的三次重試機(jī)會，分別采用min + 10, (min + max)/2, max - 10三個(gè)位置進(jìn)行拖動。

若不通過，則刷新驗(yàn)證碼，重復(fù)上述過程

優(yōu)點(diǎn)：

• 單張驗(yàn)證碼通過率下等
• 不用截圖、下載圖片與滑塊圖
• 不需要加入python-opencv層
• 因?yàn)榭梢詿o限重試，試的次數(shù)多了就能過

缺點(diǎn):

• 判斷的位置是根據(jù)min、max推斷出來的大致范圍
• min、max的值如果變化得很明顯，那么程序也要響應(yīng)修改min與max的值
  

2.根據(jù)顏色識別圖片目標(biāo)位置 (我打算采用這個(gè)方案)

基本思路:

根據(jù)目標(biāo)位置的顏色的規(guī)律性(一般都是灰黑灰黑的)，制定一個(gè)顏色范圍

從圖片中用inRange將圖片轉(zhuǎn)換成黑白圖，白色部分為原圖中符合顏色范圍的區(qū)域

用findContours找出所有輪廓，根據(jù)輪廓所涉及的元素點(diǎn)的最多的幾項(xiàng)判斷目標(biāo)位置的大致范圍

代碼實(shí)現(xiàn)

# 讀取截圖
screenshot = cv2.imread('screenshot.jpg')
# 篩選出符合顏色區(qū)間的區(qū)域
inRange = cv2.inRange(screenshot, np.array([90, 90, 90]), np.array([115, 115, 115]))
# 從圖中找出所有的輪廓
_, cnts, _ = cv2.findContours(inRange.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
# 對所有輪廓做排序，排序依據(jù)是每個(gè)輪廓包含的點(diǎn)的數(shù)量
cnts.sort(key=len, reverse=True)
# 取前兩個(gè)輪廓(有些圖片目標(biāo)位置不一定是第一個(gè)輪廓)
for cnt in cnts[0: 2]:
  xSum = 0
  xCounter = 0
  for position in cnt:
    xCounter += 1
    xSum += position[0][0]
  # 算出所有點(diǎn)的X坐標(biāo)平均值，并在此基礎(chǔ)上做一個(gè)60像素的偏移，這個(gè)偏移可以根據(jù)自己手機(jī)進(jìn)行調(diào)整
  x = int(xSum / xCounter - 60)
  # 在截圖上畫一條紅線，表示識別的x坐標(biāo)位置
  cv2.line(screenshot, (x, 0), (x, 500), (0, 0, 255), 5)
cv2.imshow("screenshot", screenshot)
cv2.waitKey(0)

優(yōu)點(diǎn):

• 單張驗(yàn)證碼通過率中等
• 不用下載圖片與滑塊圖
  

缺點(diǎn):

• 判斷的位置仍然是大致范圍，較第一種隨機(jī)位置范圍精確性有較大提升
• 需要加入python-opencv層
• 需要截圖
• 根據(jù)滑塊識別目標(biāo)位置

基本思路:

滑塊與目標(biāo)位置的區(qū)別在于，目標(biāo)位置加了一層灰黑色透明前景色，圖片處理時(shí)先給滑塊圖片加上相同的灰黑色透明前景色

用處理過的滑塊去匹配目標(biāo)位置

代碼實(shí)現(xiàn):

# 讀取滑塊圖片，并給其加上相同的灰黑色透明前景色，再進(jìn)行灰化
block = cv2.imread('block.jpg')
blockCopy = block.copy()
w, h = block.shape[:-1]
cv2.rectangle(blockCopy, (0, 0), (w, h), (47, 47, 47), -1)
cv2.addWeighted(blockCopy, 0.7, block, 0.3, 0, block)
block = cv2.cvtColor(block, cv2.COLOR_RGB2GRAY)
# 讀取驗(yàn)證碼圖片，并灰化
captcha = cv2.imread('captcha.jpg')
captchaGray = cv2.cvtColor(captcha, cv2.COLOR_RGB2GRAY)
# 尋找captcha中匹配block的位置
res = cv2.matchTemplate(captchaGray, block, cv2.TM_SQDIFF)
min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(res)
# 在最符合的畫一個(gè)矩形
cv2.rectangle(captcha, min_loc, (min_loc[0] + w, min_loc[1] + h), (0, 0, 255), -1)
cv2.imshow('block', block)
cv2.imshow("captcha", captcha)
cv2.waitKey(0);

優(yōu)點(diǎn):

• 單張驗(yàn)證碼通過率高
• 如果判斷成功，位置一般很精確

缺點(diǎn):

• 需要加入python-opencv層
• 需要下載原圖、滑塊圖(原圖、滑塊圖的下載還沒研究)
• 判斷不成功的時(shí)候，判斷的位置一般偏離目標(biāo)位置較大

總結(jié)

三種方案中第二種擁有不錯(cuò)的驗(yàn)證率，且較第三種只需要對驗(yàn)證界面進(jìn)行截圖，開發(fā)較容易。
綜上所述，第二種方案是我認(rèn)為較好的方法。

最新評論