本文將梳理github上最火的wechat_jump_game的實現(xiàn)思路，并解析其圖像處理部分源碼

首先廢話少說先看效果

核心思想

獲取棋子到下一個方塊的中心點的距離
計算觸摸屏幕的時間
點擊屏幕

重要方法

計算棋子到下一個方塊中心點的距離

• 使用 adb shell screencap -p 命令獲取手機(jī)當(dāng)前屏幕畫面
• 再通過圖像上的信息找出棋子的坐標(biāo)和下一個方塊中心點的坐標(biāo)
• 然后通過兩點間距離公式計算出距離
  

計算觸摸屏幕的時間

T=A * S

其中S為上步算出的像素距離，T為按壓時間（ms），A為一個系數(shù)這個系數(shù)會隨著屏幕分辨率的變化而變化，在1920*1080的屏幕下這個系數(shù)為1.35，在2560*1440的屏幕下這個系數(shù)為1.475

點擊屏幕

adb shell input swipe x y x y time(ms)

這條命令能夠點擊手機(jī)屏幕x,y位置time(ms)

圖像處理部分源碼解析

圖像處理部分代碼都在 find_piece_and_board(im) 方法中

通過輸入的圖像im計算出棋子的坐標(biāo)點以及下一個方塊中心的坐標(biāo)點

在find_piece_and_board的方法中一進(jìn)來就是下面的兩個嵌套在一起的for循環(huán)：

 for i in range(int(h / 3), int(h * 2 / 3), 50):
    last_pixel = im_pixel[0, i]
    for j in range(1, w):
      pixel = im_pixel[j, i]
      # 不是純色的線，則記錄 scan_start_y 的值，準(zhǔn)備跳出循環(huán)
      if pixel[0] != last_pixel[0] or pixel[1] != last_pixel[1] or pixel[2] != last_pixel[2]:
        scan_start_y = i - 50
        break
    if scan_start_y:
      break

這段代碼的作用就是從屏幕2/3的位置向下尋找不是純色的線。并將找到位置的縱坐標(biāo)-50作為，尋找棋子和方塊的起始坐標(biāo)。這樣可以簡化以后搜索的工作量，因為在這個橫坐標(biāo)以上是沒有東西的。

接下來是查找棋子坐標(biāo)的代碼

# 查找棋子坐標(biāo)
  # piece_x_sum 橫坐標(biāo)總量 piece_x_c 點的個數(shù) piece_y_max 縱坐標(biāo)最大值
  # 從 scan_start_y 開始往下掃描，棋子應(yīng)位于屏幕上半部分，這里暫定不超過 2/3
  for i in range(scan_start_y, int(h * 2 / 3)):
    for j in range(scan_x_border, w - scan_x_border): # 橫坐標(biāo)方面也減少了一部分掃描開銷
      pixel = im_pixel[j, i]
      # 根據(jù)棋子的最低行的顏色判斷，找最后一行那些點的平均值，這個顏色這樣應(yīng)該 OK，暫時不提出來
      if (50 < pixel[0] < 60) and (53 < pixel[1] < 63) and (95 < pixel[2] < 110):
        piece_x_sum += j
        piece_x_c += 1
        piece_y_max = max(i, piece_y_max)

  if not all((piece_x_sum, piece_x_c)):
    return 0, 0, 0, 0
  # 平均橫坐標(biāo)
  piece_x = int(piece_x_sum / piece_x_c)
  # 縱坐標(biāo)最大值-底座一半的高度
  piece_y = piece_y_max - piece_base_height_1_2 # 上移棋子底盤高度的一半

查找棋子的重要依據(jù)就是棋子的顏色較為單一并且和方塊的顏色有較大差距。如果一個像素點的RGB像素值在B(50, 60), G(53, 63), R(95, 110)范圍內(nèi)那么就認(rèn)為這個像素點是屬于棋子的。根據(jù)以上信息就能計算出棋子的平均橫坐標(biāo)，以及最大的縱坐標(biāo)值。

所以不難計算出棋子坐標(biāo)（棋子平均橫坐標(biāo)， 棋子最大縱坐標(biāo) - 底座一半的高度）其中底座一半的高度因手機(jī)分辨率而異。需要提前配置好。

最后是查找下一個方塊中心點的坐標(biāo)的代碼

# 尋找最高的棋盤
  # 棋盤不會和棋子在同一側(cè)
  # 限制棋盤掃描的橫坐標(biāo)，避免音符 bug
  if piece_x < w / 2:
    board_x_start = piece_x
    board_x_end = w
  else:
    board_x_start = 0
    board_x_end = piece_x
  for i in range(int(h / 3), int(h * 2 / 3)):
    last_pixel = im_pixel[0, i]
    if board_x or board_y:
      break
    board_x_sum = 0
    board_x_c = 0
    for j in range(int(board_x_start), int(board_x_end)):
      pixel = im_pixel[j, i]
      # 下一個棋盤緊貼著棋子
      # 修掉腦袋比下一個小格子還高的情況的 bug
      if abs(j - piece_x) < piece_body_width:
        continue
      # 修掉圓頂?shù)臅r候一條線導(dǎo)致的小 bug，這個顏色判斷應(yīng)該 OK，暫時不提出來
      if abs(pixel[0] - last_pixel[0]) + abs(pixel[1] - last_pixel[1]) + abs(pixel[2] - last_pixel[2]) > 10:
        board_x_sum += j
        board_x_c += 1
    if board_x_sum:
      # 最高棋盤的平均橫坐標(biāo)
      board_x = board_x_sum / board_x_c
  last_pixel = im_pixel[board_x, i]

代碼開頭通過棋子所在的屏幕位置限制搜索的寬度，如果棋子在屏幕左邊那么就在屏幕右邊搜索方塊，反之亦然。因為方塊和棋子不會在屏幕同一側(cè)。

然后就是自上而下得搜索方塊的上頂點。

方塊上頂點坐標(biāo)（ 平均橫坐標(biāo)，當(dāng)前行的縱坐標(biāo)）

然后再往下縱坐標(biāo)+247的位置開始向上找顏色與上頂點一樣的點，為下頂點。
當(dāng)然此方法有一點局限性對于純色的平面效果很好但是對于非純色的平面?？赡軙袛喑鲥e。

如果上一跳命中中間，則下個目標(biāo)中心會出現(xiàn) r245 g245 b245 的點，利用這個屬性彌補上一段代碼可能存在的判斷錯誤
若上一跳由于某種原因沒有跳到正中間，而下一跳恰好有無法正確識別花紋，則有可能游戲失敗，由于花紋面積通常比較大，失敗概率較低

可改進(jìn)方案

首先是目前方案對于多分辨率需要多個配置文件來記錄不同分辨率下的系數(shù)以及棋子底盤一半的高度。隨機(jī)測試了6臺手機(jī)其中有兩臺手機(jī)因沒有配飾而無法正常運作

首先是系數(shù)A，觀察方程T=A * S，A就是一個可訓(xùn)練量，利用機(jī)器學(xué)習(xí)框架比如TensorFlow，對這個一元一次方程進(jìn)行擬合。

觀察棋子底盤一半的高度在代碼中的作用。不難發(fā)現(xiàn)是為了求出棋子底盤中心的縱坐標(biāo)。而棋子底盤中心的位置恰恰是棋子最寬的地方。所以可以通過找出棋子最寬處的縱坐標(biāo)的方式找到棋子底盤中心的縱坐標(biāo)。這樣就擺脫了對配置文件的依賴，能讓代碼在任何手機(jī)上正常運行。

其次是對于方塊中心坐標(biāo)位置的判斷方法出錯率較高，雖然有中心白點可以彌補但是在大量跳躍的過程中還是會出現(xiàn)錯誤。3太手機(jī)不停運行了一下午，最高分只有2009分。

現(xiàn)方法出錯率高的原因是使用純顏色方法判斷，但是在實際游戲中顏色豐富的方塊也不少。如果想改變就不能依賴顏色方法判斷，而應(yīng)該通過幾何圖像的形狀來計算方塊的位置。不難發(fā)現(xiàn)游戲中方塊只有棱形和圓形兩種形狀。

首先通過canny或其他輪廓查找算子提取出圖像的輪廓，然后通過霍夫變換提取出圓形和棱形的中心坐標(biāo)。

總結(jié)

以上所述是小編給大家介紹的微信跳一跳python輔助軟件思路及圖像識別源碼解析，希望對大家有所幫助，如果大家有任何疑問請給我留言，小編會及時回復(fù)大家的。在此也非常感謝大家對腳本之家網(wǎng)站的支持！

最新評論