Android無障礙自動化結(jié)合opencv實現(xiàn)支付寶能量自動收集操作方法
Android無障礙服務(wù)可以操作元素,手勢模擬,實現(xiàn)基本的控制。opencv可以進(jìn)行圖像識別。兩者結(jié)合在一起即可實現(xiàn)支付寶能量自動收集。opencv用于識別能量,無障礙服務(wù)用于模擬手勢,即點擊能量。
當(dāng)然這兩者結(jié)合不單單只能實現(xiàn)這些,還能做很多自動化的程序,如芭芭農(nóng)場自動施肥、螞蟻莊園等等的自動化,甚至游戲的自動化也沒問題。
下面簡單介紹下核心的實現(xiàn)邏輯
核心步驟
- 準(zhǔn)確識別多個能量球位置
- 準(zhǔn)確點擊能量球位置
opencv識別能量球
OpenCV是一個可用于開發(fā)實時的圖像處理、計算機(jī)視覺以及模式識別可商用的開源庫-opencv介紹
思路
使用opencv怎么識別能量球呢?
使用opencv的模板匹配。即,將能量球單獨裁剪出來作為模板,再將其與屏幕圖像進(jìn)行匹配,篩選匹配分值最高的結(jié)果即獲取能量球在屏幕中的位置。
實現(xiàn)
1. 項目集成opencv-android版
dependencies { implementation 'org.opencv:opencv:4.9.0' }
最新版本可查看官方集成教程
2. 截取能量球圖像作為模板
3. 截取屏幕圖像
4. 使用opencv模板匹配獲取所有能量球位置
opencv模板匹配api
Imgproc.matchTemplate(image, templ, result, method, mask)
參數(shù)解釋:image
屏幕圖像,即步驟3中截取的屏幕圖像templ
模板圖像,即步驟2中截圖的能量球圖像result
匹配結(jié)果容器,用于存儲匹配的結(jié)果mask
掩膜,用于指定模板中哪些位置需要匹配,哪些不需要匹配
其中參數(shù)mask
掩膜是匹配準(zhǔn)確度的關(guān)鍵點
掩膜圖像是根據(jù)模板生成的一張黑白圖像,其中黑色為不需要匹配的區(qū)域
模板圖像與生成的掩膜圖像對比
模板圖像 | 掩模圖像 |
---|---|
![]() | ![]() |
其中文字也是我們不需要匹配的,因為里面的文字會變化,所以中間加了一塊黑色矩形用于指定匹配忽略區(qū)域
對于掩膜的創(chuàng)建方法這里不介紹了,所有代碼都已經(jīng)開放在我的自動化開源庫Assists里,想直接看代碼這里:https://github.com/ven-coder/Assists
參數(shù)準(zhǔn)備好就可以進(jìn)行匹配了,下面是完整代碼(kotlin代碼)
/** * 模板匹配能量球 */ fun match() { try { val path = System.getProperty("user.dir") + "\\lib\\x64\\opencv_java490.dll" System.load(path) val temp = System.getProperty("user.dir") + "\\images\\temp.jpg" val image = System.getProperty("user.dir") + "\\images\\image.png" //模板圖像 val img = Imgcodecs.imread(image) //屏幕圖像 val templ = Imgcodecs.imread(temp) //掩膜圖像 val mask = createMask(templ) // 創(chuàng)建結(jié)果矩陣 val resultCols: Int = img.cols() - templ.cols() + 1 val resultRows: Int = img.rows() - templ.rows() + 1 val result = Mat(resultRows, resultCols, CvType.CV_32FC1) // 進(jìn)行模板匹配 Imgproc.matchTemplate(img, templ, result, Imgproc.TM_CCORR_NORMED, mask) // 遍歷結(jié)果矩陣,找到所有匹配超過閾值的位置 val threshold = 0.98 // 閾值,根據(jù)實際情況調(diào)整 var count = 0 var countValue = 0 for (y in 0 until result.rows()) { for (x in 0 until result.cols()) { countValue++ val matchValue = result[y, x] if (matchValue[0] >= threshold) { count++ // 找到一個匹配位置 val matchLoc = Point(x.toDouble(), y.toDouble()) // 繪制矩形框 Imgproc.rectangle(img, matchLoc, Point(matchLoc.x + templ.cols(), matchLoc.y + templ.rows()), Scalar( 85.0, 85.0,205.0,), 2, Imgproc.LINE_AA, 0) } } } // 顯示結(jié)果 Imgproc.resize(img, img, Size(img.cols() / 2.0, img.rows() / 2.0)) // 可選:調(diào)整顯示大小 HighGui.imshow("Matched Result: $count", img) HighGui.waitKey(0) } catch (e: Throwable) { e.printStackTrace() } } /** * 創(chuàng)建掩膜 */ fun createMask(source: Mat): Mat { // 轉(zhuǎn)換為 HSV 顏色空間 val hsvImage = Mat() Imgproc.cvtColor(source, hsvImage, Imgproc.COLOR_BGR2HSV) // 定義綠色的顏色范圍 val lowerGreen = Scalar(35.0, 100.0, 100.0) val upperGreen = Scalar(85.0, 255.0, 255.0) // 創(chuàng)建掩膜 val mask = Mat() Core.inRange(hsvImage, lowerGreen, upperGreen, mask) // 忽略“27g”文字 // 你可以使用形態(tài)學(xué)操作去掉文字部分,或者手動確定文字的位置并將其設(shè)置為黑色(0)。 // 假設(shè)文字位于圓形中心,可以手動遮蓋這個區(qū)域 // Rect(中心位置x, 中心位置y, 寬度, 高度) val width = 80 val height = 60 val textRect = Rect(source.width() / 2 - width / 2, source.height() / 2 - height / 2, width, height) // 假設(shè)的“27g”文字位置和大小 Imgproc.rectangle(mask, textRect, Scalar(0.0), -1) Imgproc.rectangle(mask, Rect((source.width() / 2 - width / 2) + 10, (source.height() / 2 - height / 2) + height, 40, 25), Scalar(255.0), -1) return mask }
匹配結(jié)果
點擊能量球
準(zhǔn)確得到能量球位置之后就好辦了,使用我的開源庫Assists開啟無障礙服務(wù)后調(diào)用gestureClick(x: Float, y: Float)
點擊能量球位置即可
//it.x + temp3.width() / 2,坐標(biāo)加上模板大小的一半即點擊中間位置 Assists.gestureClick((it.x + temp3.width() / 2).toFloat(), (it.y + temp3.height() / 2).toFloat())
最終效果
以上所有代碼都在我的開源庫Assists示例里了,需要的自取即可。
覺得有幫助順便可以start一下,滿足以下一下老夫虛榮心憋
到此這篇關(guān)于Android無障礙自動化結(jié)合opencv實現(xiàn)支付寶能量自動收集的文章就介紹到這了,更多相關(guān)Android能量自動收集內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
Android中使用HttpURLConnection實現(xiàn)GET POST JSON數(shù)據(jù)與下載圖片
這篇文章主要介紹了Android中使用HttpURLConnection實現(xiàn)GET POST JSON數(shù)據(jù)與下載圖片,需要的朋友可以參考下2016-01-01Android PopupWindow實現(xiàn)左側(cè)彈窗效果
這篇文章主要為大家詳細(xì)介紹了Android PopupWindow實現(xiàn)左側(cè)彈窗效果,具有一定的參考價值,感興趣的小伙伴們可以參考一下2017-10-10Android實戰(zhàn)教程第十篇仿騰訊手機(jī)助手小火箭發(fā)射效果
這篇文章主要為大家詳細(xì)介紹了Android實戰(zhàn)教程第十篇仿騰訊手機(jī)助手小火箭發(fā)射效果,具有一定的參考價值,感興趣的小伙伴們可以參考一下2016-11-11Android開發(fā)中Looper.prepare()和Looper.loop()
Looper用于封裝了android線程中的消息循環(huán),默認(rèn)情況下一個線程是不存在消息循環(huán)(message loop)的,具體調(diào)用方法大家可以通過本文學(xué)習(xí)2016-11-11Android studio 實現(xiàn)手機(jī)掃描二維碼功能
這篇文章主要介紹了Android studio 實現(xiàn)手機(jī)掃描二維碼功能,需要的朋友可以參考下2019-10-10Android中檢測當(dāng)前是否為主線程最可靠的解決方法
這篇文章主要介紹了Android中檢測當(dāng)前是否為主線程最可靠的解決方法,本文先是給出了最可靠的方法,然后給出了幾個實驗例子,需要的朋友可以參考下2015-01-01