Android無(wú)障礙自動(dòng)化結(jié)合opencv實(shí)現(xiàn)支付寶能量自動(dòng)收集操作方法
Android無(wú)障礙服務(wù)可以操作元素,手勢(shì)模擬,實(shí)現(xiàn)基本的控制。opencv可以進(jìn)行圖像識(shí)別。兩者結(jié)合在一起即可實(shí)現(xiàn)支付寶能量自動(dòng)收集。opencv用于識(shí)別能量,無(wú)障礙服務(wù)用于模擬手勢(shì),即點(diǎn)擊能量。
當(dāng)然這兩者結(jié)合不單單只能實(shí)現(xiàn)這些,還能做很多自動(dòng)化的程序,如芭芭農(nóng)場(chǎng)自動(dòng)施肥、螞蟻莊園等等的自動(dòng)化,甚至游戲的自動(dòng)化也沒(méi)問(wèn)題。
下面簡(jiǎn)單介紹下核心的實(shí)現(xiàn)邏輯
核心步驟
- 準(zhǔn)確識(shí)別多個(gè)能量球位置
- 準(zhǔn)確點(diǎn)擊能量球位置
opencv識(shí)別能量球
OpenCV是一個(gè)可用于開(kāi)發(fā)實(shí)時(shí)的圖像處理、計(jì)算機(jī)視覺(jué)以及模式識(shí)別可商用的開(kāi)源庫(kù)-opencv介紹
思路
使用opencv怎么識(shí)別能量球呢?
使用opencv的模板匹配。即,將能量球單獨(dú)裁剪出來(lái)作為模板,再將其與屏幕圖像進(jìn)行匹配,篩選匹配分值最高的結(jié)果即獲取能量球在屏幕中的位置。
實(shí)現(xiàn)
1. 項(xiàng)目集成opencv-android版
dependencies {
implementation 'org.opencv:opencv:4.9.0'
}最新版本可查看官方集成教程
2. 截取能量球圖像作為模板

3. 截取屏幕圖像

4. 使用opencv模板匹配獲取所有能量球位置
opencv模板匹配api
Imgproc.matchTemplate(image, templ, result, method, mask)
參數(shù)解釋:image屏幕圖像,即步驟3中截取的屏幕圖像templ模板圖像,即步驟2中截圖的能量球圖像result匹配結(jié)果容器,用于存儲(chǔ)匹配的結(jié)果mask掩膜,用于指定模板中哪些位置需要匹配,哪些不需要匹配
其中參數(shù)mask掩膜是匹配準(zhǔn)確度的關(guān)鍵點(diǎn)
掩膜圖像是根據(jù)模板生成的一張黑白圖像,其中黑色為不需要匹配的區(qū)域
模板圖像與生成的掩膜圖像對(duì)比
| 模板圖像 | 掩模圖像 |
|---|---|
![]() | ![]() |
其中文字也是我們不需要匹配的,因?yàn)槔锩娴奈淖謺?huì)變化,所以中間加了一塊黑色矩形用于指定匹配忽略區(qū)域
對(duì)于掩膜的創(chuàng)建方法這里不介紹了,所有代碼都已經(jīng)開(kāi)放在我的自動(dòng)化開(kāi)源庫(kù)Assists里,想直接看代碼這里:https://github.com/ven-coder/Assists
參數(shù)準(zhǔn)備好就可以進(jìn)行匹配了,下面是完整代碼(kotlin代碼)
/**
* 模板匹配能量球
*/
fun match() {
try {
val path = System.getProperty("user.dir") + "\\lib\\x64\\opencv_java490.dll"
System.load(path)
val temp = System.getProperty("user.dir") + "\\images\\temp.jpg"
val image = System.getProperty("user.dir") + "\\images\\image.png"
//模板圖像
val img = Imgcodecs.imread(image)
//屏幕圖像
val templ = Imgcodecs.imread(temp)
//掩膜圖像
val mask = createMask(templ)
// 創(chuàng)建結(jié)果矩陣
val resultCols: Int = img.cols() - templ.cols() + 1
val resultRows: Int = img.rows() - templ.rows() + 1
val result = Mat(resultRows, resultCols, CvType.CV_32FC1)
// 進(jìn)行模板匹配
Imgproc.matchTemplate(img, templ, result, Imgproc.TM_CCORR_NORMED, mask)
// 遍歷結(jié)果矩陣,找到所有匹配超過(guò)閾值的位置
val threshold = 0.98 // 閾值,根據(jù)實(shí)際情況調(diào)整
var count = 0
var countValue = 0
for (y in 0 until result.rows()) {
for (x in 0 until result.cols()) {
countValue++
val matchValue = result[y, x]
if (matchValue[0] >= threshold) {
count++
// 找到一個(gè)匹配位置
val matchLoc = Point(x.toDouble(), y.toDouble())
// 繪制矩形框
Imgproc.rectangle(img, matchLoc, Point(matchLoc.x + templ.cols(), matchLoc.y + templ.rows()), Scalar( 85.0, 85.0,205.0,), 2, Imgproc.LINE_AA, 0)
}
}
}
// 顯示結(jié)果
Imgproc.resize(img, img, Size(img.cols() / 2.0, img.rows() / 2.0)) // 可選:調(diào)整顯示大小
HighGui.imshow("Matched Result: $count", img)
HighGui.waitKey(0)
} catch (e: Throwable) {
e.printStackTrace()
}
}
/**
* 創(chuàng)建掩膜
*/
fun createMask(source: Mat): Mat {
// 轉(zhuǎn)換為 HSV 顏色空間
val hsvImage = Mat()
Imgproc.cvtColor(source, hsvImage, Imgproc.COLOR_BGR2HSV)
// 定義綠色的顏色范圍
val lowerGreen = Scalar(35.0, 100.0, 100.0)
val upperGreen = Scalar(85.0, 255.0, 255.0)
// 創(chuàng)建掩膜
val mask = Mat()
Core.inRange(hsvImage, lowerGreen, upperGreen, mask)
// 忽略“27g”文字
// 你可以使用形態(tài)學(xué)操作去掉文字部分,或者手動(dòng)確定文字的位置并將其設(shè)置為黑色(0)。
// 假設(shè)文字位于圓形中心,可以手動(dòng)遮蓋這個(gè)區(qū)域
// Rect(中心位置x, 中心位置y, 寬度, 高度)
val width = 80
val height = 60
val textRect = Rect(source.width() / 2 - width / 2, source.height() / 2 - height / 2, width, height) // 假設(shè)的“27g”文字位置和大小
Imgproc.rectangle(mask, textRect, Scalar(0.0), -1)
Imgproc.rectangle(mask, Rect((source.width() / 2 - width / 2) + 10, (source.height() / 2 - height / 2) + height, 40, 25), Scalar(255.0), -1)
return mask
}匹配結(jié)果

點(diǎn)擊能量球
準(zhǔn)確得到能量球位置之后就好辦了,使用我的開(kāi)源庫(kù)Assists開(kāi)啟無(wú)障礙服務(wù)后調(diào)用gestureClick(x: Float, y: Float)點(diǎn)擊能量球位置即可
//it.x + temp3.width() / 2,坐標(biāo)加上模板大小的一半即點(diǎn)擊中間位置 Assists.gestureClick((it.x + temp3.width() / 2).toFloat(), (it.y + temp3.height() / 2).toFloat())
最終效果

以上所有代碼都在我的開(kāi)源庫(kù)Assists示例里了,需要的自取即可。
覺(jué)得有幫助順便可以start一下,滿足以下一下老夫虛榮心憋
到此這篇關(guān)于Android無(wú)障礙自動(dòng)化結(jié)合opencv實(shí)現(xiàn)支付寶能量自動(dòng)收集的文章就介紹到這了,更多相關(guān)Android能量自動(dòng)收集內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
Android中使用HttpURLConnection實(shí)現(xiàn)GET POST JSON數(shù)據(jù)與下載圖片
這篇文章主要介紹了Android中使用HttpURLConnection實(shí)現(xiàn)GET POST JSON數(shù)據(jù)與下載圖片,需要的朋友可以參考下2016-01-01
Android PopupWindow實(shí)現(xiàn)左側(cè)彈窗效果
這篇文章主要為大家詳細(xì)介紹了Android PopupWindow實(shí)現(xiàn)左側(cè)彈窗效果,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2017-10-10
Android實(shí)戰(zhàn)教程第十篇仿騰訊手機(jī)助手小火箭發(fā)射效果
這篇文章主要為大家詳細(xì)介紹了Android實(shí)戰(zhàn)教程第十篇仿騰訊手機(jī)助手小火箭發(fā)射效果,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2016-11-11
Android實(shí)現(xiàn)的簡(jiǎn)單藍(lán)牙程序示例
這篇文章主要介紹了Android實(shí)現(xiàn)的簡(jiǎn)單藍(lán)牙程序,結(jié)合實(shí)例形式分析了Android藍(lán)牙程序的原理與客戶端、服務(wù)器端具體實(shí)現(xiàn)步驟,需要的朋友可以參考下2016-10-10
Android開(kāi)發(fā)中Looper.prepare()和Looper.loop()
Looper用于封裝了android線程中的消息循環(huán),默認(rèn)情況下一個(gè)線程是不存在消息循環(huán)(message loop)的,具體調(diào)用方法大家可以通過(guò)本文學(xué)習(xí)2016-11-11
Android studio 實(shí)現(xiàn)手機(jī)掃描二維碼功能
這篇文章主要介紹了Android studio 實(shí)現(xiàn)手機(jī)掃描二維碼功能,需要的朋友可以參考下2019-10-10
Android中檢測(cè)當(dāng)前是否為主線程最可靠的解決方法
這篇文章主要介紹了Android中檢測(cè)當(dāng)前是否為主線程最可靠的解決方法,本文先是給出了最可靠的方法,然后給出了幾個(gè)實(shí)驗(yàn)例子,需要的朋友可以參考下2015-01-01


