欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Android無障礙自動化結(jié)合opencv實現(xiàn)支付寶能量自動收集操作方法

 更新時間:2024年07月02日 09:47:16   作者:venblog  
opencv可以進(jìn)行圖像識別,兩者結(jié)合在一起即可實現(xiàn)支付寶能量自動收集,opencv用于識別能量,無障礙服務(wù)用于模擬手勢,即點擊能量,這篇文章主要介紹了Android無障礙自動化結(jié)合opencv實現(xiàn)支付寶能量自動收集,需要的朋友可以參考下

Android無障礙服務(wù)可以操作元素,手勢模擬,實現(xiàn)基本的控制。opencv可以進(jìn)行圖像識別。兩者結(jié)合在一起即可實現(xiàn)支付寶能量自動收集。opencv用于識別能量,無障礙服務(wù)用于模擬手勢,即點擊能量。

當(dāng)然這兩者結(jié)合不單單只能實現(xiàn)這些,還能做很多自動化的程序,如芭芭農(nóng)場自動施肥、螞蟻莊園等等的自動化,甚至游戲的自動化也沒問題。

下面簡單介紹下核心的實現(xiàn)邏輯
核心步驟

  • 準(zhǔn)確識別多個能量球位置
  • 準(zhǔn)確點擊能量球位置

opencv識別能量球

OpenCV是一個可用于開發(fā)實時的圖像處理、計算機(jī)視覺以及模式識別可商用的開源庫-opencv介紹

思路

使用opencv怎么識別能量球呢?
使用opencv的模板匹配。即,將能量球單獨裁剪出來作為模板,再將其與屏幕圖像進(jìn)行匹配,篩選匹配分值最高的結(jié)果即獲取能量球在屏幕中的位置。

實現(xiàn)

1. 項目集成opencv-android版

dependencies {
 implementation 'org.opencv:opencv:4.9.0'
}

最新版本可查看官方集成教程

2. 截取能量球圖像作為模板

3. 截取屏幕圖像

4. 使用opencv模板匹配獲取所有能量球位置

opencv模板匹配api

Imgproc.matchTemplate(image, templ, result, method, mask)

參數(shù)解釋:
image屏幕圖像,即步驟3中截取的屏幕圖像
templ模板圖像,即步驟2中截圖的能量球圖像
result匹配結(jié)果容器,用于存儲匹配的結(jié)果
mask掩膜,用于指定模板中哪些位置需要匹配,哪些不需要匹配

其中參數(shù)mask掩膜是匹配準(zhǔn)確度的關(guān)鍵點

掩膜圖像是根據(jù)模板生成的一張黑白圖像,其中黑色為不需要匹配的區(qū)域

模板圖像與生成的掩膜圖像對比

模板圖像掩模圖像

其中文字也是我們不需要匹配的,因為里面的文字會變化,所以中間加了一塊黑色矩形用于指定匹配忽略區(qū)域

對于掩膜的創(chuàng)建方法這里不介紹了,所有代碼都已經(jīng)開放在我的自動化開源庫Assists里,想直接看代碼這里:https://github.com/ven-coder/Assists

參數(shù)準(zhǔn)備好就可以進(jìn)行匹配了,下面是完整代碼(kotlin代碼)

    /**
     * 模板匹配能量球
     */
    fun match() {
        try {
            val path = System.getProperty("user.dir") + "\\lib\\x64\\opencv_java490.dll"
            System.load(path)
            val temp = System.getProperty("user.dir") + "\\images\\temp.jpg"
            val image = System.getProperty("user.dir") + "\\images\\image.png"
            //模板圖像
            val img = Imgcodecs.imread(image)
            //屏幕圖像
            val templ = Imgcodecs.imread(temp)
            //掩膜圖像
            val mask = createMask(templ)
            // 創(chuàng)建結(jié)果矩陣
            val resultCols: Int = img.cols() - templ.cols() + 1
            val resultRows: Int = img.rows() - templ.rows() + 1
            val result = Mat(resultRows, resultCols, CvType.CV_32FC1)
            // 進(jìn)行模板匹配
            Imgproc.matchTemplate(img, templ, result, Imgproc.TM_CCORR_NORMED, mask)
            // 遍歷結(jié)果矩陣,找到所有匹配超過閾值的位置
            val threshold = 0.98 // 閾值,根據(jù)實際情況調(diào)整
            var count = 0
            var countValue = 0
            for (y in 0 until result.rows()) {
                for (x in 0 until result.cols()) {
                    countValue++
                    val matchValue = result[y, x]
                    if (matchValue[0] >= threshold) {
                        count++
                        // 找到一個匹配位置
                        val matchLoc = Point(x.toDouble(), y.toDouble())
                        // 繪制矩形框
                        Imgproc.rectangle(img, matchLoc, Point(matchLoc.x + templ.cols(), matchLoc.y + templ.rows()), Scalar( 85.0, 85.0,205.0,), 2, Imgproc.LINE_AA, 0)
                    }
                }
            }
            // 顯示結(jié)果
            Imgproc.resize(img, img, Size(img.cols() / 2.0, img.rows() / 2.0)) // 可選:調(diào)整顯示大小
            HighGui.imshow("Matched Result: $count", img)
            HighGui.waitKey(0)
        } catch (e: Throwable) {
            e.printStackTrace()
        }
    }
    /**
     * 創(chuàng)建掩膜
     */
    fun createMask(source: Mat): Mat {
        // 轉(zhuǎn)換為 HSV 顏色空間
        val hsvImage = Mat()
        Imgproc.cvtColor(source, hsvImage, Imgproc.COLOR_BGR2HSV)
        // 定義綠色的顏色范圍
        val lowerGreen = Scalar(35.0, 100.0, 100.0)
        val upperGreen = Scalar(85.0, 255.0, 255.0)
        // 創(chuàng)建掩膜
        val mask = Mat()
        Core.inRange(hsvImage, lowerGreen, upperGreen, mask)
        // 忽略“27g”文字
        // 你可以使用形態(tài)學(xué)操作去掉文字部分,或者手動確定文字的位置并將其設(shè)置為黑色(0)。
        // 假設(shè)文字位于圓形中心,可以手動遮蓋這個區(qū)域
        // Rect(中心位置x, 中心位置y, 寬度, 高度)
        val width = 80
        val height = 60
        val textRect = Rect(source.width() / 2 - width / 2, source.height() / 2 - height / 2, width, height) // 假設(shè)的“27g”文字位置和大小
        Imgproc.rectangle(mask, textRect, Scalar(0.0), -1)
        Imgproc.rectangle(mask, Rect((source.width() / 2 - width / 2) + 10, (source.height() / 2 - height / 2) + height, 40, 25), Scalar(255.0), -1)
        return mask
    }

匹配結(jié)果

點擊能量球

準(zhǔn)確得到能量球位置之后就好辦了,使用我的開源庫Assists開啟無障礙服務(wù)后調(diào)用gestureClick(x: Float, y: Float)點擊能量球位置即可

//it.x + temp3.width() / 2,坐標(biāo)加上模板大小的一半即點擊中間位置
Assists.gestureClick((it.x + temp3.width() / 2).toFloat(), (it.y + temp3.height() / 2).toFloat())

最終效果

以上所有代碼都在我的開源庫Assists示例里了,需要的自取即可。
覺得有幫助順便可以start一下,滿足以下一下老夫虛榮心憋

到此這篇關(guān)于Android無障礙自動化結(jié)合opencv實現(xiàn)支付寶能量自動收集的文章就介紹到這了,更多相關(guān)Android能量自動收集內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!

相關(guān)文章

最新評論