利用OpenCV+Tensorflow實現(xiàn)的手勢識別

更新時間：2022年11月11日 10:07:12 作者：醉翁之意不在酒~

這幾天沒事,想著再學點一些視覺識別方向的東西,因為之前做了驗證碼識別,有了機器學習的信心,因此這次打算做個手勢識別,下面這篇文章主要給大家介紹了關于利用OpenCV+Tensorflow實現(xiàn)的手勢識別的相關資料,需要的朋友可以參考下

一、效果展示

此次只選錄了以下五種手勢，當然你可以自己選擇增加手勢。

二、項目實現(xiàn)原理

首先通過opencv的手部檢測器檢測出我們的手，然后錄入自己想要檢測的手部信息，使用Tensorflow訓練得到預訓練權重文件（此處已經(jīng)訓練完成，直接調用即可?。{用預訓練權重文件對opencv檢測的手部信息進行預測，實時返回到攝像頭畫面，到此整體項目已經(jīng)實現(xiàn)，此外還可以添加語音模塊如speech，對檢測到的手勢信息進行語音播報。

三、項目環(huán)境安裝

首先python的版本此處選擇為3.7.7（其余版本相差不大的都可）

然后，我們所需要下載的環(huán)境如下所示，你可以將其存為txt格式直接在終端輸入(具體格式如下圖)：

pip install -r environment.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

absl-py==1.2.0
attrs==22.1.0
cvzone==1.5.6
cycler==0.11.0
fonttools==4.37.4
kiwisolver==1.4.4
matplotlib==3.5.3
mediapipe==0.8.9.1
numpy==1.21.6
opencv-contrib-python==4.6.0.66
opencv-python==4.6.0.66
opencv-python-headless==4.6.0.66
packaging==21.3
Pillow==9.2.0
protobuf==3.19.1
pyparsing==3.0.9
python-dateutil==2.8.2
six==1.16.0
speech==0.5.2
typing_extensions==4.4.0

保存格式如下：

四、代碼實現(xiàn)

模型預訓練權重如下

點擊這里下載

import cv2
from cvzone.HandTrackingModule import HandDetector
from cvzone.ClassificationModule import Classifier
from PIL import Image, ImageDraw, ImageFont
import numpy as np
import math
import time
# import speech
 
cap = cv2.VideoCapture(0)
cap.set(3, 1280)
cap.set(4, 720)
 
detector = HandDetector(maxHands=1)
classifile = Classifier("./model/keras_model.h5", "./model/labels.txt")
 
offset = 20
imgSize = 300
counter = 0
labels = ['666', '鄙視', 'Good', '比心', '擊掌', '握拳']
 
# folder = r"F:\opencv_game\HandSignDetection\Data\Love"
 
while True:
    success, img = cap.read()
    img = cv2.flip(img, 1)
    imgOutput = img.copy()
    hands, img = detector.findHands(img)
    if hands:
        hand = hands[0]
        x, y, w, h = hand['bbox']
        imgWhite = np.ones((imgSize, imgSize, 3), np.uint8)*255
        imgCrop = img[y - offset:y + h + offset, x - offset:x + w + offset]
 
        imgCropShape = imgCrop.shape
 
        aspectRatio = h/w
 
        if aspectRatio > 1:
            k = imgSize/h
            wCal = math.ceil(k*w)
            imgResize = cv2.resize(imgCrop, (wCal, imgSize))
            imgResizeShape = imgResize.shape
            wGap = math.ceil((imgSize - wCal)/2)
            imgWhite[:, wGap:wCal+wGap] = imgResize
            prediction, index = classifile.getPrediction(imgWhite)
            print(prediction, index)
 
 
        else:
            k = imgSize / w
            hCal = math.ceil(k * h)
            imgResize = cv2.resize(imgCrop, (imgSize, hCal))
            imgResizeShape = imgResize.shape
            hGap = math.ceil((imgSize - hCal) / 2)
            imgWhite[hGap:hCal + hGap,:] = imgResize
            prediction, index = classifile.getPrediction(imgWhite)
 
 
        # 解決cv2.putText繪制中文亂碼
        def cv2AddChineseText(img, text, position, textColor=(255, 255, 255), textSize=50):
            if (isinstance(img, np.ndarray)):  # 判斷是否OpenCV圖片類型
                img = Image.fromarray(cv2.cvtColor(img, cv2.COLOR_BGR2RGB))
            # 創(chuàng)建一個可以在給定圖像上繪圖的對象
            draw = ImageDraw.Draw(img)
            # 字體的格式
            fontStyle = ImageFont.truetype(
                "simsun.ttc", textSize, encoding="utf-8")
            # 繪制文本
            draw.text(position, text, textColor, font=fontStyle)
            # 轉換回OpenCV格式
            return cv2.cvtColor(np.asarray(img), cv2.COLOR_RGB2BGR)
 
 
        cv2.rectangle(imgOutput, (x - offset, y - offset - 50),
                      (x-offset+130, y-offset), (255, 0, 255), cv2.FILLED)
        # cv2.putText(imgOutput, labels[index], (x,y-24),
        #             cv2.FONT_HERSHEY_COMPLEX, 1.5, (255, 255, 255), 2)
        # 中文
        img = cv2AddChineseText(imgOutput, labels[index], (x - offset, y - offset - 50))
        cv2.rectangle(img, (x-offset, y-offset),
                      (x+w+offset, y+h+offset), (255,0,255),4)
 
        # speech.say(labels[index])
 
        # cv2.imshow('ImageCrop', imgCrop)
        # cv2.imshow('ImageWhite', imgWhite)
 
    cv2.imshow('Image', img)
    key = cv2.waitKey(1)
    if key == ord('s'):
        pass
    elif key == 27:
        break