MediaPipe概述

谷歌開(kāi)源MediaPipe于2019年6月首次推出。它的目標(biāo)是通過(guò)提供一些集成的計(jì)算機(jī)視覺(jué)和機(jī)器學(xué)習(xí)功能，使我們的生活變得輕松。

MediaPipe是用于構(gòu)建多模態(tài)（例如視頻、音頻或任何時(shí)間序列數(shù)據(jù)）、跨平臺(tái)（即eAndroid、IOS、web、邊緣設(shè)備）應(yīng)用ML管道的框架。

Mediapipe還促進(jìn)了機(jī)器學(xué)習(xí)技術(shù)在各種不同硬件平臺(tái)上的演示和應(yīng)用程序中的部署。

應(yīng)用

• 人臉檢測(cè)
• 多手跟蹤
• 頭發(fā)分割
• 目標(biāo)檢測(cè)與跟蹤
• 目標(biāo)：三維目標(biāo)檢測(cè)與跟蹤
• AutoFlip：視頻裁剪管道
• 其他

為什么需要MediaPipe

有效管理資源（CPU和GPU）以實(shí)現(xiàn)低延遲性能，處理時(shí)間序列數(shù)據(jù)（如音頻和視頻幀）的同步。

MediaPipe將每個(gè)感知模型抽象為一個(gè)模塊，并將它們與維護(hù)圖連接起來(lái)。

除上述功能外，MediaPipe還支持TensorFlow和TF Lite推理引擎。任何TensorFlow和TF Lite模型均可用于MediaPipe。同時(shí)，在移動(dòng)和嵌入式平臺(tái)上，MediaPipe還支持設(shè)備本身的GPU加速。

現(xiàn)在是時(shí)候向MediaPipe的應(yīng)用邁進(jìn)了，人臉檢測(cè)。

人臉檢測(cè)

考慮一個(gè)場(chǎng)景，“零售商要求你計(jì)算訪客數(shù)量，并跟蹤訪客的移動(dòng)。”

看起來(lái)很難??！我們?cè)鯓硬拍芙鉀Q這個(gè)問(wèn)題？嗯…

哦，是的！我們將使用人臉檢測(cè)來(lái)解決這個(gè)問(wèn)題。

人臉檢測(cè)是計(jì)算機(jī)視覺(jué)中的一個(gè)問(wèn)題，即在照片中定位和定位一個(gè)或多個(gè)人臉。

問(wèn)題的一般陳述可以定義如下：給定一幅靜止或視頻圖像，檢測(cè)并定位未知數(shù)量（如果有）的人臉。

使用MediaPipe執(zhí)行人臉檢測(cè)：

要執(zhí)行人臉檢測(cè)，可以使用三種模型：

• 近景模型（最適合距離相機(jī)2米以內(nèi)的人臉）
• 全范圍模型（密集型，最適合距離相機(jī)5米以內(nèi)的人臉）
• 全范圍模型（稀疏，最適合距離相機(jī)5米以內(nèi)的人臉）

全范圍密集模型和稀疏模型在F分?jǐn)?shù)方面具有相同的質(zhì)量，但在基礎(chǔ)度量方面有所不同。

密集型模型的召回率略高于稀疏模型，而稀疏模型的精確度高于稠密模型。

現(xiàn)在是時(shí)候使用MediaPipe的人臉檢測(cè)模型了。

安裝必要的庫(kù)

要執(zhí)行人臉檢測(cè)，首先必須在機(jī)器中安裝MediaPipe。如果你是windows用戶，則可以在計(jì)算機(jī)的命令提示符下運(yùn)行以下代碼。

pip install mediapipe

有關(guān)詳細(xì)說(shuō)明，你可以訪問(wèn)以下鏈接：

https://google.github.io/mediapipe/getting_started/python.html

你還需要為網(wǎng)絡(luò)攝像頭或圖像輸入安裝OpenCV。如果你是windows用戶，可以在命令提示符下運(yùn)行以下代碼。

pip install opencv-python

有關(guān)詳細(xì)說(shuō)明，你可以訪問(wèn)以下鏈接：

https://pypi.org/project/opencv-python/

編寫(xiě)代碼以了解API的使用：

我們使用Google Colab來(lái)運(yùn)行代碼。你可以選擇使用它。

我們需要cv2，能夠讀取和顯示圖像，以及MediaPipe模塊，它公開(kāi)了我們執(zhí)行人臉檢測(cè)所需的功能

import cv2
import mediapipe as mp

然后我們將訪問(wèn)兩個(gè)子模塊face_detection和drawing_utils。人臉檢測(cè)用于加載所有功能以執(zhí)行人臉檢測(cè)，而繪圖工具用于在圖像上繪制檢測(cè)到的人臉。

mp_face_detection = mp.solutions.face_detection
mp_drawing = mp.solutions.drawing_utils

是時(shí)候深入研究代碼了。首先，我們將圖像作為輸入。這里我們使用兩種類型的圖像

（i） 包含2米以內(nèi)的人臉的圖像

（ii）包含5米以內(nèi)的人臉的圖像。

我們使用colab中的文件直接從本地目錄加載圖像。你也可以使用cv2.imread用于在本地計(jì)算機(jī)中工作時(shí)加載圖像。

（a） 第一張照片

from google.colab import files
 
uploaded_short_range = files.upload()

（b） 第二張照片

from google.colab import files
 
uploaded_full_range = files.upload()

在本地PC上工作時(shí)，你可以使用

cv2.imread() # 獲取輸入

單擊此處了解有關(guān)cv2.imread:

現(xiàn)在我們將調(diào)整圖像大小并顯示圖像。為了顯示圖像，我們必須使用colab或cv2的cv2_imshow模塊。

在本地機(jī)器中工作時(shí)顯示cv2.imshow(frame name, iamge)。我們可以使用下面的代碼在google colab中調(diào)整圖像大小并顯示圖像。

用于調(diào)整圖像大小和顯示圖像的代碼:

import cv2
from google.colab.patches import cv2_imshow
import math
import numpy as np
 
DESIRED_HEIGHT = 480
DESIRED_WIDTH = 480
def resize_and_show(image):
  h, w = image.shape[:2]
  if h < w:
    img = cv2.resize(image, (DESIRED_WIDTH, math.floor(h/(w/DESIRED_WIDTH))))
  else:
    img = cv2.resize(image, (math.floor(w/(h/DESIRED_HEIGHT)), DESIRED_HEIGHT))
  cv2_imshow(img)
 

# 預(yù)覽圖片.
 
short_range_images = {name: cv2.imread(name) 
for name in uploaded_short_range.keys()}
for name, image in short_range_images.items():
  print(name)   
  resize_and_show(image)
 
 
full_range_images = {name: cv2.imread(name) 
for name in uploaded_full_range.keys()}
for name, image in full_range_images.items():
  print(name)   
 
  resize_and_show(image)

現(xiàn)在，我們將在臉上畫(huà)關(guān)鍵點(diǎn)。

我們可以如下更改thickness和circle_radius的值。

drawing_spec = mp_drawing.DrawingSpec(thickness=1, circle_radius=1)

以下代碼了解mp.solutions.face_detection的詳細(xì)信息。

help(mp_face_detection.FaceDetection)

在此之后，我們將創(chuàng)建一個(gè)FaceDetection類的對(duì)象。該對(duì)象將允許我們處理圖像并執(zhí)行人臉關(guān)鍵點(diǎn)檢測(cè)。此類的構(gòu)造函數(shù)支持以下參數(shù)：

（i） 模型選擇：整數(shù)索引0或1。使用0選擇最適合距離攝影機(jī)2米以內(nèi)的面的短距離模型，使用1選擇最適合距離攝影機(jī)5米以內(nèi)的面的全范圍模型。對(duì)于全范圍選項(xiàng)，稀疏模型用于提高推理速度。

（ii）最小檢測(cè)置信度：人臉檢測(cè)模型中的最小置信值（[0.0,1.0]），檢測(cè)成功。默認(rèn)值為0.5。

with mp_face_detection.FaceDetection(min_detection_confidence=0.5, model_selection=0) as face_detection:

上面的代碼model_selection=0，這意味著我們選擇短距離模型進(jìn)行人臉檢測(cè)。使用下面的代碼，我們使用一個(gè)簡(jiǎn)短的圖像模型執(zhí)行最終的人臉檢測(cè)，并繪制關(guān)鍵點(diǎn)。

# 運(yùn)行MediaPipe人臉檢測(cè)與近距離模型
 
with mp_face_detection.FaceDetection(
    
    min_detection_confidence=0.5, model_selection=0) as face_detection:
        
  for name, image in short_range_images.items():
    # 將BGR圖像轉(zhuǎn)換為RGB，并使用MediaPipe人臉檢測(cè)進(jìn)行處理。
 
    results = face_detection.process(cv2.cvtColor(image, cv2.COLOR_BGR2RGB))
 
    # 繪制每個(gè)人臉的檢測(cè)。
    print(f'Face detections of {name}:')
    
    if not results.detections:
        
      continue
    annotated_image = image.copy()

    for detection in results.detections:
 
      mp_drawing.draw_detection(annotated_image, detection)
 
    resize_and_show(annotated_image)

現(xiàn)在對(duì)于model_selection=1，這意味著我們選擇人臉檢測(cè)全范圍模型。使用下面的代碼，我們使用完整的圖像模型執(zhí)行最終的人臉檢測(cè)，并繪制關(guān)鍵點(diǎn)。

with mp_face_detection.FaceDetection(
 
    min_detection_confidence=0.5, model_selection=1) as face_detection:
 
  for name, image in full_range_images.items():
    # 將BGR圖像轉(zhuǎn)換為RGB，并使用MediaPipe人臉檢測(cè)進(jìn)行處理。
    results = face_detection.process(cv2.cvtColor(image, cv2.COLOR_BGR2RGB))
    # 繪制每個(gè)人臉的檢測(cè)。
    print(f'Face detections of {name}:')
 
    if not results.detections:
 
      continue
 
    annotated_image = image.copy()
 
    for detection in results.detections:
 
      mp_drawing.draw_detection(annotated_image, detection)
 
    resize_and_show(annotated_image)

我們還可以使用全范圍人臉檢測(cè)模型的代碼對(duì)集體照片執(zhí)行此過(guò)程。

下面關(guān)于algoscale的文章將向你展示使用OpenCV和MediaPipe姿勢(shì)估計(jì)。

使用OpenCV和MediaPipe進(jìn)行訓(xùn)練姿勢(shì)估計(jì)：

https://algoscale.com/tech-corner/workout-pose-estimation-using-opencv-and-mediapipe/

到此這篇關(guān)于Python+MediaPipe實(shí)現(xiàn)檢測(cè)人臉功能詳解的文章就介紹到這了,更多相關(guān)Python MediaPipe檢測(cè)人臉內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評(píng)論