快捷導(dǎo)航

使用OpenCV對運動員的姿勢進行檢測功能實現(xiàn)

更新時間：2022年02月08日 11:13:49 作者：小白學(xué)視覺

2022年奧林匹克運動會如期舉行，以不正確的方式進行運動風(fēng)險在增加，人體姿勢估計是計算機視覺領(lǐng)域的重要問題，接下來通過本文給大家介紹下使用OpenCV對運動員的姿勢進行檢測功能，感興趣的朋友一起看看吧

人體姿勢估計是計算機視覺領(lǐng)域的重要問題。它的算法有助于定位手腕，腳踝，膝蓋等部位。這樣做是為了使用深度學(xué)習(xí)和卷積神經(jīng)網(wǎng)絡(luò)的概念提供個性化的運動訓(xùn)練體驗。特別是對于體育活動而言，訓(xùn)練質(zhì)量在很大程度上取決于圖像或視頻序列中人體姿勢的正確性。

從圖像或視頻序列中檢測運動員的姿勢

數(shù)據(jù)集

正確選擇數(shù)據(jù)集以對結(jié)果產(chǎn)生適當(dāng)影響也是非常必要的。在此姿勢檢測中，模型在兩個不同的數(shù)據(jù)集即COCO關(guān)鍵點數(shù)據(jù)集和MPII人類姿勢數(shù)據(jù)集上進行了預(yù)訓(xùn)練。

1. COCO：COCO關(guān)鍵點數(shù)據(jù)集是一個多人2D姿勢估計數(shù)據(jù)集，其中包含從Flickr收集的圖像。迄今為止，COCO是最大的2D姿勢估計數(shù)據(jù)集，并被視為測試2D姿勢估計算法的基準(zhǔn)。COCO模型有18種分類。COCO輸出格式：鼻子— 0，脖子—1，右肩—2，右肘—3，右手腕—4，左肩—5，左手肘—6，左手腕—7，右臀部—8，右膝蓋—9，右腳踝—10，左臀部—11，左膝—12，左腳踝—13，右眼—14，左眼—15，右耳—16，左耳—17，背景—18

2. MPII：MPII人體姿勢數(shù)據(jù)集是一個多人2D姿勢估計數(shù)據(jù)集，包含從Youtube視頻中收集的近500種不同的人類活動。MPII是第一個包含各種姿勢范圍的數(shù)據(jù)集，也是第一個在2014年發(fā)起2D姿勢估計挑戰(zhàn)的數(shù)據(jù)集。MPII模型輸出15分。MPII輸出格式：頭—0，脖子—1，右肩—2，右肘—3，右腕—4，左肩—5，左肘—6，左腕—7，右臀部—8，右膝蓋—9，右腳踝—10，左臀部—11，左膝蓋—12，左腳踝—13，胸部—14，背景—15

這些點是在對數(shù)據(jù)集進行處理并通過卷積神經(jīng)網(wǎng)絡(luò)（CNN）進行全面訓(xùn)練時生成的。

具體步驟

步驟1：需求收集（模型權(quán)重）和負載網(wǎng)絡(luò)

訓(xùn)練有素的模型需要加載到OpenCV中。這些模型在Caffe深度學(xué)習(xí)框架上進行了訓(xùn)練。Caffe模型包含兩個文件，即.prototxt文件和.caffemodel文件。

.prototxt文件指定了神經(jīng)網(wǎng)絡(luò)的體系結(jié)構(gòu)。
.caffemodel文件存儲訓(xùn)練后的模型的權(quán)重。

然后我們將這兩個文件加載到網(wǎng)絡(luò)中。

# Specify the paths for the 2 files
protoFile = "pose/mpi/pose_deploy_linevec_faster_4_stages.prototxt"
weightsFile = "pose/mpi/pose_iter_160000.caffemodel"
# Read the network into Memory
net = cv2.dnn.readNetFromCaffe(protoFile, weightsFile)

步驟2：讀取圖像并準(zhǔn)備輸入網(wǎng)絡(luò)

首先，我們需要使用blobFromImage函數(shù)將圖像從OpenCV格式轉(zhuǎn)換為Caffe blob格式，以便可以將其作為輸入輸入到網(wǎng)絡(luò)。這些參數(shù)將在blobFromImage函數(shù)中提供。由于OpenCV和Caffe都使用BGR格式，因此無需交換R和B通道。

# Read image
frame = cv2.imread("image.jpg")
# Specify the input image dimensions
inWidth = 368
inHeight = 368
# Prepare the frame to be fed to the network
inpBlob = cv2.dnn.blobFromImage(frame, 1.0 / 255, (inWidth, inHeight), (0, 0, 0), swapRB=False, crop=False)
# Set the prepared object as the input blob of the network
net.setInput(inpBlob)

步驟3：做出預(yù)測并解析關(guān)鍵點

一旦將圖像傳遞到模型，就可以使用OpenCV中DNN類的正向方法進行預(yù)測，該方法通過網(wǎng)絡(luò)進行正向傳遞，這只是說它正在進行預(yù)測的另一種方式。

output = net.forward()

輸出為4D矩陣：

第一個維度是圖片ID（如果您將多個圖片傳遞到網(wǎng)絡(luò)）。
第二個維度指示關(guān)鍵點的索引。該模型會生成置信度圖（在圖像上的概率分布，表示每個像素處關(guān)節(jié)位置的置信度）和所有已連接的零件親和度圖。對于COCO模型，它由57個部分組成-18個關(guān)鍵點置信度圖+ 1個背景+ 19 * 2個部分親和度圖。同樣，對于MPI，它會產(chǎn)生44點。我們將僅使用與關(guān)鍵點相對應(yīng)的前幾個點。
第三維是輸出圖的高度。
第四個維度是輸出圖的寬度。

然后，我們檢查圖像中是否存在每個關(guān)鍵點。我們通過找到關(guān)鍵點的置信度圖的最大值來獲得關(guān)鍵點的位置。我們還使用閾值來減少錯誤檢測。

置信度圖

一旦檢測到關(guān)鍵點，我們便將其繪制在圖像上。

H = out.shape[2]
W = out.shape[3]
# Empty list to store the detected keypoints
points = []
for i in range(len()):
# confidence map of corresponding body's part.
    probMap = output[0, i, :, :]
# Find global maxima of the probMap.
    minVal, prob, minLoc, point = cv2.minMaxLoc(probMap)
# Scale the point to fit on the original image
x = (frameWidth * point[0]) / W
y = (frameHeight * point[1]) / H
if prob &amp;amp;gt; threshold :
        cv2.circle(frame, (int(x), int(y)), 15, (0, 255, 255), thickness=-1, lineType=cv.FILLED)
        cv2.putText(frame, "{}".format(i), (int(x), int(y)), cv2.FONT_HERSHEY_SIMPLEX, 1.4, (0, 0, 255), 3, lineType=cv2.LINE_AA)
# Add the point to the list if the probability is greater than the threshold
        points.append((int(x), int(y)))
else :
        points.append(None)
cv2.imshow("Output-Keypoints",frame)
cv2.waitKey(0)
cv2.destroyAllWindows()

步驟4：繪制骨架

由于我們已經(jīng)繪制了關(guān)鍵點，因此我們現(xiàn)在只需將兩對連接即可繪制骨架。

for pair in POSE_PAIRS:
partA = pair[0]
partB = pair[1]
if points[partA] and points[partB]:
cv2.line(frameCopy, points[partA], points[partB], (0, 255, 0), 3)

結(jié)果