你可能知道，計算機(jī)只能理解數(shù)字。它不了解圖像是什么，但了解與圖像相關(guān)聯(lián)的像素值。在人眼看來完全相同的兩個圖像在計算機(jī)看來可能并不相同，因為即使像素的微小變化也會導(dǎo)致圖片之間的差異。因為對象跟蹤被認(rèn)為是計算機(jī)視覺中最復(fù)雜的任務(wù)之一。雖然復(fù)雜，但也不是無法實現(xiàn)的。

可以使用機(jī)器學(xué)習(xí)以及基于深度學(xué)習(xí)的方法來執(zhí)行對象跟蹤。

一方面，深度學(xué)習(xí)方法在復(fù)雜任務(wù)上提供了更好的結(jié)果，并且非常通用，需要大量的訓(xùn)練數(shù)據(jù)。而基于 ML 的方法非常簡單，但不是通用的。

在本文中，我們將使用基于 ML 的方法以及我們將在本文后面討論的各種計算機(jī)視覺技術(shù)。

該技術(shù)廣泛應(yīng)用于監(jiān)控、安全、交通監(jiān)控、機(jī)器人視覺、視頻通信等領(lǐng)域。此外，對象跟蹤有幾個用例，例如人群計數(shù)、自動駕駛汽車、人臉檢測等。你能想出更多可以在日常生活中使用對象跟蹤的示例嗎？

由于現(xiàn)實生活中有如此多的應(yīng)用，因此該領(lǐng)域正在進(jìn)行不斷的研究，以實現(xiàn)更高的準(zhǔn)確性并使模型更加穩(wěn)健。

對于本文，我們將使用此視頻(https://drive.google.com/file/d/1N6NcFpveLQLc_DnFjfuMMvfuCMTAJRFm/view?usp=sharing)。

正如你將看到的，有一個紅色的球在迷宮中移動，我們的任務(wù)是檢測球的位置并找到它的質(zhì)心。你還可以在背景中看到巨大的噪音（人群），使任務(wù)更具挑戰(zhàn)性。

1.首先，我們導(dǎo)入將要使用的所需庫。

import numpy as np
import cv2

2.我們將定義一個函數(shù)來調(diào)整圖像的大小，以便它們在足夠大的情況下適合我們的屏幕。這一步是完全可選的，可以隨意跳過。

def resize(img):
        return cv2.resize(img,(512,512)) # arg1- input image, arg- output_width, output_height

3.你可能知道，視頻是由幀組成的。幀只不過是構(gòu)成整個動態(tài)畫面的眾多靜止圖像之一。下一步將使用 OpenCV 中的 VideoCapture() 函數(shù)讀取這些幀，并使用 while 循環(huán)，我們可以看到幀在移動。

你可以使用將屏幕暫停 x 毫秒的 cv2.waitKey(x) 來調(diào)整視頻的速度。

cap=cv2.VideoCapture(vid_file_path)
ret,frame=cap.read()
 
while ret==True:
    ret,frame=cap.read()
    cv2.imshow("frame",resize(frame))
    key=cv2.waitKey(1)
    if key==ord('q'):
        break
cv2.waitKey(0)
cv2.destroyAllWindows()

4.現(xiàn)在是時候執(zhí)行一些閾值和預(yù)處理了。OpenCV 讀取 BGR 格式的圖像，因此我們將把色彩空間從 BGR 轉(zhuǎn)換為 HSV。

為什么是 HSV 而不是 BGR 或任何其他格式？

我們使用 HSV 顏色格式，因為它對外部照明的微小變化更敏感。因此，它將提供更準(zhǔn)確的蒙版，從而獲得更好的結(jié)果。

轉(zhuǎn)換色彩空間后，我們要做的是過濾掉紅色通道并創(chuàng)建一個蒙版框。

hsv 格式的紅色通道出現(xiàn)在 [0,230,170] 到 [255,255,220] 范圍內(nèi)。

cap=cv2.VideoCapture(vid_file_path)
 
 
ret,frame=cap.read()
l_b=np.array([0,230,170])# lower hsv bound for red
u_b=np.array([255,255,220])# upper hsv bound to red
 
while ret==True:
    ret,frame=cap.read()
 
    hsv=cv2.cvtColor(frame,cv2.COLOR_BGR2HSV)
    mask=cv2.inRange(hsv,l_b,u_b)
 
    cv2.imshow("frame",resize(frame))
 
    cv2.imshow("mask",mask)
 
 
    key=cv2.waitKey(1)
    if key==ord('q'):
        break
cv2.waitKey(0)
cv2.destroyAllWindows()

（此圖已調(diào)整大?。?/p>

5.到目前為止，我們已經(jīng)創(chuàng)建了幀的蒙版圖像，并且我們已經(jīng)過濾掉了大部分噪聲。接下來是獲得球的邊界。為此，我們將使用輪廓檢測的概念。

輪廓只不過是圍繞我們球的邊界。值得慶幸的是，我們不必自己找到這些邊界，因為 OpenCV 允許我們可以將其用于我們的目的的函數(shù) findContours()。它需要一個蒙版圖像并返回一個輪廓數(shù)組。

有關(guān)輪廓的更多信息，請訪問：https://docs.opencv.org/4.5.2/d4/d73/tutorial_py_contours_begin.html

理想情況下，在我們的例子中，輪廓的值應(yīng)該是 1，因為我們只有一個球，但由于有些人戴著紅帽子，我們會得到不止一個。你能想出一些辦法來進(jìn)一步降低這種噪音嗎？

為了解決這個問題，我們將使用 OpenCV 中的另一個函數(shù) cv2.contourArea()。我們知道在蒙版圖像中，球的面積最大，它的輪廓也是如此。因此，我們將得到面積最大的輪廓。

我們有球的輪廓，我們可以使用 cv2.drawContours() 函數(shù)直接繪制這些輪廓。但是對于檢測任務(wù)，我們一般做的就是用一個緊密綁定的矩形來表示對象已經(jīng)被檢測到了。

為此，我們將使用 cv2.boundingRect() 函數(shù)。此函數(shù)將返回矩形的坐標(biāo)，然后 cv2.rectangle() 函數(shù)將為我們繪制矩形。

cap=cv2.VideoCapture(vid_file_path)
 
 
ret,frame=cap.read()
l_b=np.array([0,230,170])# lower hsv bound for red
u_b=np.array([255,255,220])# upper hsv bound to red
 
while ret==True:
    ret,frame=cap.read()
 
    hsv=cv2.cvtColor(frame,cv2.COLOR_BGR2HSV)
    mask=cv2.inRange(hsv,l_b,u_b)
 
    contours,_= cv2.findContours(mask,cv2.RETR_TREE,cv2.CHAIN_APPROX_SIMPLE)
 
    max_contour = contours[0]
         for contour in contours:
                if cv2.contourArea(contour)>cv2.contourArea(max_contour):
 
                      max_contour=contour
 
         contour=max_contour
         approx=cv2.approxPolyDP(contour, 0.01*cv2.arcLength(contour,True),True)
         x,y,w,h=cv2.boundingRect(approx)
         cv2.rectangle(frame,(x,y),(x+w,y+h),(0,255,0),4)
 
    cv2.imshow("frame",resize(frame))
 
    cv2.imshow("mask",mask)

（此圖已調(diào)整大?。?/p>

6.此外，我們可以做的是同時檢測球的質(zhì)心。為此，我們將使用 cv2.moments。cv2.moments 計算輪廓內(nèi)像素強(qiáng)度的加權(quán)平均總和，因此允許從斑點中獲取一些更有用的信息，如其半徑、質(zhì)心等。

確保在使用該函數(shù)之前將圖像轉(zhuǎn)換為二進(jìn)制格式。你可以在這里了解更多關(guān)于時刻的信息：https://docs.opencv.org/3.4/d0/d49/tutorial_moments.html。

cap=cv2.VideoCapture(vid_file_path)
 
 
ret,frame=cap.read()
l_b=np.array([0,230,170])# lower hsv bound for red
u_b=np.array([255,255,220])# upper hsv bound to red
 
while ret==True:
    ret,frame=cap.read()
 
    hsv=cv2.cvtColor(frame,cv2.COLOR_BGR2HSV)
    mask=cv2.inRange(hsv,l_b,u_b)
 
    contours,_= cv2.findContours(mask,cv2.RETR_TREE,cv2.CHAIN_APPROX_SIMPLE)
 
    max_contour = contours[0]
         for contour in contours:
 
 
                if cv2.contourArea(contour)>cv2.contourArea(max_contour):
 
                  max_contour = contour
 
         approx=cv2.approxPolyDP(contour, 0.01*cv2.arcLength(contour,True),True)
         x,y,w,h=cv2.boundingRect(approx)
         cv2.rectangle(frame,(x,y),(x+w,y+h),(0,255,0),4)
 
         M=cv2.moments(contour)