快捷導(dǎo)航

OpenCV?光流Optical?Flow示例

更新時(shí)間：2023年04月28日 10:31:58 作者：uncle_ll

這篇文章主要為大家介紹了OpenCV?光流Optical?Flow示例詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪

目標(biāo)

在本章中，將學(xué)習(xí)：

使用 Lucas-Kanade 方法理解光流的概念及其估計(jì)
使用cv2.calcOpticalFlowPyrLK()等函數(shù)來跟蹤視頻中的特征點(diǎn)
使用cv2.calcOpticalFlowFarneback()方法創(chuàng)建一個(gè)密集的光流場(chǎng)

光流

光流是由物體或相機(jī)的運(yùn)動(dòng)引起的圖像物體在兩個(gè)連續(xù)幀之間的明顯運(yùn)動(dòng)的模式。它是二維向量場(chǎng)，其中每個(gè)向量都是一個(gè)位移向量，顯示點(diǎn)從第一幀到第二幀的移動(dòng)。如下圖所示。

它顯示了一個(gè)球在連續(xù) 5 幀中移動(dòng)。箭頭表示其位移矢量。光流在以下領(lǐng)域有許多應(yīng)用：

運(yùn)動(dòng)結(jié)構(gòu)
視頻壓縮
視頻穩(wěn)定
...

光流基于以下幾個(gè)假設(shè)：

對(duì)象的像素強(qiáng)度在連續(xù)幀之間不會(huì)改變
相鄰像素具有相似的運(yùn)動(dòng)

（用 Harris 角點(diǎn)檢測(cè)器檢查逆矩陣的相似性。它表示角點(diǎn)是更好的跟蹤點(diǎn)。）

所以從用戶的角度來看，這個(gè)想法很簡(jiǎn)單，給出了一些要追蹤的要點(diǎn)，收到了這些點(diǎn)的光學(xué)流量矢量。但是，還有一些問題。到目前為止，正在處理的是小的動(dòng)作，因此當(dāng)有很大的動(dòng)作時(shí)它失敗了。要處理這一點(diǎn)，需要使用金字塔。當(dāng)在金字塔上采樣時(shí)，會(huì)消除小型動(dòng)作，大的運(yùn)動(dòng)會(huì)變小。因此，通過在那里應(yīng)用Lucas-Kanade，將光流與縮放合在一起了。

OpenCV 中的 Lucas-Kanade 光流

OpenCV的cv2.calcOpticalFlowPyrLK() 提供了所有這些功能。下面創(chuàng)建一個(gè)簡(jiǎn)單的應(yīng)用程序來跟蹤視頻中的某些點(diǎn)。為了確定點(diǎn)，使用cv2.goodFeaturesToTrack()。取第一幀，檢測(cè)其中的一些 Shi-Tomasi 角點(diǎn)，然后使用 Lucas-Kanade 光流迭代跟蹤這些點(diǎn)。對(duì)于函數(shù)cv2.calcOpticalFlowPyrLK()，傳遞前一幀、前面的點(diǎn)和下一幀。它返回之后的點(diǎn)以及一些狀態(tài)編號(hào)，如果找到之后的點(diǎn)，則值為 1，否則為零。在下一步中迭代地將這些點(diǎn)作為前面的點(diǎn)傳遞，迭代進(jìn)行。

import cv2
import numpy as np
video_file = 'slow_traffic_small.mp4'
cap = cv2.VideoCapture(video_file)
# params for ShiTomasi corner detection
feature_params = dict( maxCorners = 100,
                       qualityLevel = 0.3,
                       minDistance = 7,
                       blockSize = 7 )
# Parameters for lucas kanade optical flow
lk_params = dict(
    winSize = (15, 15),
    maxLevel = 2,
    criteria = (cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT, 10, 0.03))
# create some random colors
color = np.random.randint(0, 255, (100, 3))
# Take first frame and find corners in it
ret, old_frame = cap.read()
old_gray = cv2.cvtColor(old_frame, cv2.COLOR_BGR2GRAY)
p0 = cv2.goodFeaturesToTrack(old_gray, mask=None, **feature_params)
# create a mask image for drawing purpose
mask = np.zeros_like(old_frame)
while True:
    ret, frame = cap.read()
    if ret:
        frame_gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
        # calculate optical flow
        p1, st, err = cv2.calcOpticalFlowPyrLK(old_gray, frame_gray, p0, None, **lk_params)
        # Select good points
        if p1 is not None:
            good_new = p1[st==1]
            good_old = p0[st==1]
        # draw the tracks
        for i,(new, old) in enumerate(zip(good_new, good_old)):
            a, b = new.ravel()
            c, d = old.ravel()
            mask = cv2.line(mask, (int(a), int(b)), (int(c), int(d)), color[i].tolist(), 2)
            frame = cv2.circle(frame, (int(a), int(b)), 5, color[i].tolist(), -1)
        img = cv2.add(frame,mask)
        cv2.imshow('frame',img)
        k = cv2.waitKey(30) &amp; 0xff
        if k == 27:
            cv2.destroyAllWindows()
            break
        # Now update the previous frame and previous points
        old_gray = frame_gray.copy()
        p0 = good_new.reshape(-1,1,2)
    else:
        cv2.destroyAllWindows()
        break

上述代碼沒有檢查下一個(gè)關(guān)鍵點(diǎn)的正確程度。因此，即使圖像中任何一個(gè)特征點(diǎn)消失，光流也有可能找到下一個(gè)看起來可能靠近它的點(diǎn)。實(shí)際上，對(duì)于穩(wěn)健的跟蹤，角點(diǎn)應(yīng)該在特定的時(shí)間間隔內(nèi)檢測(cè)點(diǎn)。OpenCV sample提出了這樣一個(gè)例子，它每 5 幀找到一次特征點(diǎn)，還運(yùn)行對(duì)光流點(diǎn)的向后檢查，只選擇好的點(diǎn) ）。代碼見(github.com/opencv/open…)

結(jié)果如下：

OpenCV 中的密集光流

Lucas-Kanade 方法計(jì)算稀疏特征集的光流（在示例中，使用 Shi-Tomasi 算法檢測(cè)到的角點(diǎn)）。OpenCV 提供了另一種算法來尋找密集光流。它計(jì)算幀中所有點(diǎn)的光流。它基于 Gunner Farneback 的算法，該算法在 Gunner Farneback 于 2003 年在“Two-Frame Motion Estimation Based on Polynomial Expansion”中進(jìn)行了解釋。

下面的示例顯示了如何使用上述算法找到密集光流。首先得到一個(gè)帶有光流向量(u,v)(u,v)(u,v)的 2通道向量，找到它們的大小和方向。對(duì)結(jié)果進(jìn)行顏色編碼以實(shí)現(xiàn)更好的可視化。方向?qū)?yīng)于圖像的色調(diào)值（Hue），幅度對(duì)應(yīng)于值屏幕。代碼如下：

import cv2
import numpy as np
cap = cv2.VideoCapture("vtest.avi")
ret, frame1 = cap.read()
frame1_gray = cv2.cvtColor(frame1, cv2.COLOR_BGR2GRAY)
hsv = np.zeros_like(frame1)
hsv[...,1] = 255
while(1):
    ret, frame2 = cap.read()
    if ret:
        frame2_gray = cv2.cvtColor(frame2, cv2.COLOR_BGR2GRAY)
        flow = cv2.calcOpticalFlowFarneback(frame1_gray, frame2_gray, None, 0.5, 3, 15, 3, 5, 1.2, 0)
        mag, ang = cv2.cartToPolar(flow[...,0], flow[...,1])
        hsv[...,0] = ang*180/np.pi/2
        hsv[...,2] = cv2.normalize(mag, None, 0, 255, cv2.NORM_MINMAX)
        bgr = cv2.cvtColor(hsv, cv2.COLOR_HSV2BGR)
        cv2.imshow('frame2', bgr)
        k = cv2.waitKey(30) & 0xff
        if k == 27:
        	cv2.destroyAllWindows()
            break
        elif k == ord('s'):
            cv2.imwrite('opticalfb.png',frame2)
            cv2.imwrite('opticalhsv.png',bgr)
        frame1_gray = frame2_gray
    else:
        cv2.destroyAllWindows()
        break