今天，我們使用面部標(biāo)記和 OpenCV 檢測視頻流中的眨眼次數(shù)。

為了構(gòu)建我們的眨眼檢測器，我們將計算一個稱為眼睛縱橫比 (EAR) 的指標(biāo)，該指標(biāo)由 Soukupová 和 ?ech 在他們 2016 年的論文《使用面部標(biāo)記的實時眨眼檢測》中介紹。

與計算眨眼的傳統(tǒng)圖像處理方法不同，傳統(tǒng)的圖像處理方法通常涉及以下某些組合：

• 眼睛定位。
• 閾值以找到眼白。
• 確定眼睛的“白色”區(qū)域是否在一段時間內(nèi)消失（表示眨眼）。
• 眼睛縱橫比是一個更優(yōu)雅的解決方案，它涉及基于眼睛面部標(biāo)志之間距離比的非常簡單的計算。

這種眨眼檢測方法要求快速、高效且易于實現(xiàn)。

今天我們通過四部分來實現(xiàn)眨眼檢測：

第一部分，我們將討論眼睛縱橫比以及如何使用它來確定一個人在給定的視頻幀中是否在眨眼。

然后，我們將編寫 Python、OpenCV 和 dlib 代碼來 (1) 執(zhí)行面部標(biāo)志檢測和 (2) 檢測視頻流中的眨眼。

基于此實現(xiàn)，我們將應(yīng)用我們的方法來檢測示例網(wǎng)絡(luò)攝像頭流和視頻文件中的眨眼。

最后，我將通過討論改進(jìn)眨眼檢測器的方法來結(jié)束今天的博客文章。

了解“眼睛縱橫比”（EAR）

在眨眼檢測方面，我們只對兩組面部結(jié)構(gòu)感興趣——眼睛。每只眼睛由 6 個 (x, y) 坐標(biāo)表示，從眼睛的左角開始（就像您在看人一樣），然后圍繞該區(qū)域的其余部分順時針旋轉(zhuǎn)：

基于這張圖片，我們應(yīng)該了解關(guān)鍵點：

這些坐標(biāo)的寬度和高度之間存在關(guān)系。根據(jù) Soukupová 和 ?ech 在 2016 年發(fā)表的論文《使用面部標(biāo)志進(jìn)行實時眨眼檢測》中的工作，我們可以推導(dǎo)出反映這種關(guān)系的方程，稱為眼睛縱橫比 (EAR)：

其中 p1, …, p6 是 2D 面部標(biāo)志位置。

該方程的分子計算垂直眼睛界標(biāo)之間的距離，而分母計算水平眼睛界標(biāo)之間的距離，由于只有一組水平點但有兩組垂直點，因此對分母進(jìn)行適當(dāng)加權(quán)。

為什么這個方程如此有趣？

好吧，正如我們將發(fā)現(xiàn)的那樣，眼睛睜開時眼睛的縱橫比大致恒定，但在眨眼時會迅速降至零。

使用這個簡單的方程，我們可以避免使用圖像處理技術(shù)，而只需依靠眼睛界標(biāo)距離的比率來確定一個人是否在眨眼。

為了更清楚地說明這一點，請考慮 Soukupová 和 ?ech 的下圖：

在左上角，我們有一個完全睜開的眼睛——這里的眼睛縱橫比會很大（r）并且隨著時間的推移相對恒定。

然而，一旦人眨眼（右上），眼睛的縱橫比就會急劇下降，接近于零。

下圖繪制了視頻剪輯的眼睛縱橫比隨時間變化的圖表。 正如我們所看到的，眼睛縱橫比是恒定的，然后迅速下降到接近零，然后再次增加，表明發(fā)生了一次眨眼。

在下一節(jié)中，我們將學(xué)習(xí)如何使用面部標(biāo)志、OpenCV、Python 和 dlib 實現(xiàn)眨眼檢測的眼睛縱橫比。

使用面部標(biāo)志和 OpenCV 檢測眨眼

首先，打開一個新文件并將其命名為 detect_blinks.py 。 從那里，插入以下代碼：

# import the necessary packages
from scipy.spatial import distance as dist
from imutils.video import FileVideoStream
from imutils.video import VideoStream
from imutils import face_utils
import numpy as np
import argparse
import imutils
import time
import dlib
import cv2

導(dǎo)入必要的庫。

如果您的系統(tǒng)上沒有安裝 imutils（或者如果您使用的是舊版本），請確保使用以下命令安裝/升級：

pip install --upgrade imutils 

如果沒有安裝dlib，請參考文章

?接下來，我們將定義我們的 eye_aspect_ratio 函數(shù)：

def eye_aspect_ratio(eye):
	# compute the euclidean distances between the two sets of
	# vertical eye landmarks (x, y)-coordinates
	A = dist.euclidean(eye[1], eye[5])
	B = dist.euclidean(eye[2], eye[4])
	# compute the euclidean distance between the horizontal
	# eye landmark (x, y)-coordinates
	C = dist.euclidean(eye[0], eye[3])
	# compute the eye aspect ratio
	ear = (A + B) / (2.0 * C)
	# return the eye aspect ratio
	return ear

此函數(shù)接受單個必需參數(shù)，即給定眼睛的面部標(biāo)志的 (x, y) 坐標(biāo)。

計算兩組垂直眼睛界標(biāo)之間的距離，然后計算水平眼睛界標(biāo)之間的距離。

最后，結(jié)合了分子和分母以得出最終的眼睛縱橫比。

然后將眼睛縱橫比返回給調(diào)用函數(shù)。

讓我們繼續(xù)解析我們的命令行參數(shù)：

# construct the argument parse and parse the arguments
ap = argparse.ArgumentParser()
ap.add_argument("-p", "--shape-predictor", required=True,
	help="path to facial landmark predictor")
ap.add_argument("-v", "--video", type=str, default="",
	help="path to input video file")
args = vars(ap.parse_args())

我們的detect_blinks.py 腳本需要一個命令行參數(shù)，然后是第二個可選參數(shù)：

1. –shape-predictor ：這是 dlib 的預(yù)訓(xùn)練面部標(biāo)志檢測器的路徑。 您可以使用本博文底部的“下載”部分將檢測器以及源代碼 + 示例視頻下載到本教程中。
2. –video ：此可選開關(guān)控制駐留在磁盤上的輸入視頻文件的路徑。 如果您想使用實時視頻流，只需在執(zhí)行腳本時省略此開關(guān)即可。

我們現(xiàn)在需要設(shè)置兩個重要的常量，您可能需要為自己的實現(xiàn)進(jìn)行調(diào)整，同時初始化另外兩個重要的變量，所以一定要注意這個解釋：

# 定義兩個常量，一個為眼睛縱橫比來表示
# 閃爍然后第二個常量為連續(xù)的次數(shù)
# 幀眼睛必須低于閾值
EYE_AR_THRESH = 0.3
EYE_AR_CONSEC_FRAMES = 3
# 初始化幀計數(shù)器和閃爍總數(shù)
COUNTER = 0
TOTAL = 0

在確定視頻流中是否發(fā)生眨眼時，我們需要計算眼睛縱橫比。

如果眼睛縱橫比低于某個閾值，然后又高于閾值，那么我們將注冊一個“眨眼”——EYE_AR_THRESH 就是這個閾值。我們默認(rèn)它的值為 0.3，因為這對我的應(yīng)用程序最有效，但您可能需要為自己的應(yīng)用程序調(diào)整它。

然后我們有一個重要的常量，EYE_AR_CONSEC_FRAME——這個值被設(shè)置為 3 以指示眼睛縱橫比小于 EYE_AR_THRESH 的三個連續(xù)幀必須發(fā)生，以便注冊眨眼。

同樣，根據(jù)管道的幀處理吞吐率，您可能需要為自己的實現(xiàn)提高或降低此數(shù)字。

第 44 和 45 行初始化兩個計數(shù)器。 COUNTER 是眼睛縱橫比小于 EYE_AR_THRESH 的連續(xù)幀的總數(shù)，而 TOTAL 是腳本運行時發(fā)生的眨眼總數(shù)。

現(xiàn)在我們的導(dǎo)入、命令行參數(shù)和常量都已經(jīng)處理好了，我們可以初始化 dlib 的人臉檢測器和面部標(biāo)記檢測器：

# 初始化dlib的人臉檢測器（基于HOG）然后創(chuàng)建
# 面部標(biāo)志預(yù)測器
print("[INFO] loading facial landmark predictor...")
detector = dlib.get_frontal_face_detector()
predictor = dlib.shape_predictor(args["shape_predictor"])

初始化實際的面部標(biāo)志預(yù)測器。

dlib 生成的面部標(biāo)志遵循可索引的列表，如下：

因此，我們可以確定開始和結(jié)束數(shù)組切片索引值，以便為下面的左眼和右眼提取 (x, y) 坐標(biāo)：

# 獲取左側(cè)和面部標(biāo)志的索引
# 右眼，分別 
(lStart, lEnd) = face_utils.FACIAL_LANDMARKS_IDXS["left_eye"]
(rStart, rEnd) = face_utils.FACIAL_LANDMARKS_IDXS["right_eye"]

使用這些索引，我們將能夠毫不費力地提取眼睛區(qū)域。

接下來，我們需要決定是使用基于文件的視頻流還是實時 USB/網(wǎng)絡(luò)攝像頭/Raspberry Pi 相機(jī)視頻流：

# start the video stream thread
print("[INFO] starting video stream thread...")
vs = FileVideoStream(args["video"]).start()
fileStream = True
# vs = VideoStream(src=0).start()
# vs = VideoStream(usePiCamera=True).start()
# fileStream = False
time.sleep(1.0)
fps = 30    #保存視頻的FPS，可以適當(dāng)調(diào)整
size=(450,800)
videoWriter = cv2.VideoWriter('3.mp4',-1,fps,size)#最后一個是保存圖片的尺寸

如果您使用的是文件視頻流，則保留代碼原樣。

如果您想使用內(nèi)置網(wǎng)絡(luò)攝像頭或 USB 攝像頭，請取消注釋# vs = VideoStream(src=0).start()。

對于 Raspberry Pi 攝像頭模塊，取消注釋# vs = VideoStream(usePiCamera=True).start()。

定義幀數(shù)。

定義大小

定義視頻寫入對象

最后，我們到達(dá)了腳本的主循環(huán)：

# loop over frames from the video stream
while True:
	# 如果這是一個文件視頻流，那么我們需要檢查是否
	# 緩沖區(qū)中還有更多幀要處理
	if fileStream and not vs.more():
		break
	frame = vs.read()
	if frame is None:
        break
	frame = imutils.resize(frame, width=450)
	gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
	# 在灰度幀中檢測人臉
	rects = detector(gray, 0)

遍歷視頻流中的幀。

如果我們正在訪問一個視頻文件流并且視頻中沒有更多的幀，我們就會中斷循環(huán)。

從視頻流中讀取下一幀，然后調(diào)整其大小并將其轉(zhuǎn)換為灰度。

然后我們通過 dlib 的內(nèi)置人臉檢測器檢測灰度幀中的人臉。

我們現(xiàn)在需要遍歷幀中的每個人臉，然后對每個人應(yīng)用面部標(biāo)志檢測：

	# loop over the face detections
	for rect in rects:
		# 確定面部區(qū)域的面部標(biāo)志，然后
		# 將面部標(biāo)志 (x, y) 坐標(biāo)轉(zhuǎn)換為 NumPy數(shù)組
		shape = predictor(gray, rect)
		shape = face_utils.shape_to_np(shape)
		# 提取左右眼坐標(biāo)，然后使用
		# 坐標(biāo)來計算雙眼的眼睛縱橫比
		leftEye = shape[lStart:lEnd]
		rightEye = shape[rStart:rEnd]
		leftEAR = eye_aspect_ratio(leftEye)
		rightEAR = eye_aspect_ratio(rightEye)
		# 平均兩只眼睛的眼睛縱橫比
		ear = (leftEAR + rightEAR) / 2.0

確定面部區(qū)域的面部標(biāo)志，將這些 (x, y) 坐標(biāo)轉(zhuǎn)換為 NumPy 數(shù)組。

使用本腳本前面的數(shù)組切片技術(shù)，我們可以分別提取左眼和右眼的 (x, y) 坐標(biāo)。

然后，在第 96 和 97 行計算每只眼睛的眼睛縱橫比。

按照 Soukupová 和 ?ech 的建議，我們將兩只眼睛的縱橫比平均在一起以獲得更好的眨眼估計（當(dāng)然，假設(shè)一個人同時眨眼）。

我們的下一個代碼塊只是處理眼睛區(qū)域本身的面部標(biāo)志的可視化：

		# 計算左眼和右眼的凸包，然后
		# 可視化每只眼睛
		leftEyeHull = cv2.convexHull(leftEye)
		rightEyeHull = cv2.convexHull(rightEye)
		cv2.drawContours(frame, [leftEyeHull], -1, (0, 255, 0), 1)
		cv2.drawContours(frame, [rightEyeHull], -1, (0, 255, 0), 1)

在這一點上，我們已經(jīng)計算了我們的（平均）眼睛縱橫比，但我們實際上還沒有確定是否發(fā)生了眨眼——這將在下一節(jié)中解決：

		# 檢查眼睛的縱橫比是否低于眨眼
		# 閾值，如果是，則增加閃爍幀計數(shù)器
		if ear < EYE_AR_THRESH:
			COUNTER += 1
		# 否則，眼睛縱橫比不低于眨眼
		＃ 臨界點
		else:
			# 如果眼睛閉上足夠多的次數(shù)
			# 然后增加閃爍的總數(shù)
			if COUNTER >= EYE_AR_CONSEC_FRAMES:
				TOTAL += 1
			# 重置眼框計數(shù)器
			COUNTER = 0

檢查眼睛縱橫比是否低于我們的眨眼閾值——如果是增加指示正在發(fā)生眨眼的連續(xù)幀的數(shù)量。

否則，處理眼睛縱橫比不低于眨眼閾值的情況。

在這種情況下，再次檢查以查看是否有足夠數(shù)量的連續(xù)幀包含低于我們預(yù)定義閾值的眨眼率。

如果檢查通過，我們增加閃爍的總次數(shù)。

然后我們重置連續(xù)閃爍的次數(shù) COUNTER。

我們的最終代碼塊只是處理在我們的輸出幀上繪制眨眼次數(shù)，以及顯示當(dāng)前眼睛縱橫比：

		# 繪制幀上閃爍的總數(shù)以及
		# 計算出的幀的眼睛縱橫比
		cv2.putText(frame, "Blinks: {}".format(TOTAL), (10, 30),
			cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2)
		cv2.putText(frame, "EAR: {:.2f}".format(ear), (300, 30),
			cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2)
 
	# show the frame
	cv2.imshow("Frame", frame)
	videoWriter.write(frame)
	key = cv2.waitKey(1) & 0xFF
 
	# if the `q` key was pressed, break from the loop
	if key == ord("q"):
		break
videoWriter.release()
# do a bit of cleanup
cv2.destroyAllWindows()
vs.stop()

眨眼檢測結(jié)果

要將我們的眨眼檢測器應(yīng)用于示例視頻，只需執(zhí)行以下命令：

python detect_blinks.py --shape-predictor shape_predictor_68_face_landmarks.dat --video 11.mp4

測試結(jié)果：

測試視頻鏈接：

眨眼檢測

如果測試攝像頭則，如下操作：

#vs = FileVideoStream(args["video"]).start()
#fileStream = True
vs = VideoStream(src=0).start()
# vs = VideoStream(usePiCamera=True).start()
fileStream = False

注釋FileVideoStream，取消注釋VideoStream。

執(zhí)行命令：

python detect_blinks.py --shape-predictor shape_predictor_68_face_landmarks.dat

總結(jié)

在這篇博文中，我演示了如何使用 OpenCV、Python 和 dlib 構(gòu)建眨眼檢測器。

構(gòu)建眨眼檢測器的第一步是執(zhí)行面部標(biāo)志檢測，以定位視頻流中給定幀中的眼睛。

一旦我們有了雙眼的面部標(biāo)志，我們就計算每只眼睛的眼睛縱橫比，這給了我們一個奇異值，將垂直眼睛標(biāo)志點之間的距離與水平標(biāo)志點之間的距離聯(lián)系起來。

一旦我們有了眼睛縱橫比，我們就可以確定一個人是否在眨眼——眼睛縱橫比在睜眼時將保持大致恒定，然后在眨眼時迅速接近零，然后隨著眼睛睜開再次增加.

為了改進(jìn)我們的眨眼檢測器，Soukupová 和 ?ech 建議構(gòu)建一個 13 維的眼睛縱橫比特征向量（第 N 幀、N – 6 幀和 N + 6 幀），然后將該特征向量輸入線性 SVM分類。

通過這篇博文你還學(xué)會了如何保存視頻。

眨眼檢測的一個應(yīng)用場景是睡意檢測。

完整的代碼，提取碼：k653

以上就是基于Python OpenCV和 dlib實現(xiàn)眨眼檢測的詳細(xì)內(nèi)容，更多關(guān)于Python OpenCV dlib眨眼檢測的資料請關(guān)注腳本之家其它相關(guān)文章！

最新評論