opencv調(diào)用yolov3模型深度學(xué)習(xí)目標(biāo)檢測實例詳解
引言
opencv調(diào)用yolov3模型進(jìn)行深度學(xué)習(xí)目標(biāo)檢測，以實例進(jìn)行代碼詳解
對于yolo v3已經(jīng)訓(xùn)練好的模型，opencv提供了加載相關(guān)文件，進(jìn)行圖片檢測的類dnn。 下面對怎么通過opencv調(diào)用yolov3模型進(jìn)行目標(biāo)檢測方法進(jìn)行詳解，付源代碼
建立相關(guān)目錄
在訓(xùn)練結(jié)果backup文件夾下，找到模型權(quán)重文件，拷到win的工程文件夾下 在cfg文件夾下，找到模型配置文件，yolov3-voc.cfg拷到win的工程文件夾下 在data文件夾下，找到voc.names，類別標(biāo)簽文件，拷到win的工程文件夾下
代碼詳解
weightsPath='E:\deep_learn\yolov3_modeFile\yolov3-voc_25000.weights'# 模型權(quán)重文件 configPath="E:\deep_learn\yolov3_modeFile\yolov3-voc.cfg"# 模型配置文件 labelsPath = "E:\\deep_learn\\yolov3_modeFile\\voc.names"# 模型類別標(biāo)簽文件
引入模型的相關(guān)文件，這里需要使用yolo v3訓(xùn)練模型的三個文件
（1）模型權(quán)重文件 name.weights
（2）訓(xùn)練模型時的配置文件 yolov3-voc.cfg（一定和訓(xùn)練時一致，后面會提原因）
（3）模型類別的標(biāo)簽文件 voc.names
LABELS = open(labelsPath).read().strip().split("\n")
從voc.names中得到標(biāo)簽的數(shù)組LABELS 我的模型識別的是車和人 voc,names文件內(nèi)容
LABELS數(shù)組內(nèi)容
COLORS = np.random.randint(0, 255, size=(len(LABELS), 3),dtype="uint8")#顏色 隨機生成顏色框
根據(jù)類別個數(shù)隨機生成幾個顏色 ，用來后期畫矩形框 [[ 33 124 191] [211 63 59]]
boxes = [] confidences = [] classIDs = []
聲明三個數(shù)組 （1）boxes 存放矩形框信息 （2）confidences 存放框的置信度 （3）classIDs 存放框的類別標(biāo)簽 三個數(shù)組元素一一對應(yīng)，即boxes[0]、confidences[0]、classIDs[0]對應(yīng)一個識別目標(biāo)的信息，后期根據(jù)該信息在圖片中畫出識別目標(biāo)的矩形框
net = cv2.dnn.readNetFromDarknet(configPath,weightsPath)
加載 網(wǎng)絡(luò)配置與訓(xùn)練的權(quán)重文件 構(gòu)建網(wǎng)絡(luò) 注意此處opencv2.7不行 ，沒有dnn這個類，最好opencv版本在4.0以上，對應(yīng)python用3.0以上版本
image = cv2.imread('E:\deep_learn\yolov3_detection_image\R1_WH_ZW_40_80_288.jpg')
(H,W) = image.shape[0:2]
讀入待檢測的圖片，得到圖像的高和寬
ln = net.getLayerNames()
得到 YOLO各層的名稱，之后從各層名稱中找到輸出層
可以看到y(tǒng)olo的各層非常多，紅框圈的'yolo_94'、'yolo_106'即為輸出層，下面就需要通過代碼找到這三個輸出層，為什么是三個？跟yolo的框架結(jié)構(gòu)有關(guān)，yolo有三個輸出。對應(yīng)的我們在訓(xùn)練模型時修改 yolov3-voc.cfg文件，修改的filters、classes也是三處，詳細(xì)參考darknet YOLOv3數(shù)據(jù)集訓(xùn)練預(yù)測8. 修改./darknet/cfg/yolov3-voc.cfg文件
下面就是在yolo的所有層名稱ln中找出三個輸出層，代碼如下
out = net.getUnconnectedOutLayers()#得到未連接層得序號
x = []
for i in out: # i=[200]
x.append(ln[i[0]-1]) # i[0]-1 取out中的數(shù)字 [200][0]=200 ln(199)= 'yolo_82'
ln=x
yolo的輸出層是未連接層的前一個元素，通過net.getUnconnectedOutLayers()找到未連接層的序號out= [[200] /n [267] /n [400] ]，循環(huán)找到所有的輸出層，賦值給ln 最終ln = ['yolo_82', 'yolo_94', 'yolo_106'] 接下來就是將圖像轉(zhuǎn)化為輸入的標(biāo)準(zhǔn)格式
blob = cv2.dnn.blobFromImage(image, 1 / 255.0, (416, 416),swapRB=True, crop=False)
用需要檢測的原始圖像image構(gòu)造一個blob圖像，對原圖像進(jìn)行像素歸一化1 / 255.0，縮放尺寸 (416, 416),，對應(yīng)訓(xùn)練模型時cfg的文件 交換了R與G通道
交換R與G通道通道是opencv在打開圖片時交換了一次，此處交換即又換回來了 此時blob.shape=(1, 3, 416, 416)，四維。 可以用numpy里的squeeze()函數(shù)把秩為1的維度去掉，然后顯示圖片出來看看
image_blob = np.squeeze(blob)
cv2.namedWindow('image_blob', cv2.WINDOW_NORMAL)
cv2.imshow('image_blob',np.transpose(image_blob,[1,2,0]))
cv2.waitKey(0)
net.setInput(blob) #將blob設(shè)為輸入 layerOutputs = net.forward(ln) #ln此時為輸出層名稱 ，向前傳播 得到檢測結(jié)果
將blob設(shè)為輸入 ln此時為輸出層名稱 ，向前傳播 得到檢測結(jié)果。 此時layerOutputs即三個輸出的檢測結(jié)果，
layerOutputs是一個含有三個矩陣的列表變量，三個矩陣對應(yīng)三個層的檢測結(jié)果，其中一層的檢測結(jié)果矩陣如下圖
是個507*7的矩陣，這個矩陣代表著檢測結(jié)果，其中507就是這層檢測到了507個結(jié)果（即507個矩形框），其中7就是矩形框的信息，為什么是7呢，這里解釋下，7=5+2，5是矩形框（x,y,w,h,c）2是2個類別分別的置信度（class0、class1）. 所以每一行代表一個檢測結(jié)果。
接下來就是對檢測結(jié)果進(jìn)行處理與顯示 在檢測結(jié)果中會有很多每個類的置信度為0的矩形框，要把這些與置信度較低的框去掉
#接下來就是對檢測結(jié)果進(jìn)行處理
for output in layerOutputs: #對三個輸出層 循環(huán)
for detection in output: #對每個輸出層中的每個檢測框循環(huán)
scores=detection[5:] #detection=[x,y,h,w,c,class1,class2]
classID = np.argmax(scores)#np.argmax反饋最大值的索引
confidence = scores[classID]
if confidence >0.5:#過濾掉那些置信度較小的檢測結(jié)果
box = detection[0:4] * np.array([W, H, W, H])
(centerX, centerY, width, height)= box.astype("int")
# 邊框的左上角
x = int(centerX - (width / 2))
y = int(centerY - (height / 2))
# 更新檢測出來的框
boxes.append([x, y, int(width), int(height)])
confidences.append(float(confidence))
classIDs.append(classID)
現(xiàn)在就將網(wǎng)絡(luò)的檢測結(jié)果提取了出來，框、置信度、類別。 可以先畫一下看下效果
a=0
for box in boxes:#將每個框畫出來
a=a+1
(x,y)=(box[0],box[1])#框左上角
(w,h)=(box[2],box[3])#框?qū)捀?
if classIDs[a-1]==0: #根據(jù)類別設(shè)定框的顏色
color = [0,0,255]
else:
color = [0, 255, 0]
cv2.rectangle(image, (x, y), (x + w, y + h), color, 2) #畫框
text = "{}: {:.4f}".format(LABELS[classIDs[a-1]], confidences[a-1])
cv2.putText(image, text, (x, y - 5), cv2.FONT_HERSHEY_SIMPLEX, 0.3, color, 1)#寫字
cv2.namedWindow('Image', cv2.WINDOW_NORMAL)
cv2.imshow("Image", image)
cv2.waitKey(0)
結(jié)果：
可以看到對于同一目標(biāo)有幾個矩形框，這需要對框進(jìn)行非極大值抑制處理。 進(jìn)行非極大值抑制的操作，opencv的dnn有個直接的函數(shù) NMSBoxes(bboxes, scores, score_threshold, nms_threshold, eta=None, top_k=None) bboxes需要操作的各矩形框?qū)?yīng)咱程序的boxes scores矩形框?qū)?yīng)的置信度對應(yīng)咱程序的confidences score_threshold置信度的閾值，低于這個閾值的框直接刪除 nms_threshold nms的閾值 非極大值的原理沒有理解的話，里面的參數(shù)不好設(shè)置。 下面簡單說下非極大值抑制的原理
1）先對輸入檢測框按置信度由高到低排序
2）挑選第一個檢測框(即最高置信度，記為A）和其它檢測框（記為B）進(jìn)行iou計算
3）如果iou大于nmsThreshold， 那就將B清除掉
4）跳轉(zhuǎn)到2）從剩余得框集里面找置信度最大得框和其它框分別計算iou
5）直到所有框都過濾完 NMSBoxes()函數(shù)返回值為最終剩下的按置信度由高到低的矩形框的序列號 進(jìn)行非極大值抑制后，顯示部分代碼改一部分即可。
直接給出代碼
idxs=cv2.dnn.NMSBoxes(boxes, confidences, 0.2,0.3)
box_seq = idxs.flatten()#[ 2 9 7 10 6 5 4]
if len(idxs)>0:
for seq in box_seq:
(x, y) = (boxes[seq][0], boxes[seq][1]) # 框左上角
(w, h) = (boxes[seq][2], boxes[seq][3]) # 框?qū)捀?
if classIDs[seq]==0: #根據(jù)類別設(shè)定框的顏色
color = [0,0,255]
else:
color = [0,255,0]
cv2.rectangle(image, (x, y), (x + w, y + h), color, 2) # 畫框
text = "{}: {:.4f}".format(LABELS[classIDs[seq]], confidences[seq])
cv2.putText(image, text, (x, y - 5), cv2.FONT_HERSHEY_SIMPLEX, 0.3, color, 1) # 寫字
cv2.namedWindow('Image', cv2.WINDOW_NORMAL)
cv2.imshow("Image", image)
cv2.waitKey(0)
最終的檢測結(jié)果
至此及用opencv加載yolo v3的模型，進(jìn)行了一次圖片的檢測。
附源代碼
#coding:utf-8
import numpy as np
import cv2
import os
weightsPath='E:\deep_learn\yolov3_modeFile\yolov3-voc_25000.weights'# 模型權(quán)重文件
configPath="E:\deep_learn\yolov3_modeFile\yolov3-voc.cfg"# 模型配置文件
labelsPath = "E:\\deep_learn\\yolov3_modeFile\\voc.names"# 模型類別標(biāo)簽文件
#初始化一些參數(shù)
LABELS = open(labelsPath).read().strip().split("\n")
boxes = []
confidences = []
classIDs = []
#加載 網(wǎng)絡(luò)配置與訓(xùn)練的權(quán)重文件 構(gòu)建網(wǎng)絡(luò)
net = cv2.dnn.readNetFromDarknet(configPath,weightsPath)
#讀入待檢測的圖像
image = cv2.imread('E:\deep_learn\yolov3_detection_image\R1_WH_ZW_40_80_288.jpg')
#得到圖像的高和寬
(H,W) = image.shape[0:2]
# 得到 YOLO需要的輸出層
ln = net.getLayerNames()
out = net.getUnconnectedOutLayers()#得到未連接層得序號 [[200] /n [267] /n [400] ]
x = []
for i in out: # 1=[200]
x.append(ln[i[0]-1]) # i[0]-1 取out中的數(shù)字 [200][0]=200 ln(199)= 'yolo_82'
ln=x
# ln = ['yolo_82', 'yolo_94', 'yolo_106'] 得到 YOLO需要的輸出層
#從輸入圖像構(gòu)造一個blob，然后通過加載的模型，給我們提供邊界框和相關(guān)概率
#blobFromImage(image, scalefactor=None, size=None, mean=None, swapRB=None, crop=None, ddepth=None)
blob = cv2.dnn.blobFromImage(image, 1 / 255.0, (416, 416),swapRB=True, crop=False)#構(gòu)造了一個blob圖像，對原圖像進(jìn)行了圖像的歸一化，縮放了尺寸 ，對應(yīng)訓(xùn)練模型
net.setInput(blob) #將blob設(shè)為輸入？？？ 具體作用還不是很清楚
layerOutputs = net.forward(ln) #ln此時為輸出層名稱 ，向前傳播 得到檢測結(jié)果
for output in layerOutputs: #對三個輸出層 循環(huán)
for detection in output: #對每個輸出層中的每個檢測框循環(huán)
scores=detection[5:] #detection=[x,y,h,w,c,class1,class2] scores取第6位至最后
classID = np.argmax(scores)#np.argmax反饋最大值的索引
confidence = scores[classID]
if confidence >0.5:#過濾掉那些置信度較小的檢測結(jié)果
box = detection[0:4] * np.array([W, H, W, H])
#print(box)
(centerX, centerY, width, height)= box.astype("int")
# 邊框的左上角
x = int(centerX - (width / 2))
y = int(centerY - (height / 2))
# 更新檢測出來的框
boxes.append([x, y, int(width), int(height)])
confidences.append(float(confidence))
classIDs.append(classID)
idxs=cv2.dnn.NMSBoxes(boxes, confidences, 0.2,0.3)
box_seq = idxs.flatten()#[ 2 9 7 10 6 5 4]
if len(idxs)>0:
for seq in box_seq:
(x, y) = (boxes[seq][0], boxes[seq][1]) # 框左上角
(w, h) = (boxes[seq][2], boxes[seq][3]) # 框?qū)捀?
if classIDs[seq]==0: #根據(jù)類別設(shè)定框的顏色
color = [0,0,255]
else:
color = [0,255,0]
cv2.rectangle(image, (x, y), (x + w, y + h), color, 2) # 畫框
text = "{}: {:.4f}".format(LABELS[classIDs[seq]], confidences[seq])
cv2.putText(image, text, (x, y - 5), cv2.FONT_HERSHEY_SIMPLEX, 0.3, color, 1) # 寫字
cv2.namedWindow('Image', cv2.WINDOW_NORMAL)
cv2.imshow("Image", image)
cv2.waitKey(0)以上就是opencv調(diào)用yolov3模型深度學(xué)習(xí)目標(biāo)檢測實例詳解的詳細(xì)內(nèi)容，更多關(guān)于opencv調(diào)用yolov3目標(biāo)檢測的資料請關(guān)注腳本之家其它相關(guān)文章！
相關(guān)文章
這篇文章主要為大家詳細(xì)介紹了python實時監(jiān)控cpu的小工具，具有一定的參考價值，感興趣的小伙伴們可以參考一下2018-06-06
這篇文章主要介紹了python之matplotlib矢量圖svg?emf,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2023-09-09
這篇文章主要為大家介紹了Python?Flask框架之藍(lán)圖，具有一定的參考價值，感興趣的小伙伴們可以參考一下，希望能夠給你帶來幫助2021-12-12
本篇文章主要介紹了python3百度指數(shù)抓取，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧。2016-12-12
python設(shè)計tcp數(shù)據(jù)包協(xié)議類的例子
今天小編就為大家分享一篇python設(shè)計tcp數(shù)據(jù)包協(xié)議類的例子，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-07-07
使用python將mdb數(shù)據(jù)庫文件導(dǎo)入postgresql數(shù)據(jù)庫示例
mdb格式文件可以通過mdbtools工具將內(nèi)中包含的每張表導(dǎo)出到csv格式文件。由于access數(shù)據(jù)庫和postgresQL數(shù)據(jù)庫格式上會存在不通性，所以使用python的文件處理，將所得csv文件修改成正確、能識別的格式2014-02-02
使用python在網(wǎng)絡(luò)上傳送圖片數(shù)據(jù),需要以byte格式讀取圖片,這樣才可以通過socket傳輸,本文就來介紹了python用socket傳輸圖片的項目實踐,具有一定的參考價值,感興趣的可以了解一下2024-02-02
這篇文章主要教大家怎樣實現(xiàn)一個Python小程序，爬取今日新聞，文中給出了詳細(xì)的示例代碼，拿走就能用，有需要的朋友可以借鑒參考下，希望能夠有所幫助2021-09-09
詳解Python使用simplejson模塊解析JSON的方法
這篇文章主要介紹了Python使用simplejson模塊解析JSON的方法,實例代碼基于Pyhton2.x版本,文中最后還附了關(guān)于simplejson模塊的一些性能放面的討論,需要的朋友可以參考下2016-03-03
字符串是 Python 中最常用的數(shù)據(jù)類型。我們可以使用引號('或")來創(chuàng)建字符串。創(chuàng)建字符串很簡單，只要為變量分配一個值即可2021-11-11