OpenCV學(xué)習(xí)之圖像的分割與修復(fù)詳解
背景
圖像分割本質(zhì)就是將前景目標(biāo)從背景中分離出來(lái)。在當(dāng)前的實(shí)際項(xiàng)目中,應(yīng)用傳統(tǒng)分割的并不多,大多是采用深度學(xué)習(xí)的方法以達(dá)到更好的效果;當(dāng)然,了解傳統(tǒng)的方法對(duì)于分割的整體認(rèn)知具有很大幫助,本篇將介紹些傳統(tǒng)分割的一些算法;
一、分水嶺法
原理圖如下:
利用二值圖像的梯度關(guān)系,設(shè)置一定邊界,給定不同顏色實(shí)現(xiàn)分割;
實(shí)現(xiàn)步驟:
標(biāo)記背景 —— 標(biāo)記前景 —— 標(biāo)記未知區(qū)域(背景減前景) —— 進(jìn)行分割
函數(shù)原型:
watershed(img,masker):分水嶺算法,其中masker表示背景、前景和未知區(qū)域;
distanceTransform(img,distanceType,maskSize):矩離變化,求非零值到最近的零值的距離;
connectedComponents(img,connectivity,…):求連通域;
代碼實(shí)現(xiàn):
img = cv2.imread('water_coins.jpeg') gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) # 加入cv2.THRESH_OTSU表示自適應(yīng)閾值(實(shí)現(xiàn)更好的效果) ret, thresh = cv2.threshold(gray, 100, 255, cv2.THRESH_BINARY_INV + cv2.THRESH_OTSU) # 開(kāi)運(yùn)算(去噪點(diǎn)) kernel = np.ones((3,3), np.int8) open1 = cv2.morphologyEx(thresh, cv2.MORPH_OPEN, kernel, iterations = 2) #膨脹 beijing = cv2.dilate(open1, kernel, iterations = 1) # 獲取前景 tmp = cv2.distanceTransform(open1, cv2.DIST_L2, 5) ret, qianjing = cv2.threshold(tmp, 0.7*tmp.max(), 255, cv2.THRESH_BINARY) # 獲取未知區(qū)域 beijingj = np.uint8(beijing) qianjing = np.uint8(qianjing) unknow = cv2.subtract(beijing, qianjing) # 創(chuàng)建連通域 ret, masker = cv2.connectedComponents(qianjing) masker = masker + 1 masker[unknow==255] = 0 # 進(jìn)行圖像分割 result = cv2.watershed(img, masker) img[result == -1] = [0, 0, 255] cv2.imshow('result', img) cv2.waitKey(0)?
二、GrabCut法
原理:通過(guò)交互的方式獲得前景物體;
1、用戶指定前景的大體區(qū)域,剩下的為背景區(qū)域;
2、用戶可以明確指定某些地方為前景或背景;
3、采用分段迭代的方法分析前景物體形成模型樹(shù);
4、根據(jù)權(quán)重決定某個(gè)像素是前景還是背景;
函數(shù)原型:
grabCut(img,mask,rect,bgdModel,fbgModel,5,mode)
mask:表示生成的掩碼,函數(shù)輸出的值,其中0表示背景、1表示前景、2表示可能背景、3表示可能前景;
代碼如下:
class App: ? ? flag_rect = False ? ? rect=(0, 0, 0, 0) ? ? startX = 0 ? ? startY = 0 ? ? def onmouse(self, event, x, y, flags, param): ? ? ? ? if event == cv2.EVENT_LBUTTONDOWN: ? ? ? ? ? ? self.flag_rect = True ? ? ? ? ? ? self.startX = x ? ? ? ? ? ? self.startY = y ? ? ? ? ? ? print("LBUTTIONDOWN") ? ? ? ? elif event == cv2.EVENT_LBUTTONUP: ? ? ? ? ? ? self.flag_rect = False ? ? ? ? ? ? cv2.rectangle(self.img,? ? ? ? ? ? ? ? ? ? ? ? ? ? ? (self.startX, self.startY), ? ? ? ? ? ? ? ? ? ? ? ? ? ? (x, y), ? ? ? ? ? ? ? ? ? ? ? ? ? ? (0, 0, 255),? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 3) ? ? ? ? ? ? self.rect = (min(self.startX, x), min(self.startY, y),? ? ? ? ? ? ? ? ? ? ? ? ? abs(self.startX - x),? ? ? ? ? ? ? ? ? ? ? ? ? abs(self.startY -y)) ? ? ? ? ? ? print("LBUTTIONUP") ? ? ? ? elif event == cv2.EVENT_MOUSEMOVE: ? ? ? ? ? ? if self.flag_rect == True: ? ? ? ? ? ? ? ? self.img = self.img2.copy() ? ? ? ? ? ? ? ? cv2.rectangle(self.img,? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? (self.startX, self.startY), ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? (x, y), ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? (255, 0, 0),? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 3) ? ? ? ? ? ? print("MOUSEMOVE") ? ? ? ? ? print("onmouse") ? ? def run(self): ? ? ? ? print("run...") ? ? ? ? cv2.namedWindow('input') ? ? ? ? cv2.setMouseCallback('input', self.onmouse) ? ? ? ? self.img = cv2.imread('./lena.png') ? ? ? ? self.img2 = self.img.copy() ? ? ? ? self.mask = np.zeros(self.img.shape[:2], dtype=np.uint8) ? ? ? ? self.output = np.zeros(self.img.shape, np.uint8) ? ? ? ? while(1): ? ? ? ? ? ? cv2.imshow('input', self.img) ? ? ? ? ? ? cv2.imshow('output', self.output) ? ? ? ? ? ? k = cv2.waitKey(100) ? ? ? ? ? ? if k == 27: ? ? ? ? ? ? ? ? break ? ? ? ? ? ? if k == ord('g'): ? ? ? ? ? ? ? ? bgdmodel = np.zeros((1, 65), np.float64) ? ? ? ? ? ? ? ? fgdmodel = np.zeros((1, 65), np.float64) ? ? ? ? ? ? ? ? cv2.grabCut(self.img2, self.mask, self.rect, ? ? ? ? ? ? ? ? ? ? ? ? ? ? bgdmodel, fgdmodel, ? ? ? ? ? ? ? ? ? ? ? ? ? ? 1,? ? ? ? ? ? ? ? ? ? ? ? ? ? ? cv2.GC_INIT_WITH_RECT) ? ? ? ? ? ? # 注意np.where的用法可以用來(lái)篩選前景 ? ? ? ? ? ? mask2 = np.where((self.mask==1)|(self.mask==3), 255, 0).astype('uint8') ? ? ? ? ? ? self.output = cv2.bitwise_and(self.img2, self.img2, mask=mask2)
由于效果并不是特別明顯,并且運(yùn)行時(shí)耗時(shí)會(huì)比較長(zhǎng),在這里就不展示了;
注意:np.where的用法需要掌握,可以將一個(gè)矩陣中選定的值與未選定的值做二值化的處理;
三、MeanShift法
實(shí)現(xiàn)原理:
并不是用來(lái)進(jìn)行圖像分割的,而是在色彩層面的平滑濾波;
中和色彩分布相近的顏色,平滑色彩細(xì)節(jié),腐蝕掉面積較小的顏色區(qū)域;
以圖像上任意點(diǎn)P為圓心,半徑為sp,色彩幅值為sr進(jìn)行不斷的迭代;
函數(shù)原型:
pyrMeanShiftFiltering(img,sp,sr,…)
代碼實(shí)現(xiàn):
img = cv2.imread('flower.png') result = cv2.pyrMeanShiftFiltering(img, 20, 30) cv2.imshow('img', img) cv2.imshow('result', result) cv2.waitKey(0)?
通過(guò)該函數(shù)可以實(shí)現(xiàn)色彩的平滑處理,做特效也是不錯(cuò)的(有種卡通化的效果),雖然該函數(shù)并不能直接做圖像分割,但處理后的圖像可以通過(guò)canny算法進(jìn)行邊緣檢測(cè);
Canny代碼:
img = cv2.imread('key.png') result = cv2.pyrMeanShiftFiltering(img, 20, 30) img_canny = cv2.Canny(result, 150, 300) contours, _ = cv2.findContours(img_canny, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) cv2.drawContours(img, contours, -1, (0, 0, 255), 2) cv2.imshow('img', img) cv2.imshow('result', result) cv2.imshow('canny', img_canny) cv2.waitKey(0)?
四、MOG前景背景分離法
首先需要了解視頻的一些原理:
- 視頻是一組連續(xù)幀組成的(一幀也可以看作一副圖像)
- 幀與幀之間關(guān)系密切(又稱(chēng)為GOP)
- 在GOP中,背景幾乎是不變的
主要有以下幾種方法:
1、MOG去背景
原理:混合高斯模型為基礎(chǔ)的前景、背景分割法;
函數(shù)原型:
createBackgroundSubtractorMOG(其中的默認(rèn)值就不做講解了)
代碼實(shí)戰(zhàn):
cap = cv2.VideoCapture('./vtest.avi') mog = cv2.bgsegm.createBackgroundSubtractorMOG() while(True): ? ? ret, frame = cap.read() ? ? mask = mog.apply(frame) ? ?? ? ? cv2.imshow('img', mask) ? ? k = cv2.waitKey(10) ? ? if k == 27: ? ? ? ? break ? ?? cap.release() cv2.destroyAllWindows()
五、拓展方法
1、MOG2
說(shuō)明:與MOG算法類(lèi)似,但對(duì)于亮度產(chǎn)生的陰影有更好的識(shí)別效果,噪點(diǎn)更多;
函數(shù)原型:createBackgroundSubtractorMOG2(默認(rèn)參數(shù)不作介紹)
效果展示:
2、GMG
說(shuō)明:靜態(tài)背景圖像估計(jì)和每個(gè)像素的貝葉斯分割抗噪性更強(qiáng);
函數(shù)原型:createBackgroundSubtractorGMG()
效果展示:
總結(jié):GMG開(kāi)始會(huì)不顯示一段時(shí)間,這是由于初始參考幀的數(shù)量和過(guò)大;對(duì)比業(yè)界的效果來(lái)看,這些傳統(tǒng)方法的效果并不好,特別是對(duì)比深度學(xué)習(xí)的算法;但很多原理值得我們?nèi)∷伎冀梃b,模型只是給出我們問(wèn)題的優(yōu)解,如果能將傳統(tǒng)算法結(jié)合深度學(xué)習(xí)算法,那是否能在提速的同時(shí),也達(dá)到一個(gè)可觀的效果,這是我思考的一個(gè)點(diǎn),歡迎大家發(fā)表自己的意見(jiàn);
六、圖像修復(fù)
說(shuō)明:我們的圖像往往會(huì)有一些馬賽克的存在,特別是一些老照片會(huì)有不必要的圖案,圖像修復(fù)就是用于解決這類(lèi)問(wèn)題,并不等同于超清化;
函數(shù)原型:
inpaint(img,mask,inpaintRadius,兩種方式:INPAINT_NS、INPAINT_TELEA)
代碼案例:
img = cv2.imread('inpaint.png') mask = cv2.imread('inpaint_mask.png', 0) result = cv2.inpaint(img, mask, 5, cv2.INPAINT_TELEA) cv2.imshow('img', img) cv2.imshow('result', result) cv2.waitKey()
總結(jié):從結(jié)果來(lái)看,效果相當(dāng)不錯(cuò),但前提我們需要知道需要修復(fù)的部分,所以應(yīng)用的場(chǎng)景也會(huì)比較局限;
總結(jié)
簡(jiǎn)單介紹了一些傳統(tǒng)的一些圖像分割算法,并沒(méi)有涉及原理,感興趣的可以自行了解;當(dāng)然,現(xiàn)在業(yè)界的分割算法都采用深度學(xué)習(xí)的方式了,并且也有了很好的效果和落地應(yīng)用。
以上就是OpenCV學(xué)習(xí)之圖像的分割與修復(fù)詳解的詳細(xì)內(nèi)容,更多關(guān)于OpenCV圖像分割修復(fù)的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章!
相關(guān)文章
python提示No module named images的解決方法
這篇文章主要介紹了python提示No module named images的解決方法,是Python程序設(shè)計(jì)中經(jīng)常遇到的問(wèn)題,本文給出了具有針對(duì)性的解決方法,需要的朋友可以參考下2014-09-09Django框架自定義模型管理器與元選項(xiàng)用法分析
這篇文章主要介紹了Django框架自定義模型管理器與元選項(xiàng)用法,結(jié)合實(shí)例形式分析了自定義模型管理器與元選項(xiàng)的功能、用法及相關(guān)操作注意事項(xiàng),需要的朋友可以參考下2019-07-07python MySQLdb Windows下安裝教程及問(wèn)題解決方法
這篇文章主要介紹了python MySQLdb Windows下安裝教程及問(wèn)題解決方法,本文講解了安裝數(shù)據(jù)庫(kù)mysql、安裝MySQLdb等步驟,需要的朋友可以參考下2015-05-05python3 實(shí)現(xiàn)調(diào)用串口功能
今天小編就為大家分享一篇python3 實(shí)現(xiàn)調(diào)用串口功能,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-12-12python基礎(chǔ)之編碼規(guī)范總結(jié)
今天帶大家來(lái)學(xué)習(xí)python基礎(chǔ)知識(shí),文中對(duì)python編碼規(guī)范作了詳細(xì)的介紹,對(duì)正在學(xué)習(xí)python的小伙伴們很有幫助,需要的朋友可以參考下2021-05-05