OpenCV圖像變換之傅里葉變換的一些應用

更新時間：2021年07月26日 09:13:46 作者：程序媛一枚~

這篇文章主要給大家介紹了關于OpenCV圖像變換之傅里葉變換的相關資料,傅里葉變換可以將一幅圖片分解為正弦和余弦兩個分量,換而言之,他可以將一幅圖像從其空間域（spatial domain）轉換為頻域（frequency domain）,需要的朋友可以參考下

前言

這篇博客將介紹OpenCV中的圖像變換，包括用Numpy、OpenCV計算圖像的傅里葉變換，以及傅里葉變換的一些應用；

2D Discrete Fourier Transform (DFT)二維離散傅里葉變換
Fast Fourier Transform (FFT) 快速傅里葉變換

傅立葉變換用于分析各種濾波器的頻率特性。對于圖像采用二維離散傅立葉變換（DFT）求頻域。一種稱為快速傅立葉變換（FFT）的快速算法用于DFT的計算。

OpenCV使用cv2.dft()、cv2.idft() 實現(xiàn)傅里葉變換，效率更高一些（比OpenCV快3倍）

Numpy使用np.ifft2() 、np.fft.ifftshift() 實現(xiàn)傅里葉變換，使用更友好一些；

1. 效果圖

灰度圖 VS 傅里葉變換效果圖如下：

可以看到白色區(qū)域大多在中心，顯示低頻率的內容比較多。

傅里葉變換去掉低頻內容后效果圖如下：

可以看到使用矩形濾波后，效果并不好，有波紋的振鈴效果；用高斯濾波能好點；

傅里葉變換去掉高頻內容后效果圖如下：

刪除圖像中的高頻內容，即將LPF應用于圖像，它實際上模糊了圖像。

各濾波器是 HPF（High Pass Filter）還是 LPF（Low Pass Filter），一目了然：

拉普拉斯是高頻濾波器；

2. 原理

DFT的性能優(yōu)化：在一定的陣列尺寸下，DFT計算的性能較好。當數(shù)組大小為2的冪時，速度最快。大小為2、3和5的乘積的數(shù)組也可以非常有效地處理。

為達到最佳性能，可以通過OpenCV提供的函數(shù)cv2.getOptimalDFTSize() 尋找最佳尺寸。
然后將圖像填充成最佳性能大小的陣列，對于OpenCV，必須手動填充零。但是對于Numpy，可以指定FFT計算的新大小,會自動填充零。

通過使用最優(yōu)陣列，基本能提升4倍的效率。而OpenCV本身比Numpy效率快近3倍；

拉普拉斯是高通濾波器（High Pass Filter）

3. 源碼

3.1 Numpy實現(xiàn)傅里葉變換

# 傅里葉變換

import cv2
import numpy as np
from matplotlib import pyplot as plt

img = cv2.imread('ym3.jpg', 0)

# 使用Numpy實現(xiàn)傅里葉變換：fft包
# fft.fft2() 進行頻率變換
# 參數(shù)1：輸入圖像的灰度圖
# 參數(shù)2：>輸入圖像 用0填充；  <輸入圖像 剪切輸入圖像； 不傳遞 返回輸入圖像
f = np.fft.fft2(img)

# 一旦得到結果，零頻率分量（直流分量）將出現(xiàn)在左上角。
# 如果要將其置于中心，則需要使用np.fft.fftshift()將結果在兩個方向上移動。
# 一旦找到了頻率變換，就能找到幅度譜。
fshift = np.fft.fftshift(f)
magnitude_spectrum = 20 * np.log(np.abs(fshift))

plt.subplot(121), plt.imshow(img, cmap='gray')
plt.title('Input Image'), plt.xticks([]), plt.yticks([])
plt.subplot(122), plt.imshow(magnitude_spectrum, cmap='gray')
plt.title('Magnitude Spectrum'), plt.xticks([]), plt.yticks([])
plt.show()

# 找到了頻率變換，就可以進行高通濾波和重建圖像，也就是求逆DFT
rows, cols = img.shape
crow, ccol = rows // 2, cols // 2
fshift[crow - 30:crow + 30, ccol - 30:ccol + 30] = 0
f_ishift = np.fft.ifftshift(fshift)
img_back = np.fft.ifft2(f_ishift)
img_back = np.abs(img_back)

# 圖像漸變章節(jié)學習到：高通濾波是一種邊緣檢測操作。這也表明大部分圖像數(shù)據存在于頻譜的低頻區(qū)域。
# 仔細觀察結果可以看到最后一張用JET顏色顯示的圖像，有一些瑕疵（它顯示了一些波紋狀的結構，這就是所謂的振鈴效應。）
# 這是由于用矩形窗口mask造成的，掩碼mask被轉換為sinc形狀，從而導致此問題。所以矩形窗口不用于過濾，更好的選擇是高斯mask。）
plt.subplot(131), plt.imshow(img, cmap='gray')
plt.title('Input Image'), plt.xticks([]), plt.yticks([])
plt.subplot(132), plt.imshow(img_back, cmap='gray')
plt.title('Image after HPF'), plt.xticks([]), plt.yticks([])
plt.subplot(133), plt.imshow(img_back)
plt.title('Result in JET'), plt.xticks([]), plt.yticks([])

plt.show()

3.2 OpenCV實現(xiàn)傅里葉變換

import cv2
import numpy as np
from matplotlib import pyplot as plt

img = cv2.imread('ym3.jpg', 0)
rows, cols = img.shape
print(rows, cols)

# 計算DFT效率最佳的尺寸
nrows = cv2.getOptimalDFTSize(rows)
ncols = cv2.getOptimalDFTSize(cols)
print(nrows, ncols)

nimg = np.zeros((nrows, ncols))
nimg[:rows, :cols] = img
img = nimg

# OpenCV計算快速傅里葉變換，輸入圖像應首先轉換為np.float32，然后使用函數(shù)cv2.dft()和cv2.idft()。
# 返回結果與Numpy相同，但有兩個通道。第一個通道為有結果的實部，第二個通道為有結果的虛部。
dft = cv2.dft(np.float32(img), flags=cv2.DFT_COMPLEX_OUTPUT)
dft_shift = np.fft.fftshift(dft)

magnitude_spectrum = 20 * np.log(cv2.magnitude(dft_shift[:, :, 0], dft_shift[:, :, 1]))

plt.subplot(121), plt.imshow(img, cmap='gray')
plt.title('Input Image'), plt.xticks([]), plt.yticks([])
plt.subplot(122), plt.imshow(magnitude_spectrum, cmap='gray')
plt.title('Magnitude Spectrum'), plt.xticks([]), plt.yticks([])
plt.show()

rows, cols = img.shape
crow, ccol = rows // 2, cols // 2

# 首先創(chuàng)建一個mask，中心正方形為1，其他均為0
# 如何刪除圖像中的高頻內容，即我們將LPF應用于圖像。它實際上模糊了圖像。
# 為此首先創(chuàng)建一個在低頻時具有高值的掩碼，即傳遞LF內容，在HF區(qū)域為0。
mask = np.zeros((rows, cols, 2), np.uint8)
mask[crow - 30:crow + 30, ccol - 30:ccol + 30] = 1

# 應用掩碼Mask和求逆DTF
fshift = dft_shift * mask
f_ishift = np.fft.ifftshift(fshift)
img_back = cv2.idft(f_ishift)
img_back = cv2.magnitude(img_back[:, :, 0], img_back[:, :, 1])

plt.subplot(121), plt.imshow(img, cmap='gray')
plt.title('Input Image'), plt.xticks([]), plt.yticks([])
plt.subplot(122), plt.imshow(img_back, cmap='gray')
plt.title('Magnitude Spectrum'), plt.xticks([]), plt.yticks([])
plt.show()

3.3 HPF or LPF？

import cv2
import numpy as np
from matplotlib import pyplot as plt

# 簡單的均值濾波
mean_filter = np.ones((3, 3))

# 構建高斯濾波
x = cv2.getGaussianKernel(5, 10)
gaussian = x * x.T

# 不同的邊緣檢測算法Scharr-x方向
scharr = np.array([[-3, 0, 3],
                   [-10, 0, 10],
                   [-3, 0, 3]])
# Sobel_x
sobel_x = np.array([[-1, 0, 1],
                    [-2, 0, 2],
                    [-1, 0, 1]])
# Sobel_y
sobel_y = np.array([[-1, -2, -1],
                    [0, 0, 0],
                    [1, 2, 1]])
# 拉普拉斯
laplacian = np.array([[0, 1, 0],
                      [1, -4, 1],
                      [0, 1, 0]])

filters = [mean_filter, gaussian, laplacian, sobel_x, sobel_y, scharr]
filter_name = ['mean_filter', 'gaussian', 'laplacian', 'sobel_x', \
               'sobel_y', 'scharr_x']
fft_filters = [np.fft.fft2(x) for x in filters]
fft_shift = [np.fft.fftshift(y) for y in fft_filters]
mag_spectrum = [np.log(np.abs(z) + 1) for z in fft_shift]

for i in range(6):
    plt.subplot(2, 3, i + 1), plt.imshow(mag_spectrum[i], cmap='gray')
    plt.title(filter_name[i]), plt.xticks([]), plt.yticks([])

plt.show()