快捷導(dǎo)航

用python刪除文件夾中的重復(fù)圖片(圖片去重)

更新時(shí)間：2021年05月12日 16:31:34 作者：點(diǎn)燈非燭伊丶

近期在整理相冊(cè)的時(shí)候，發(fā)現(xiàn)相冊(cè)中有許多重復(fù)圖片，人工一張張篩查刪除太枯燥，便寫下這個(gè)python腳本，用于刪除文件夾下重復(fù)的圖片

第一部分：判斷兩張圖片是否相同

要查找重復(fù)的圖片，必然繞不開判斷兩張圖片是否相同。判斷兩張圖片簡(jiǎn)單呀！圖片可以看成數(shù)組，比較兩個(gè)數(shù)組是否相等不就行了。但是這樣做太過簡(jiǎn)單粗暴，因?yàn)閮蓚€(gè)數(shù)組的每個(gè)元素都要一一比較，效率很低。為了盡量避免兩個(gè)龐大的數(shù)組比較：

先進(jìn)行兩張圖片的大小(byte)比較，若大小不相同，則兩張圖片不相同；
在兩張圖片的大小相同的前提下，進(jìn)行兩張圖片的尺寸(長(zhǎng)和寬)比較，若尺寸不相同，則兩張不相同；
在兩張圖片的尺寸相同的前提下，進(jìn)行兩張圖片的內(nèi)容(即數(shù)組元素)比較，若內(nèi)容不相同，則圖片不相同；

這樣，當(dāng)圖片大小或圖片尺寸不相同的時(shí)候，便認(rèn)為兩張圖片不同，可以省去比較數(shù)組元素的部分，效率up~

import shutil
import numpy as np
from PIL import Image
import os


def 比較圖片大小(dir_image1, dir_image2):
    with open(dir_image1, "rb") as f1:
        size1 = len(f1.read())
    with open(dir_image2, "rb") as f2:
        size2 = len(f2.read())
    if(size1 == size2):
        result = "大小相同"
    else:
        result = "大小不同"
    return result


def 比較圖片尺寸(dir_image1, dir_image2):
    image1 = Image.open(dir_image1)
    image2 = Image.open(dir_image2)
    if(image1.size == image2.size):
        result = "尺寸相同"
    else:
        result = "尺寸不同"
    return result


def 比較圖片內(nèi)容(dir_image1, dir_image2):
    image1 = np.array(Image.open(dir_image1))
    image2 = np.array(Image.open(dir_image2))
    if(np.array_equal(image1, image2)):
        result = "內(nèi)容相同"
    else:
        result = "內(nèi)容不同"
    return result


def 比較兩張圖片是否相同(dir_image1, dir_image2):
    # 比較兩張圖片是否相同
    # 第一步：比較大小是否相同
    # 第二步：比較長(zhǎng)和寬是否相同
    # 第三步：比較每個(gè)像素是否相同
    # 如果前一步不相同，則兩張圖片必不相同
    result = "兩張圖不同"
    大小 = 比較圖片大小(dir_image1, dir_image2)
    if(大小 == "大小相同"):
        尺寸 = 比較圖片尺寸(dir_image1, dir_image2)
        if(尺寸 == "尺寸相同"):
            內(nèi)容 = 比較圖片內(nèi)容(dir_image1, dir_image2)
            if(內(nèi)容 == "內(nèi)容相同"):
                result = "兩張圖相同"
    return result

第二部分：判斷文件夾內(nèi)是否有重復(fù)圖片

若要判斷文件夾內(nèi)是否有和圖片A相同的圖片，則需要遍歷文件夾內(nèi)所有圖片，挨個(gè)判斷兩個(gè)圖片是否相同。若文件夾有1000張圖片，那么第1張圖片需要與剩下的999張圖片作比較，第2張圖片需要與剩下的998張圖片作比較，第3張需要與剩下的997張圖片作比較，以此類推。在此程序中的做法是，先對(duì)所有圖片按圖片大小(byte)排序，然后再執(zhí)行遍歷比較。這樣做的結(jié)果是：重復(fù)圖片很大概率會(huì)連著出現(xiàn)（因?yàn)橹貜?fù)圖片大小相同）

if __name__ == '__main__':

    load_path = 'E:\\測(cè)試圖片集(未去重)'  # 要去重的文件夾
    save_path = 'E:\\測(cè)試圖片集(重復(fù)照片)'  # 空文件夾，用于存儲(chǔ)檢測(cè)到的重復(fù)的照片
    os.makedirs(save_path, exist_ok=True)

    # 獲取圖片列表 file_map，字典{文件路徑filename : 文件大小image_size}
    file_map = {}
    image_size = 0
    # 遍歷filePath下的文件、文件夾（包括子目錄）
    for parent, dirnames, filenames in os.walk(load_path):
        # for dirname in dirnames:
        # print('parent is %s, dirname is %s' % (parent, dirname))
        for filename in filenames:
            # print('parent is %s, filename is %s' % (parent, filename))
            # print('the full name of the file is %s' % os.path.join(parent, filename))
            image_size = os.path.getsize(os.path.join(parent, filename))
            file_map.setdefault(os.path.join(parent, filename), image_size)

    # 獲取的圖片列表按 文件大小image_size 排序
    file_map = sorted(file_map.items(), key=lambda d: d[1], reverse=False)
    file_list = []
    for filename, image_size in file_map:
        file_list.append(filename)

    # 取出重復(fù)的圖片
    file_repeat = []
    for currIndex, filename in enumerate(file_list):
        dir_image1 = file_list[currIndex]
        dir_image2 = file_list[currIndex + 1]
        result = 比較兩張圖片是否相同(dir_image1, dir_image2)
        if(result == "兩張圖相同"):
            file_repeat.append(file_list[currIndex + 1])
            print("\n相同的圖片：", file_list[currIndex], file_list[currIndex + 1])
        else:
            print('\n不同的圖片：', file_list[currIndex], file_list[currIndex + 1])
        currIndex += 1
        if currIndex >= len(file_list)-1:
            break

    # 將重復(fù)的圖片移動(dòng)到新的文件夾，實(shí)現(xiàn)對(duì)原文件夾降重
    for image in file_repeat:
        shutil.move(image, save_path)
        print("正在移除重復(fù)照片：", image)