詳解如何使用Python實(shí)現(xiàn)刪除重復(fù)文件

更新時(shí)間：2022年10月09日 15:30:50 作者：冫馬讠成

這篇文章主要為大家詳細(xì)介紹了如何利用Python實(shí)現(xiàn)刪除重復(fù)文件功能，文中的示例代碼講解詳細(xì)，對(duì)我們學(xué)習(xí)Python有一定幫助，需要的可以參考一下

Python自動(dòng)化辦公之刪除重復(fù)文件

思路介紹

兩層判斷：

1.先判斷文件大小是否為相同，大小不同則不是重復(fù)文件，予以保留；

2.文件大小相同再判斷文件md5，md5相同，則是重復(fù)文件，予以刪除。

源碼解說

from pathlib import Path
import hashlib


def getmd5(filename):
    # 接收文件路徑，返回文件md5值
    with open(filename, 'rb') as f:
        data = f.read()
    file_md5 = hashlib.new("md5", data).hexdigest()
    return file_md5


def main():
    path = r"F:\FileRecv\刪除文件測試"
    all_size = {}
    total_file = 0
    total_delete = 0

    # 獲取路徑內(nèi)的所有文件名，默認(rèn)是升序排列，相同文件將會(huì)保留日期時(shí)間最新的
    all_files = Path(path).glob('*.*')

    # 降序排列，相同文件將會(huì)保留文件名最短的（即日期時(shí)間最久的）
    all_files = sorted(all_files, reverse=True)

    # 遍歷文件路徑內(nèi)的所有文件
    for file in all_files:
        # 獲取文件所占字節(jié)大小，作為數(shù)據(jù)字典的鍵
        size = file.stat().st_size
        # name_and_md5列表用于存儲(chǔ)文件絕對(duì)路徑和md5值，作為數(shù)據(jù)字典的值
        name_and_md5 = [file, '']

        # 針對(duì)重復(fù)文件進(jìn)行處理，生成字典存儲(chǔ)相關(guān)信息
        # 字典all_size中key是size，value是name_and_md5列表
        # 針對(duì)相同size的文件，再調(diào)用getmd5函數(shù)，獲取文件的md5值
        # 文件size不同（不在all_size.keys()中），則自動(dòng)判斷為不同的文件，予以保留
        if size in all_size.keys():
            # 調(diào)用getmd5函數(shù)，獲取文件的md5值
            new_md5 = getmd5(file)
            if all_size[size][1] == '':
                all_size[size][1] = getmd5(all_size[size][0])
            # 判斷md5值存在，即文件重復(fù)，則刪除文件。md5值不存在，則把md5值加入列表中
            if new_md5 in all_size[size]:
                file.unlink()
                total_delete += 1
            else:
                all_size[size].append(new_md5)
        else:
            all_size[size] = name_and_md5
        total_file += 1

    print(f'文件總數(shù)：{total_file}')
    print(f'刪除個(gè)數(shù)：{total_delete}')


if __name__ == '__main__':
    main()

效果圖：