Python自動化辦公之清理重復文件詳解
更新時間：2022年05月10日 15:32:18 作者：渴望力量的哈士奇
這篇文章主要為大家詳細介紹了如何利用Python清理重復的文件，文中的示例代碼講解詳細，對我們學習Python有一定幫助，需要的可以參考一下
清理重復的文件
已知條件：
什么都不知道，只需要知道它是文件就可以了
實現(xiàn)方法：
可以從指定路徑（或最上層路徑）開始讀取，利用 glob 讀取每個文件夾，讀到文件，記錄名稱和大小，每一次檢測之前是否讀取過相同名稱的文件，如果存在，判斷大小是否相同，如果相同，我們就認為這是重復文件，將其刪除。
代碼示例如下：
# coding:utf-8
import glob
import os.path
data = {} # 定義一個空的字典，暫時將文件名存進來
def clear(path):
result = glob.glob(path) # 將 path 路徑傳入，賦值給 result
for _data in result: # for 循環(huán)判斷是否是文件夾
if glob.os.path.isdir(_data): # 若是文件夾，繼續(xù)將該文件夾的路徑傳給 clear() 函數(shù)繼續(xù)遞歸查找
_path = glob.os.path.join(_data, '*')
clear(_path)
else: # 若是文件，則將文件名提取出來
name = glob.os.path.split(_data)[-1]
if 'zip' in name: # 因為目前我們測試的 path 下有 ".zip" 文件，所以這里跳過 '.zip' 壓縮文件的讀取否則會報錯
continue
f = open(_data, 'r') # 判斷文件名之前先將內(nèi)容讀取出來，若是不可讀模式
content = f.read() # 將讀取內(nèi)容賦值給 content
if name in data: # 判斷文件名是否已存在 data 這個臨時存儲文件名的字典內(nèi)，如果存在則進行執(zhí)行刪除動作
_content_dict = data[name]
if _content_dict == content:
print('文件 \"{}\" 被刪除...'.format(_data)) # 調(diào)試
os.remove(_data)
else:
data[name] = content
if __name__ == '__main__':
path = glob.os.path.join(glob.os.getcwd(), 'test_file')
clear(path)
PS：這里需要注意一下，如果path的路徑是根目錄的話，會出現(xiàn)超級意外的結(jié)果，建議還是建立一個單獨的文件夾路徑來測試吧。（這個坑踩的我很心痛....）
運行結(jié)果如下：
清理重復文件的優(yōu)化1
解決不同路徑下相同文件名不同內(nèi)容問題
其實在這里大家能夠想到一個問題，可能會存在這樣一種情況，在不同的文件夾下存在著相同文件名，但是文件的內(nèi)容卻是不相同的。如果利用上面的腳本執(zhí)行針對文件夾下相同文件名的文件進行刪除的話，其實是一種不嚴謹?shù)牟僮鳌?/p>
由此也就引出了我們接下來針對上文腳本優(yōu)化的需求。
這里我們先看一下實際情況的 data 的值應該是怎樣的：data = {'name': {'path/name': 'content', 'path2/name': 'content'}}
- 上行內(nèi)容的 name 為我們傳入路徑的根路徑
- 上行內(nèi)容的 path/name 實際上為二級路徑
- 上行內(nèi)容的 content 為文件內(nèi)容
通過這種二級路徑與內(nèi)容刪除的重復文件才是一種比較合理的方式。
示例代碼如下：
# coding:utf-8
import glob
import os.path
data = {} # 定義一個空的字典，暫時將文件名存進來
def clear(path):
result = glob.glob(path) # 將 path 路徑傳入，賦值給 result
for _data in result: # for 循環(huán)判斷是否是文件夾
if glob.os.path.isdir(_data): # 若是文件夾，繼續(xù)將該文件夾的路徑傳給 clear() 函數(shù)繼續(xù)遞歸查找
_path = glob.os.path.join(_data, '*')
clear(_path)
else: # 若是文件，則將文件名提取出來
name = glob.os.path.split(_data)[-1]
if 'zip' in name: # 因為目前我們測試的 path 下有 ".zip" 文件，所以這里跳過 '.zip' 壓縮文件的讀取否則會報錯
continue
f = open(_data, 'r') # 判斷文件名之前先將內(nèi)容讀取出來，若是不可讀模式
content = f.read() # 將讀取內(nèi)容賦值給 content
if name in data: # 判斷文件名是否已存在 data 這個臨時存儲文件名的字典內(nèi)，如果存在則進行執(zhí)行刪除動作
# 如果不存在，則將讀取到的二級路徑與內(nèi)容存儲至 data 這個空字典內(nèi)
sub_name = data[name] # 定義 sub_name 用以獲取二級路徑
is_delete = False # is_delete 用以記錄刪除狀態(tài)；如果沒有刪除，還需要將二級路徑添加至 data
for k, v in sub_name.items(): # 再次循環(huán)判斷二級路徑下的文件；k 為路徑，v 為文件內(nèi)容
print('二級路徑為 \"{}\" ，'.format(k), name, '內(nèi)容為 \'{}\' '.format(v)) # 調(diào)試打印輸出二級路徑下文件的循環(huán)
if v == content: # 如果文件名與內(nèi)容相同，則執(zhí)行刪除動作
print('文件 \"{}\" 被刪除...'.format(_data)) # 調(diào)試被刪除的文件
os.remove(_data) # 刪除重復文件后，變更 is_delete 狀態(tài)為True
is_delete = True
if not is_delete: # 如果沒有刪除則將 content 讀取到的內(nèi)容賦值給 data[name][_data]
data[name][_data] = content
else:
data[name] = {
_data: content
}
if __name__ == '__main__':
path = glob.os.path.join(glob.os.getcwd(), 'test_file')
clear(path)
print(data)
運行結(jié)果如下：
清理重復文件的優(yōu)化2
利用 hashlib模塊解決讀取文件過大問題
現(xiàn)在還有一個問題，從調(diào)試的打印輸出內(nèi)容可以看出，因為用以測試的 test_file 路徑下的文件都比較小，所以運行起來沒有太大的問題；試想一下，如果是一些比較大的文件，經(jīng)過讀取并存入字典的時候，就極大可能會造成內(nèi)存不足等情況，所以這樣直接存儲內(nèi)容的方法是顯然不合適的。
其實也是可以解決這個問題的， 就是利用到之前學習的加密模塊 ，通過 hashlib 模塊將內(nèi)容加密成md5 的形式， md5只是一個很短的字符串，只要原始內(nèi)容不變， md5 的值就不會變(該方法也經(jīng)常被用于運維環(huán)境的文件安全檢測)。
所以代碼中的讀取文件內(nèi)容的 content 就需要變更一下了：
代碼示例如下：
# coding:utf-8
import glob
import hashlib
import os.path
data = {} # 定義一個空的字典，暫時將文件名存進來
#data = {'name': {'path/name': 'content', 'path2/name': 'content'}}
def clear(path):
result = glob.glob(path) # 將 path 路徑傳入，賦值給 result
for _data in result: # for 循環(huán)判斷是否是文件夾
if glob.os.path.isdir(_data): # 若是文件夾，繼續(xù)將該文件夾的路徑傳給 clear() 函數(shù)繼續(xù)遞歸查找
_path = glob.os.path.join(_data, '*')
clear(_path)
else: # 若是文件，則將文件名提取出來
name = glob.os.path.split(_data)[-1]
if 'zip' in name: # 因為目前我們測試的 path 下有 ".zip" 文件，所以這里跳過 '.zip' 壓縮文件的讀取否則會報錯
continue
f = open(_data, 'r') # 判斷文件名之前先將內(nèi)容讀取出來，若是不可讀模式
content = f.read() # 將讀取內(nèi)容賦值給 content
hash_content_obj = hashlib.md5(content.encode('utf-8')) # 將讀取到的文件內(nèi)容通過 md5 加密形式進行實例化
hash_content = hash_content_obj.hexdigest() # hash_content_obj 16進制字符串賦值給 hash_content
# 到這里，其實 data 存儲的就是 hash_content
if name in data: # 判斷文件名是否已存在 data 這個臨時存儲文件名的字典內(nèi)，如果存在則進行執(zhí)行刪除動作
# 如果不存在，則將讀取到的二級路徑與內(nèi)容存儲至 data 這個空字典內(nèi)
sub_name = data[name] # 定義 sub_name 用以獲取二級路徑
is_delete = False # is_delete 用以記錄刪除狀態(tài)；如果沒有刪除，還需要將二級路徑添加至 data
for k, v in sub_name.items(): # 再次循環(huán)判斷二級路徑下的文件；k 為路徑，v 為文件內(nèi)容
print('二級路徑為 \"{}\" ，'.format(k), name, '內(nèi)容為 \'{}\' '.format(v)) # 調(diào)試打印輸出二級路徑下文件的循環(huán)
if v == hash_content: # 如果文件名與內(nèi)容相同，則執(zhí)行刪除動作
print('文件 \"{}\" 被刪除...'.format(_data)) # 調(diào)試被刪除的文件
os.remove(_data) # 刪除重復文件后，變更 is_delete 狀態(tài)為True
is_delete = True
if not is_delete: # 如果沒有刪除則將 content 讀取到的內(nèi)容賦值給 data[name][_data]
data[name][_data] = hash_content
else:
data[name] = {
_data: hash_content
}
if __name__ == '__main__':
path = glob.os.path.join(glob.os.getcwd(), 'test_file')
clear(path)
print(data)
運行結(jié)果如下：
清理重復文件的優(yōu)化3
解決讀取到不可讀的 “zip” 文件報錯問題
在上文中，當我們遇到讀取到不可讀的 “zip” 壓縮文件時，利用的是 continue 的方式跳過。 其實這里說的 “zip” 不可讀取其實不太嚴謹，因為可以采用二進制讀取的方式來進行讀取，但是在上文腳本中，針對讀取的內(nèi)容已經(jīng)進行了 “encode” 編碼，所以用 rb 這種二進制讀取的方式還需要繼續(xù)進行優(yōu)化。
示例代碼如下：
# coding:utf-8
import glob
import hashlib
#data = {'name': {'path/name': 'content', 'path2/name': 'content'}}
import os.path
data = {} # 定義一個空的字典，暫時將文件名存進來
def clear(path):
result = glob.glob(path) # 將 path 路徑傳入，賦值給 result
for _data in result: # for 循環(huán)判斷是否是文件夾
if glob.os.path.isdir(_data): # 若是文件夾，繼續(xù)將該文件夾的路徑傳給 clear() 函數(shù)繼續(xù)遞歸查找
_path = glob.os.path.join(_data, '*')
clear(_path)
else: # 若是文件，則將文件名提取出來
name = glob.os.path.split(_data)[-1]
is_byte = False # 添加一個 byte類型讀取的開關（如果文件中有中文，還需要設置一下編碼格式，并且將打開的文件關閉）
if 'zip' in name: # 因為目前我們測試的 path 下有 ".zip" 文件，所以這里跳過 '.zip' 壓縮文件的讀取否則會報錯
is_byte = True
f = open(_data, 'rb')
else:
f = open(_data, 'r', encoding='utf-8') # 判斷文件名之前先將內(nèi)容讀取出來，若是不可讀模式
content = f.read() # 將讀取內(nèi)容賦值給 content
f.close()
if is_byte:
hash_content_obj = hashlib.md5(content) # 將讀取到的文件內(nèi)容通過 md5 加密形式進行實例化
else:
hash_content_obj = hashlib.md5(content.encode('utf-8'))
hash_content = hash_content_obj.hexdigest() # hash_content_obj 16進制字符串賦值給 hash_content
# 到這里，其實 data 存儲的就是 hash_content
if name in data: # 判斷文件名是否已存在 data 這個臨時存儲文件名的字典內(nèi)，如果存在則進行執(zhí)行刪除動作
# 如果不存在，則將讀取到的二級路徑與內(nèi)容存儲至 data 這個空字典內(nèi)
sub_name = data[name] # 定義 sub_name 用以獲取二級路徑
is_delete = False # is_delete 用以記錄刪除狀態(tài)；如果沒有刪除，還需要將二級路徑添加至 data
for k, v in sub_name.items(): # 再次循環(huán)判斷二級路徑下的文件；k 為路徑，v 為文件內(nèi)容
print('二級路徑為 \"{}\" ，'.format(k), name, '內(nèi)容為 \'{}\' '.format(v)) # 調(diào)試打印輸出二級路徑下文件的循環(huán)
if v == hash_content: # 如果文件名與內(nèi)容相同，則執(zhí)行刪除動作
print('文件 \"{}\" 被刪除...'.format(_data)) # 調(diào)試被刪除的文件
os.remove(_data) # 刪除重復文件后，變更 is_delete 狀態(tài)為True
is_delete = True
if not is_delete: # 如果沒有刪除則將 content 讀取到的內(nèi)容賦值給 data[name][_data]
data[name][_data] = hash_content
else:
data[name] = {
_data: hash_content
}
if __name__ == '__main__':
path = glob.os.path.join(glob.os.getcwd(), 'test_file')
clear(path)
for k, v in data.items():
for _k, v in v.items():
print('文件路徑為 \"{}\" ，'.format(_k), '內(nèi)容為 \'{}\' '.format(v))
運行結(jié)果如下：
批量修改文件名
其實也很簡單，依然是使用我們最近學習的 shutil 與 glob 模塊（參考上一章節(jié)的文件查找與遞歸實現(xiàn)的方式）。
已知條件：
知道文件名需要被修改的指定字符串(即需要被修改的文件名)
實現(xiàn)方法：
通過循環(huán)，將指定的目標字符串加入或修改文件名稱中含有的字符串
代碼示例如下：
# coding:utf-8
import glob
import os.path
import shutil
'''
利用for循環(huán)及遞歸這樣的方式，通過 glob 去讀取到 test_file 下所有的內(nèi)容
通過循環(huán)按照循環(huán)的每一個索引，把每一個文件添加上索引標
'''
def filename_update(path):
result = glob.glob(path)
for index, data in enumerate(result): # for 循環(huán)枚舉：如果是文件夾則進行遞歸，如果是文件則加上索引值
if glob.os.path.isdir(data):
_path = glob.os.path.join(data, '*')
filename_update(_path)
else:
path_list = glob.os.path.split(data)
name = path_list[-1]
new_name = '{}_{}'.format(index, name)
new_data = glob.os.path.join(path_list[0], new_name)
shutil.move(data, new_data)
if __name__ == '__main__':
path = glob.os.path.join(glob.os.getcwd(), 'test_file')
filename_update(path)
運行結(jié)果如下：
可能這里大家有注意到 "test_file" 文件加下沒有 "0_*"開頭的索引，其實并不是沒有索引，而是我們的腳本中只重命名了文件，文件夾被過濾掉了。
到此這篇關于Python自動化辦公之清理重復文件詳解的文章就介紹到這了,更多相關Python清理重復文件內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！
相關文章
這篇文章主要給大家介紹了關于如何利用Python實現(xiàn)端口掃描器的相關資料,用來檢測目標服務器上有哪些端口開放,本文適用于有 Python和計算機網(wǎng)絡語言基礎的用戶,需要的朋友可以參考下2021-08-08
這篇文章主要介紹了Python生成隨機數(shù)組的方法,結(jié)合實例形式總結(jié)分析了Python使用random模塊生成隨機數(shù)與數(shù)組操作相關技巧,需要的朋友可以參考下2017-04-04
對Python3中的print函數(shù)以及與python2的對比分析
下面小編就為大家分享一篇對Python3中的print函數(shù)以及與python2的對比分析，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-05-05
這篇文章主要介紹了Python 循環(huán)嵌套的相關資料，文中示例代碼非常詳細，幫助大家更好的理解和學習，感興趣的朋友可以了解下2020-07-07
在本篇文章里小編給大家分享的是一篇關于python幫助函數(shù)詳解內(nèi)容，有興趣的朋友們可以學習下。2020-06-06
這篇文章主要為大家詳細介紹了微信跳一跳游戲python腳本，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下2018-01-01
本文給大家分享的是使用Python制作爬蟲采集小說的代碼，非常的簡單實用，雖然還是有點瑕疵，大家一起改改，共同進步2015-10-10
Python?torch.onnx.export用法詳細介紹
這篇文章主要給大家介紹了關于Python?torch.onnx.export用法詳細介紹的相關資料,文中通過實例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2022-07-07
這篇文章主要介紹了pycharm如何添加解釋器問題,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2023-08-08
下面小編就為大家分享一篇python提取圖像的名字*.jpg到txt文本的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-05-05