python實(shí)現(xiàn)兩個文件夾的同步
其實(shí)無論windows還是Linux,簡單地去實(shí)現(xiàn)兩個兩個文件夾的同步只需系統(tǒng)自帶的復(fù)制命令加參數(shù)就可以了。
WINDOWS:
xcopy 源文件夾\* 目標(biāo)文件夾 /s /e /y
Linux:
cp -r 源文件夾/* 目標(biāo)文件夾
這里使用python來實(shí)現(xiàn)這些基本功能,并增加一些去重之類的增強(qiáng)功能。
1、復(fù)制源文件夾中文件至目標(biāo)文件夾
要想同步兩個文件夾中的數(shù)據(jù),基本思路首先需要遍歷源文件夾中的信息,將源文件夾中的文件復(fù)制到目標(biāo)文件夾。
遍歷文件夾采用os中的listdir函數(shù)就可以了。
import os path_s = 'F:\\test\\s' path_t = 'F:\\test\\t' for filename in os.listdir(path_s): filename_s = path_s+os.sep+filename print '[*] Source :',filename_s filename_t = path_t+os.sep+filename print '[*] Target :',filename_t with open(filename_s,'rb') as f_s: with open(filename_t,'wb') as f_t: f_t.write(f_s.read())
但是很明顯這里沒有考慮源文件夾中還會存在文件夾甚至多重文件夾的情況。
2、源文件夾中存在多重文件夾
一個簡單的思路就是:在遍歷源文件夾內(nèi)的文件時,先判定當(dāng)前文件這是文件還是文件夾。如果當(dāng)前文件是文件夾的話,開始遍歷此文件夾內(nèi)的文件,如果里面還有文件夾,遍歷這個文件夾,依次類推。利用遞歸的方法,代碼如下:
import os path_s = 'F:\\test\\s' path_t = 'F:\\test\\t' def copy_file(paths,patht): for filename in os.listdir(paths): filename_s = paths+os.sep+filename filename_t = patht+os.sep+filename if os.path.isdir(filename_s): if not os.path.exists(filename_t): os.mkdir(filename_t) #在目標(biāo)文件夾中創(chuàng)建對應(yīng)的文件夾 copy_file(filename_s,filename_t) # 遞歸 else: print '[*] Source :',filename_s print '[*] Target :',filename_t with open(filename_s,'rb') as f_s: with open(filename_t,'wb') as f_t: f_t.write(f_s.read()) copy_file(path_s,path_t)
目前,簡單的文件夾復(fù)制功能已經(jīng)實(shí)現(xiàn)了。
3、目標(biāo)文件夾中已有文件不再復(fù)制
一個簡單的方法就是在目標(biāo)文件夾中復(fù)制文件之前先利用函數(shù)“os.path.exists”判定這個文件是否存在。
import os path_s = 'F:\\test\\s' path_t = 'F:\\test\\t' def copy_file(paths,patht): for filename in os.listdir(paths): filename_s = paths+os.sep+filename filename_t = patht+os.sep+filename if os.path.isdir(filename_s): if not os.path.exists(filename_t): os.mkdir(filename_t) copy_file(filename_s,filename_t) else: if os.path.exists(filename_t): print '[*] "%s" already exists! ' % filename_t else: print '[*] Source :',filename_s print '[*] Target :',filename_t with open(filename_s,'rb') as f_s: with open(filename_t,'wb') as f_t: f_t.write(f_s.read()) copy_file(path_s,path_t)
這個辦法避免了一部分已有文件的重復(fù)復(fù)制操作,減少了部分不必要的讀寫操作,但是卻無法消除內(nèi)容相同但名稱、路徑不同的重復(fù)文件。
4、利用MD5判定重復(fù)文件
目前判定兩個文件是否相同,除了按字節(jié)逐個對比這個笨方法外,簡單常用的辦法就是利用MD5和CRC校驗(yàn),或是按一定規(guī)律挑取文件的指定位置的數(shù)據(jù)塊就行對比。
這次利用文件的MD5值,將目標(biāo)文件夾中已有文件的MD5值保存到列表或字典中,每在源文件夾中讀取一個文件就判定該文件的MD5值是否已經(jīng)存在于MD5列表,沒有的話再進(jìn)行復(fù)制操作,并將該文件的MD5值寫入列表。
import os import hashlib path_s = 'F:\\test\\s' path_t = 'F:\\test\\t' list_file = {} def create_file_list(path): for name in os.listdir(path): filename = path+os.sep+name if os.path.isdir(filename): create_file_list(filename) else: with open(filename,'rb') as f: md5 = hashlib.md5(f.read()).hexdigest() if md5 not in list_file: list_file[md5] = 1 def copy_file(paths,patht): for filename in os.listdir(paths): filename_s = paths+os.sep+filename filename_t = patht+os.sep+filename if os.path.isdir(filename_s): if not os.path.exists(filename_t): os.mkdir(filename_t) copy_file(filename_s,filename_t) else: if os.path.exists(filename_t): print '[*] "%s" already exists! ' % filename_t else: with open(filename_s,'rb') as f_s: data = f_s.read() file_md5 = hashlib.md5(data).hexdigest() if file_md5 not in list_file: list_file[file_md5] = 1 print '[*] Source :',filename_s print '[*] Target :',filename_t with open(filename_t,'wb') as f_t: f_t.write(data) else: print '[*] "%s"\'s MD5 already exists! ' % filename_t create_file_list(path_t) copy_file(path_s,path_t)
如下圖,運(yùn)行后內(nèi)容相同的幾個文件,只有第一次讀取到的時候才寫入目標(biāo)文件夾,其他路徑下的文件并沒有復(fù)制到目標(biāo)文件夾。
以上就是本文的全部內(nèi)容,希望對大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。
相關(guān)文章
一篇文章教你掌握python數(shù)據(jù)類型的底層實(shí)現(xiàn)
這篇文章主要介紹了Python 數(shù)據(jù)類型的底層實(shí)現(xiàn)原理分析,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2021-09-09Python并發(fā)編程協(xié)程(Coroutine)之Gevent詳解
這篇文章主要介紹了Python并發(fā)編程協(xié)程(Coroutine)之Gevent詳解,具有一定借鑒價值,需要的朋友可以參考下2017-12-12Python Vaex實(shí)現(xiàn)快速分析100G大數(shù)據(jù)量
Vaex是一個開源的DataFrame庫,它可以對表格數(shù)據(jù)集進(jìn)行可視化、探索、分析,甚至機(jī)器學(xué)習(xí),這些數(shù)據(jù)集和你的硬盤驅(qū)動器一樣大。本文就來聊聊如何利用Vaex實(shí)現(xiàn)快速分析100G大數(shù)據(jù)量,需要的可以參考一下2023-03-03Python如何讀寫二進(jìn)制數(shù)組數(shù)據(jù)
這篇文章主要介紹了Python如何讀寫二進(jìn)制數(shù)組數(shù)據(jù),文中講解非常細(xì)致,代碼幫助大家更好的理解和學(xué)習(xí),感興趣的朋友可以了解下2020-08-08詳解Python的Django框架中的Cookie相關(guān)處理
這篇文章主要介紹了詳解Python的Django框架中的Cookie相關(guān)處理,Cookie存儲是每個開發(fā)框架都會著重注意的重要功能,需要的朋友可以參考下2015-07-07PyTorch里面的torch.nn.Parameter()詳解
今天小編就為大家分享一篇PyTorch里面的torch.nn.Parameter()詳解,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2020-01-01