Python實(shí)現(xiàn)的多進(jìn)程拷貝文件并顯示百分比功能示例
本文實(shí)例講述了Python實(shí)現(xiàn)的多進(jìn)程拷貝文件并顯示百分比功能。分享給大家供大家參考,具體如下:
centos7下查看cup核數(shù):
# 總核數(shù) = 物理CPU個(gè)數(shù) X 每顆物理CPU的核數(shù) # 總邏輯CPU數(shù) = 物理CPU個(gè)數(shù) X 每顆物理CPU的核數(shù) X 超線程數(shù) # 查看物理CPU個(gè)數(shù) cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l # 查看每個(gè)物理CPU中core的個(gè)數(shù)(即核數(shù)) cat /proc/cpuinfo| grep "cpu cores"| uniq # 查看邏輯CPU的個(gè)數(shù) cat /proc/cpuinfo| grep "processor"| wc -l
本示例拷貝文件采用的是最簡(jiǎn)單的但是有最復(fù)雜的方式:
1,根據(jù)要拷貝的文件夾名稱,創(chuàng)建一個(gè)新的文件夾用來存儲(chǔ)文件
2,讀取源文件夾下的文件內(nèi)容,將其寫入目的文件夾下同名的文件中
直接上代碼:
# coding=utf-8 from multiprocessing import Pool, Manager import os import traceback import time def copyFileTask(name, oldFolderName, newFolderName, queue): """copy文件""" fr = open(oldFolderName+"/"+name) fw = open(newFolderName+"/"+name, "w") content = fr.read() fw.write(content) fr.close() fw.close() # 將copy完成的文件名稱put進(jìn)隊(duì)列 queue.put(name) def main(): try: # 0. 獲取要copy的文件夾 # oldFolderName = input("請(qǐng)輸入文件夾的名字:") # python3 oldFolderName = raw_input("請(qǐng)輸入文件夾的名字:") # python2 # 1. 創(chuàng)建一個(gè)新的文件夾 print 'mkdir new file ------' newFolderName = str(oldFolderName) + "-copy" # print(newFolderName) os.mkdir(newFolderName) # 2. 獲取old文件夾中的所有的文件名字 fileNames = os.listdir(oldFolderName) # print(fileNames) # 3. 使用多進(jìn)程的方式copy 原文件夾中的所有文件到新的文件夾中 pool = Pool(5) # 創(chuàng)建一個(gè)隊(duì)列 queue = Manager().Queue() for name in fileNames: pool.apply_async(copyFileTask, args=(name, oldFolderName, newFolderName, queue)) pool.close() # 關(guān)閉進(jìn)程池,不再接受請(qǐng)求 pool.join() # 等待所有的子進(jìn)程結(jié)束 num = 0 # 需要copy的文件總數(shù) allNum = len(fileNames) while num < allNum: # 收數(shù)據(jù) queue.get() num += 1 copyRate = float(num) / allNum # 打印copy的進(jìn)度 time.sleep(0.1) # 容易看出來打印百分比的變化,延長(zhǎng)百分比更新的時(shí)間 print "\rcopy的進(jìn)度是:%.2f%%" % (copyRate*100), print "\ncopy success ------" except: traceback.print_exc() if __name__ == "__main__": main()
下面采用python模塊shutil模塊進(jìn)行copy操作:
# coding=utf-8 from multiprocessing import Pool, Manager import os import traceback import time import shutil def copyFileTask(name, old_path, new_path, queue): """copy文件""" src_path = os.path.join(old_path, name) dst_path = os.path.join(new_path, name) shutil.copy(src_path, dst_path) # 拷貝文件 # shitil.move(src_path, dst_path) # 移動(dòng)文件 # 將copy完成的文件名稱put進(jìn)隊(duì)列 queue.put(name) def main(): try: # 0. 獲取要copy的文件夾 oldFolderName = raw_input("請(qǐng)輸入文件夾的名字:") print '要拷貝的源文件夾: ', oldFolderName # 1. 創(chuàng)建一個(gè)新的文件夾 newFolderName = raw_input("請(qǐng)輸入文件夾的名字:") print '目標(biāo)文件夾:', newFolderName # 獲取當(dāng)前所在的路徑 now_path = os.getcwd() print "當(dāng)前所在路徑: ", now_path old_path = os.path.join(now_path, oldFolderName) print '源文件夾路徑: ', old_path new_path = os.path.join(now_path, newFolderName) print '目標(biāo)文件夾路徑: ', new_path if not os.path.exists(new_path): os.mkdir(new_path) # 3. 使用多進(jìn)程的方式copy 原文件夾中的所有文件到新的文件夾中 pool = Pool(5) # 創(chuàng)建5條進(jìn)程 queue = Manager().Queue() # 創(chuàng)建一個(gè)隊(duì)列 # 遍歷源文件夾 for root, dirs, files in os.walk(oldFolderName): """ root 所指的是當(dāng)前正在遍歷的這個(gè)文件夾的本身的地址 dirs 是一個(gè) list ,內(nèi)容是該文件夾中所有的目錄的名字(不包括子目錄) files 同樣是 list , 內(nèi)容是該文件夾中所有的文件(不包括子目錄) """ print '源文件夾下的文件數(shù)量::', len(files) s_t = time.time() for file in files: pool.apply_async(copyFileTask, args=(file, old_path, new_path, queue)) # 向進(jìn)程池中添加任務(wù) pool.close() # 關(guān)閉進(jìn)程池,不再接受請(qǐng)求 pool.join() # 等待所有的子進(jìn)程結(jié)束 print '耗時(shí):{} 秒'.format(time.time() - s_t) num = 0 # 需要copy的文件總數(shù) allNum = len(files) print 'len(fileNames) = ', allNum while True: # 收數(shù)據(jù) # print '收數(shù)據(jù) ------' queue.get() # print 'queue.get() ------', queue.get() num += 1 copyRate = float(num) / allNum # 打印copy的進(jìn)度 print "\rcopy的進(jìn)度是:%.2f%%" % (copyRate*100), if num == allNum: break print "\ncopy success ------" except: traceback.print_exc() if __name__ == "__main__": main()
輸出:(由于我的cup核數(shù)為1核,在使用多進(jìn)程的過程中,操作系統(tǒng)在輪詢的時(shí)候,頻繁的切換任務(wù),浪費(fèi)時(shí)間導(dǎo)致多進(jìn)程比單進(jìn)程耗時(shí)更長(zhǎng)。)
[root@centos7 mnt]# python copy_file_test.py
請(qǐng)輸入文件夾的名字:hdfs
要拷貝的源文件夾: hdfs
請(qǐng)輸入文件夾的名字:test01
目標(biāo)文件夾: test01
當(dāng)前所在路徑: /mnt
源文件夾路徑: /mnt/hdfs
目標(biāo)文件夾路徑: /mnt/test01
源文件夾下的文件數(shù)量:: 8165
耗時(shí):253.655323982 秒
len(fileNames) = 8165
copy的進(jìn)度是:100.00%
copy success ------
單進(jìn)程拷貝文件:
# coding=utf-8 from Queue import Queue import os import traceback import time import shutil def copyFileTask(name, old_path, new_path, queue): """copy文件""" src_path = os.path.join(old_path, name) dst_path = os.path.join(new_path, name) shutil.copy(src_path, dst_path) # 拷貝文件 # shitil.move(src_path, dst_path) # 移動(dòng)文件 # 將copy完成的文件名稱put進(jìn)隊(duì)列 queue.put(name) def main(): try: # 0. 獲取要copy的文件夾 oldFolderName = raw_input("請(qǐng)輸入文件夾的名字:") print '要拷貝的源文件夾: ', oldFolderName # 1. 創(chuàng)建一個(gè)新的文件夾 newFolderName = raw_input("請(qǐng)輸入文件夾的名字:") print '目標(biāo)文件夾:', newFolderName # 獲取當(dāng)前所在的路徑 now_path = os.getcwd() print "當(dāng)前所在路徑: ", now_path old_path = os.path.join(now_path, oldFolderName) print '源文件夾路徑: ', old_path new_path = os.path.join(now_path, newFolderName) print '目標(biāo)文件夾路徑: ', new_path if not os.path.exists(new_path): os.mkdir(new_path) queue = Queue() # 創(chuàng)建一個(gè)隊(duì)列 # 遍歷源文件夾 for root, dirs, files in os.walk(oldFolderName): """ root 所指的是當(dāng)前正在遍歷的這個(gè)文件夾的本身的地址 dirs 是一個(gè) list ,內(nèi)容是該文件夾中所有的目錄的名字(不包括子目錄) files 同樣是 list , 內(nèi)容是該文件夾中所有的文件(不包括子目錄) """ print '源文件夾下的文件數(shù)量::', len(files) s_t = time.time() # 調(diào)用函數(shù)拷貝文件 for file in files: copyFileTask(file, old_path, new_path, queue) print '耗時(shí):{} 秒'.format(time.time() - s_t) num = 0 # 需要copy的文件總數(shù) allNum = len(files) print 'len(fileNames) = ', allNum while True: # 收數(shù)據(jù) # print '收數(shù)據(jù) ------' queue.get() # print 'queue.get() ------', queue.get() num += 1 copyRate = float(num) / allNum # 打印copy的進(jìn)度 print "\rcopy的進(jìn)度是:%.2f%%" % (copyRate*100), if num == allNum: break print "\ncopy success ------" except: traceback.print_exc() if __name__ == "__main__": main()
輸出:
[root@centos7 mnt]# python copy_file_test_dan.py
請(qǐng)輸入文件夾的名字:hdfs
要拷貝的源文件夾: hdfs
請(qǐng)輸入文件夾的名字:test02
目標(biāo)文件夾: test02
當(dāng)前所在路徑: /mnt
源文件夾路徑: /mnt/hdfs
目標(biāo)文件夾路徑: /mnt/test02
源文件夾下的文件數(shù)量:: 8165
耗時(shí):122.284090996 秒
len(fileNames) = 8165
copy的進(jìn)度是:100.00%
copy success ------
我的虛擬機(jī)cpu核數(shù):1
如下:
[root@centos7 mnt]# cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l 1 [root@centos7 mnt]# cat /proc/cpuinfo| grep "cpu cores"| uniq cpu cores : 1 [root@centos7 mnt]# cat /proc/cpuinfo| grep "processor"| wc -l 1
更多關(guān)于Python相關(guān)內(nèi)容感興趣的讀者可查看本站專題:《Python文件與目錄操作技巧匯總》、《Python文本文件操作技巧匯總》、《Python數(shù)據(jù)結(jié)構(gòu)與算法教程》、《Python函數(shù)使用技巧總結(jié)》、《Python字符串操作技巧匯總》及《Python入門與進(jìn)階經(jīng)典教程》
希望本文所述對(duì)大家Python程序設(shè)計(jì)有所幫助。
相關(guān)文章
分析運(yùn)行中的 Python 進(jìn)程詳細(xì)解析
這篇文章主要介紹了分析運(yùn)行中的 Python 進(jìn)程,本文給大家介紹的非常詳細(xì),具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2019-06-06如何查看Django ORM執(zhí)行的SQL語句的實(shí)現(xiàn)
這篇文章主要介紹了如何查看Django ORM執(zhí)行的SQL語句的實(shí)現(xiàn),文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-04-04Python基于遞歸算法實(shí)現(xiàn)的走迷宮問題
這篇文章主要介紹了Python基于遞歸算法實(shí)現(xiàn)的走迷宮問題,結(jié)合迷宮問題簡(jiǎn)單分析了Python遞歸算法的定義與使用技巧,需要的朋友可以參考下2017-08-08Python實(shí)現(xiàn)讀取文件的方法總結(jié)
這篇文章主要為大家詳細(xì)介紹了Python中實(shí)現(xiàn)讀取文件效果的幾種方法總結(jié),文中的示例代碼講解詳細(xì),感興趣的小伙伴可以了解一下2022-09-09Python數(shù)據(jù)類型之Number數(shù)字操作實(shí)例詳解
這篇文章主要介紹了Python數(shù)據(jù)類型之Number數(shù)字操作,結(jié)合實(shí)例形式詳細(xì)分析了Python數(shù)字類型的概念、功能、分類及常用數(shù)學(xué)函數(shù)相關(guān)使用技巧,需要的朋友可以參考下2019-05-05