欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Python實(shí)現(xiàn)的多進(jìn)程拷貝文件并顯示百分比功能示例

 更新時(shí)間:2019年04月09日 10:28:11   作者:xuezhangjun  
這篇文章主要介紹了Python實(shí)現(xiàn)的多進(jìn)程拷貝文件并顯示百分比功能,涉及Python多進(jìn)程、文件遍歷、拷貝等相關(guān)操作技巧,需要的朋友可以參考下

本文實(shí)例講述了Python實(shí)現(xiàn)的多進(jìn)程拷貝文件并顯示百分比功能。分享給大家供大家參考,具體如下:

centos7下查看cup核數(shù):

# 總核數(shù) = 物理CPU個(gè)數(shù) X 每顆物理CPU的核數(shù)
# 總邏輯CPU數(shù) = 物理CPU個(gè)數(shù) X 每顆物理CPU的核數(shù) X 超線程數(shù)
# 查看物理CPU個(gè)數(shù)
cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l
# 查看每個(gè)物理CPU中core的個(gè)數(shù)(即核數(shù))
cat /proc/cpuinfo| grep "cpu cores"| uniq
# 查看邏輯CPU的個(gè)數(shù)
cat /proc/cpuinfo| grep "processor"| wc -l

本示例拷貝文件采用的是最簡(jiǎn)單的但是有最復(fù)雜的方式:

1,根據(jù)要拷貝的文件夾名稱,創(chuàng)建一個(gè)新的文件夾用來存儲(chǔ)文件

2,讀取源文件夾下的文件內(nèi)容,將其寫入目的文件夾下同名的文件中

直接上代碼:

# coding=utf-8
from multiprocessing import Pool, Manager
import os
import traceback
import time
def copyFileTask(name, oldFolderName, newFolderName, queue):
  """copy文件"""
  fr = open(oldFolderName+"/"+name)
  fw = open(newFolderName+"/"+name, "w")
  content = fr.read()
  fw.write(content)
  fr.close()
  fw.close()
  # 將copy完成的文件名稱put進(jìn)隊(duì)列
  queue.put(name)
def main():
  try:
    # 0. 獲取要copy的文件夾
    # oldFolderName = input("請(qǐng)輸入文件夾的名字:") # python3
    oldFolderName = raw_input("請(qǐng)輸入文件夾的名字:") # python2
    # 1. 創(chuàng)建一個(gè)新的文件夾
    print 'mkdir new file ------'
    newFolderName = str(oldFolderName) + "-copy"
    # print(newFolderName)
    os.mkdir(newFolderName)
    # 2. 獲取old文件夾中的所有的文件名字
    fileNames = os.listdir(oldFolderName)
    # print(fileNames)
    # 3. 使用多進(jìn)程的方式copy 原文件夾中的所有文件到新的文件夾中
    pool = Pool(5)
    # 創(chuàng)建一個(gè)隊(duì)列
    queue = Manager().Queue()
    for name in fileNames:
      pool.apply_async(copyFileTask, args=(name, oldFolderName, newFolderName, queue))
    pool.close() # 關(guān)閉進(jìn)程池,不再接受請(qǐng)求
    pool.join() # 等待所有的子進(jìn)程結(jié)束
    num = 0
    # 需要copy的文件總數(shù)
    allNum = len(fileNames)
    while num < allNum:
      # 收數(shù)據(jù)
      queue.get()
      num += 1
      copyRate = float(num) / allNum
      # 打印copy的進(jìn)度
      time.sleep(0.1) # 容易看出來打印百分比的變化,延長(zhǎng)百分比更新的時(shí)間
      print "\rcopy的進(jìn)度是:%.2f%%" % (copyRate*100),
    print "\ncopy success ------"
  except:
    traceback.print_exc()
if __name__ == "__main__":
  main()

下面采用python模塊shutil模塊進(jìn)行copy操作:

# coding=utf-8
from multiprocessing import Pool, Manager
import os
import traceback
import time
import shutil
def copyFileTask(name, old_path, new_path, queue):
  """copy文件"""
  src_path = os.path.join(old_path, name)
  dst_path = os.path.join(new_path, name)
  shutil.copy(src_path, dst_path) # 拷貝文件
  # shitil.move(src_path, dst_path) # 移動(dòng)文件
  # 將copy完成的文件名稱put進(jìn)隊(duì)列
  queue.put(name)
def main():
  try:
    # 0. 獲取要copy的文件夾
    oldFolderName = raw_input("請(qǐng)輸入文件夾的名字:")
    print '要拷貝的源文件夾: ', oldFolderName
    # 1. 創(chuàng)建一個(gè)新的文件夾
    newFolderName = raw_input("請(qǐng)輸入文件夾的名字:")
    print '目標(biāo)文件夾:', newFolderName
    # 獲取當(dāng)前所在的路徑
    now_path = os.getcwd()
    print "當(dāng)前所在路徑: ", now_path
    old_path = os.path.join(now_path, oldFolderName)
    print '源文件夾路徑: ', old_path
    new_path = os.path.join(now_path, newFolderName)
    print '目標(biāo)文件夾路徑: ', new_path
    if not os.path.exists(new_path):
      os.mkdir(new_path)
    # 3. 使用多進(jìn)程的方式copy 原文件夾中的所有文件到新的文件夾中
    pool = Pool(5) # 創(chuàng)建5條進(jìn)程
    queue = Manager().Queue() # 創(chuàng)建一個(gè)隊(duì)列
    # 遍歷源文件夾
    for root, dirs, files in os.walk(oldFolderName):
      """
      root 所指的是當(dāng)前正在遍歷的這個(gè)文件夾的本身的地址
      dirs 是一個(gè) list ,內(nèi)容是該文件夾中所有的目錄的名字(不包括子目錄)
      files 同樣是 list , 內(nèi)容是該文件夾中所有的文件(不包括子目錄)
      """
      print '源文件夾下的文件數(shù)量::', len(files)
      s_t = time.time()
      for file in files:
        pool.apply_async(copyFileTask, args=(file, old_path, new_path, queue)) # 向進(jìn)程池中添加任務(wù)
      pool.close() # 關(guān)閉進(jìn)程池,不再接受請(qǐng)求
      pool.join() # 等待所有的子進(jìn)程結(jié)束
      print '耗時(shí):{} 秒'.format(time.time() - s_t)
      num = 0
      # 需要copy的文件總數(shù)
      allNum = len(files)
      print 'len(fileNames) = ', allNum
      while True:
        # 收數(shù)據(jù)
        # print '收數(shù)據(jù) ------'
        queue.get()
        # print 'queue.get() ------', queue.get()
        num += 1
        copyRate = float(num) / allNum
        # 打印copy的進(jìn)度
        print "\rcopy的進(jìn)度是:%.2f%%" % (copyRate*100),
        if num == allNum:
          break
    print "\ncopy success ------"
  except:
    traceback.print_exc()
if __name__ == "__main__":
  main()

輸出:(由于我的cup核數(shù)為1核,在使用多進(jìn)程的過程中,操作系統(tǒng)在輪詢的時(shí)候,頻繁的切換任務(wù),浪費(fèi)時(shí)間導(dǎo)致多進(jìn)程比單進(jìn)程耗時(shí)更長(zhǎng)。)

[root@centos7 mnt]# python copy_file_test.py
請(qǐng)輸入文件夾的名字:hdfs
要拷貝的源文件夾:  hdfs
請(qǐng)輸入文件夾的名字:test01
目標(biāo)文件夾: test01
當(dāng)前所在路徑:  /mnt
源文件夾路徑:  /mnt/hdfs
目標(biāo)文件夾路徑:  /mnt/test01
源文件夾下的文件數(shù)量:: 8165
耗時(shí):253.655323982 秒
len(fileNames) =  8165
copy的進(jìn)度是:100.00%
copy success ------

單進(jìn)程拷貝文件:

# coding=utf-8
from Queue import Queue
import os
import traceback
import time
import shutil
def copyFileTask(name, old_path, new_path, queue):
  """copy文件"""
  src_path = os.path.join(old_path, name)
  dst_path = os.path.join(new_path, name)
  shutil.copy(src_path, dst_path) # 拷貝文件
  # shitil.move(src_path, dst_path) # 移動(dòng)文件
  # 將copy完成的文件名稱put進(jìn)隊(duì)列
  queue.put(name)
def main():
  try:
    # 0. 獲取要copy的文件夾
    oldFolderName = raw_input("請(qǐng)輸入文件夾的名字:")
    print '要拷貝的源文件夾: ', oldFolderName
    # 1. 創(chuàng)建一個(gè)新的文件夾
    newFolderName = raw_input("請(qǐng)輸入文件夾的名字:")
    print '目標(biāo)文件夾:', newFolderName
    # 獲取當(dāng)前所在的路徑
    now_path = os.getcwd()
    print "當(dāng)前所在路徑: ", now_path
    old_path = os.path.join(now_path, oldFolderName)
    print '源文件夾路徑: ', old_path
    new_path = os.path.join(now_path, newFolderName)
    print '目標(biāo)文件夾路徑: ', new_path
    if not os.path.exists(new_path):
      os.mkdir(new_path)
    queue = Queue() # 創(chuàng)建一個(gè)隊(duì)列
    # 遍歷源文件夾
    for root, dirs, files in os.walk(oldFolderName):
      """
      root 所指的是當(dāng)前正在遍歷的這個(gè)文件夾的本身的地址
      dirs 是一個(gè) list ,內(nèi)容是該文件夾中所有的目錄的名字(不包括子目錄)
      files 同樣是 list , 內(nèi)容是該文件夾中所有的文件(不包括子目錄)
      """
      print '源文件夾下的文件數(shù)量::', len(files)
      s_t = time.time()
      # 調(diào)用函數(shù)拷貝文件
      for file in files:
        copyFileTask(file, old_path, new_path, queue)
      print '耗時(shí):{} 秒'.format(time.time() - s_t)
      num = 0
      # 需要copy的文件總數(shù)
      allNum = len(files)
      print 'len(fileNames) = ', allNum
      while True:
        # 收數(shù)據(jù)
        # print '收數(shù)據(jù) ------'
        queue.get()
        # print 'queue.get() ------', queue.get()
        num += 1
        copyRate = float(num) / allNum
        # 打印copy的進(jìn)度
        print "\rcopy的進(jìn)度是:%.2f%%" % (copyRate*100),
        if num == allNum:
          break
    print "\ncopy success ------"
  except:
    traceback.print_exc()
if __name__ == "__main__":
  main()

輸出:

[root@centos7 mnt]# python copy_file_test_dan.py
請(qǐng)輸入文件夾的名字:hdfs
要拷貝的源文件夾:  hdfs
請(qǐng)輸入文件夾的名字:test02
目標(biāo)文件夾: test02
當(dāng)前所在路徑:  /mnt
源文件夾路徑:  /mnt/hdfs
目標(biāo)文件夾路徑:  /mnt/test02
源文件夾下的文件數(shù)量:: 8165
耗時(shí):122.284090996 秒
len(fileNames) =  8165
copy的進(jìn)度是:100.00%
copy success ------

我的虛擬機(jī)cpu核數(shù):1

如下:

[root@centos7 mnt]# cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l
1
[root@centos7 mnt]# cat /proc/cpuinfo| grep "cpu cores"| uniq
cpu cores : 1
[root@centos7 mnt]# cat /proc/cpuinfo| grep "processor"| wc -l
1

更多關(guān)于Python相關(guān)內(nèi)容感興趣的讀者可查看本站專題:《Python文件與目錄操作技巧匯總》、《Python文本文件操作技巧匯總》、《Python數(shù)據(jù)結(jié)構(gòu)與算法教程》、《Python函數(shù)使用技巧總結(jié)》、《Python字符串操作技巧匯總》及《Python入門與進(jìn)階經(jīng)典教程

希望本文所述對(duì)大家Python程序設(shè)計(jì)有所幫助。

相關(guān)文章

  • 分析運(yùn)行中的 Python 進(jìn)程詳細(xì)解析

    分析運(yùn)行中的 Python 進(jìn)程詳細(xì)解析

    這篇文章主要介紹了分析運(yùn)行中的 Python 進(jìn)程,本文給大家介紹的非常詳細(xì),具有一定的參考借鑒價(jià)值,需要的朋友可以參考下
    2019-06-06
  • OpenCV 之按位運(yùn)算舉例解析

    OpenCV 之按位運(yùn)算舉例解析

    這篇文章主要介紹了OpenCV之按位運(yùn)算舉例解析,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2020-06-06
  • python怎么調(diào)用自己的函數(shù)

    python怎么調(diào)用自己的函數(shù)

    在本篇文章里小編給大家分享了關(guān)于python調(diào)用自己的函數(shù)的實(shí)例方法,有興趣的朋友們可以學(xué)習(xí)參考下。
    2020-07-07
  • 如何查看Django ORM執(zhí)行的SQL語句的實(shí)現(xiàn)

    如何查看Django ORM執(zhí)行的SQL語句的實(shí)現(xiàn)

    這篇文章主要介紹了如何查看Django ORM執(zhí)行的SQL語句的實(shí)現(xiàn),文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2020-04-04
  • Python基于遞歸算法實(shí)現(xiàn)的走迷宮問題

    Python基于遞歸算法實(shí)現(xiàn)的走迷宮問題

    這篇文章主要介紹了Python基于遞歸算法實(shí)現(xiàn)的走迷宮問題,結(jié)合迷宮問題簡(jiǎn)單分析了Python遞歸算法的定義與使用技巧,需要的朋友可以參考下
    2017-08-08
  • Python實(shí)現(xiàn)讀取文件的方法總結(jié)

    Python實(shí)現(xiàn)讀取文件的方法總結(jié)

    這篇文章主要為大家詳細(xì)介紹了Python中實(shí)現(xiàn)讀取文件效果的幾種方法總結(jié),文中的示例代碼講解詳細(xì),感興趣的小伙伴可以了解一下
    2022-09-09
  • plotly分割顯示mnist的方法詳解

    plotly分割顯示mnist的方法詳解

    這篇文章主要為大家詳細(xì)介紹了plotly分割顯示mnist的方法,文中示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下,希望能夠給你帶來幫助
    2022-03-03
  • Python數(shù)據(jù)類型之Number數(shù)字操作實(shí)例詳解

    Python數(shù)據(jù)類型之Number數(shù)字操作實(shí)例詳解

    這篇文章主要介紹了Python數(shù)據(jù)類型之Number數(shù)字操作,結(jié)合實(shí)例形式詳細(xì)分析了Python數(shù)字類型的概念、功能、分類及常用數(shù)學(xué)函數(shù)相關(guān)使用技巧,需要的朋友可以參考下
    2019-05-05
  • 使用Python從有道詞典網(wǎng)頁獲取單詞翻譯

    使用Python從有道詞典網(wǎng)頁獲取單詞翻譯

    這篇文章主要介紹了使用Python從有道詞典網(wǎng)頁獲取單詞翻譯的相關(guān)資料,需要的朋友可以參考下
    2016-07-07
  • python插入排序算法的實(shí)現(xiàn)代碼

    python插入排序算法的實(shí)現(xiàn)代碼

    這篇文章主要介紹了python插入排序算法的實(shí)現(xiàn)代碼,大家參考使用吧
    2013-11-11

最新評(píng)論