python多進(jìn)程(加入進(jìn)程池)操作常見(jiàn)案例
本文實(shí)例講述了python多進(jìn)程(加入進(jìn)程池)操作。分享給大家供大家參考,具體如下:
一、多進(jìn)程復(fù)制多個(gè)文件
import multiprocessing
import os
import time
# 復(fù)制文件,傳入文件名
def copy_file(old_file_name, old_name):
new_file_name = 'new_file'
new_name = old_name
if not os.path.exists(new_file_name):
os.makedirs(new_file_name)
with open(old_file_name + '/' + old_name, 'rb') as f:
file_content = f.read()
with open(new_file_name + '/' + new_name, 'wb') as f:
f.write(file_content)
if __name__ == '__main__':
old_file_name = 'old_file'
name_list = os.listdir(old_file_name)
time_old = time.time()
for name in name_list:
process = multiprocessing.Process(target=copy_file, args=(old_file_name, name))
process.start()
time_new = time.time()
print('執(zhí)行時(shí)間:%f' % (time_new - time_old))
二、優(yōu)化加入進(jìn)程池,并顯示復(fù)制進(jìn)度:
import multiprocessing
import os
import time
# 復(fù)制文件,傳入文件名
def copy_file(old_file_name, old_name, queue):
new_file_name = 'new_file'
new_name = old_name
if not os.path.exists(new_file_name):
os.makedirs(new_file_name)
with open(old_file_name + '/' + old_name, 'rb') as f:
file_content = f.read()
with open(new_file_name + '/' + new_name, 'wb') as f:
f.write(file_content)
queue.put(new_file_name)
if __name__ == '__main__':
old_file_name = 'old_file' #存放文件的文件名
name_list = os.listdir(old_file_name) #取出所有文件的文件名
queue = multiprocessing.Manager().Queue() #創(chuàng)建隊(duì)列對(duì)象,用于計(jì)算復(fù)制完成百分比
po = multiprocessing.Pool(3) #創(chuàng)建線程池
time_old = time.time() #用于計(jì)算花費(fèi)時(shí)間
for name in name_list:
po.apply_async(copy_file, (old_file_name, name, queue))
po.close()
index = 0
while True:
index += 1
queue.get()
print('\r以保存%.2f%%' % ((index / len(name_list)) * 100), end='')
if index == len(name_list):
break
time_new = time.time()
print('執(zhí)行時(shí)間:%f' % (time_new - time_old))
三、多進(jìn)程聊天器:
import multiprocessing
import socket
import threading
# 需求:
# 1.主進(jìn)程創(chuàng)建一個(gè)TCPconnect
# 2.主進(jìn)程connect后創(chuàng)建進(jìn)程開(kāi)啟一個(gè)新的Socketconnect
# 3.進(jìn)程里創(chuàng)建線程不斷的接收和提示發(fā)送消息
# 有連接時(shí)新創(chuàng)建一個(gè)進(jìn)程處理聊天
def speak_send(tcp_msg):
while True:
test = input('請(qǐng)輸入要發(fā)送的消息')
tcp_msg.send(test.encode('utf-8'))
def speak_rec(tcp_msg):
while True:
print(tcp_msg.recv(1024).decode('gbk'))
# 開(kāi)啟的進(jìn)程聊天
def speak_process(tcp_sock, tcp_msg, ip):
print('開(kāi)啟進(jìn)程')
# 5.開(kāi)線程循環(huán)接收消息
msg_rec = threading.Thread(target=speak_rec, args=(tcp_msg,))
# print(tcp_msg.recv(1024).decode('gbk'))
# 6.開(kāi)線程循環(huán)發(fā)送消息
msg_send = threading.Thread(target=speak_send, args=(tcp_msg,))
msg_rec.start()
msg_send.start()
msg_rec.join()
msg_send.join()
# 7.關(guān)閉
# tcp_msg.close()
def main():
# 1創(chuàng)建TCP對(duì)象
tcp_sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
# 2.綁定ip和端口
tcp_sock.bind(('', 9999))
# 3.改主動(dòng)為被動(dòng)
tcp_sock.listen(128)
# 4.accept接收msg和ip
while True:
tcp_msg, ip = tcp_sock.accept()
process = multiprocessing.Process(target=speak_process, args=(tcp_sock, tcp_msg, ip))
process.start()
if __name__ == '__main__':
main()
更多關(guān)于Python相關(guān)內(nèi)容感興趣的讀者可查看本站專(zhuān)題:《Python進(jìn)程與線程操作技巧總結(jié)》、《Python數(shù)據(jù)結(jié)構(gòu)與算法教程》、《Python函數(shù)使用技巧總結(jié)》、《Python字符串操作技巧匯總》、《Python入門(mén)與進(jìn)階經(jīng)典教程》、《Python+MySQL數(shù)據(jù)庫(kù)程序設(shè)計(jì)入門(mén)教程》及《Python常見(jiàn)數(shù)據(jù)庫(kù)操作技巧匯總》
希望本文所述對(duì)大家Python程序設(shè)計(jì)有所幫助。
相關(guān)文章
解決python pandas讀取excel中多個(gè)不同sheet表格存在的問(wèn)題
這篇文章主要介紹了解決python pandas讀取excel中多個(gè)不同sheet表格存在的問(wèn)題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-07-07
Windows下anaconda安裝第三方包的方法小結(jié)(tensorflow、gensim為例)
conda的設(shè)計(jì)理念——conda將幾乎所有的工具、第三方包都當(dāng)做package對(duì)待,甚至包括python和conda自身!因此,conda打破了包管理與環(huán)境管理的約束,能非常方便地安裝各種版本python、各種package并方便地切換2018-04-04
python pands實(shí)現(xiàn)execl轉(zhuǎn)csv 并修改csv指定列的方法
今天小編就為大家分享一篇python pands實(shí)現(xiàn)execl轉(zhuǎn)csv 并修改csv指定列的方法,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2018-12-12
python驗(yàn)證多組數(shù)據(jù)之間有無(wú)顯著差異
這篇文章主要介紹了python驗(yàn)證多組數(shù)據(jù)之間有無(wú)顯著差異,利用方差分析和卡方分布驗(yàn)證多組數(shù)據(jù)之間的某些屬性有無(wú)顯著性差異,對(duì)于連續(xù)性屬性可以用方差分析,對(duì)于離散型屬性可以用卡方檢驗(yàn)。下面文章詳細(xì)內(nèi)容需要的小伙伴可以參考一下2022-01-01
解決python3 json數(shù)據(jù)包含中文的讀寫(xiě)問(wèn)題
這篇文章主要介紹了解決python3 json數(shù)據(jù)包含中文的讀寫(xiě)問(wèn)題,需要的朋友可以參考下2021-05-05
python 進(jìn)程池的兩種不同實(shí)現(xiàn)方法示例
這篇文章主要為大家介紹了python 進(jìn)程池的兩種不同實(shí)現(xiàn)示例,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2023-05-05
設(shè)置jupyter中DataFrame的顯示限制方式
這篇文章主要介紹了設(shè)置jupyter中DataFrame的顯示限制方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)2020-04-04
python爬蟲(chóng)中采集中遇到的問(wèn)題整理
在本篇文章里小編給大家整理了關(guān)于python爬蟲(chóng)中采集中遇到的問(wèn)題整理內(nèi)容,需要的朋友們可以學(xué)習(xí)參考下。2020-11-11
Python騷操作之動(dòng)態(tài)定義函數(shù)
這篇文章主要介紹了Python騷操作之動(dòng)態(tài)定義函數(shù),文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-03-03

