快捷導(dǎo)航

Python多進(jìn)程寫(xiě)入同一文件的方法

更新時(shí)間：2019年01月14日 08:51:38 作者：bluespacezero

今天小編就為大家分享一篇Python多進(jìn)程寫(xiě)入同一文件的方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧

最近用python的正則表達(dá)式處理了一些文本數(shù)據(jù)，需要把結(jié)果寫(xiě)到文件里面，但是由于文件比較大，所以運(yùn)行起來(lái)花費(fèi)的時(shí)間很長(zhǎng)。但是打開(kāi)任務(wù)管理器發(fā)現(xiàn)CPU只占用了25%，上網(wǎng)找了一下原因發(fā)現(xiàn)是由于一個(gè)叫GIL的存在，使得Python在同一時(shí)間只能運(yùn)行一個(gè)線程，所以只占用了一個(gè)CPU，由于我的電腦是4核的，所以CPU利用率就是25%了。

既然多線程沒(méi)有什么用處，那就可以使用多進(jìn)程來(lái)處理，畢竟多進(jìn)程是可以不受GIL影響的。Python提供了一個(gè)multiprocessing的多進(jìn)程庫(kù)，但是多進(jìn)程也有一些問(wèn)題，比如，如果進(jìn)程都需要寫(xiě)入同一個(gè)文件，那么就會(huì)出現(xiàn)多個(gè)進(jìn)程爭(zhēng)用資源的問(wèn)題，如果不解決，那就會(huì)使文件的內(nèi)容順序雜亂。這就需要涉及到鎖了，但是加鎖一般會(huì)造成程序的執(zhí)行速度下降，而且如果進(jìn)程在多處需要向文件輸出，也不好把這些代碼整個(gè)都鎖起來(lái)，如果都鎖起來(lái)，那跟單進(jìn)程還有什么區(qū)別。有一個(gè)解決辦法就是把向文件的輸出都整合到一塊去，在這一塊集中加個(gè)鎖，這樣問(wèn)題就不大了。不過(guò)還有一種更加優(yōu)雅的解決方式：使用multiprocessing庫(kù)的回調(diào)函數(shù)功能。

具體思路跟把文件輸出集中在一起也差不多，就是把進(jìn)程需要寫(xiě)入文件的內(nèi)容作為返回值返回給惠和的回調(diào)函數(shù)，使用回調(diào)函數(shù)向文件中寫(xiě)入內(nèi)容。這樣做在windows下面還有一個(gè)好處，在windows環(huán)境下，python的多進(jìn)程沒(méi)有像linux環(huán)境下的多進(jìn)程一樣，linux環(huán)境下的multiprocessing庫(kù)是基于fork函數(shù)，父進(jìn)程fork了一個(gè)子進(jìn)程之后會(huì)把自己的資源，比如文件句柄都傳遞給子進(jìn)程。但是在windows環(huán)境下沒(méi)有fork函數(shù)，所以如果你在父進(jìn)程里打開(kāi)了一個(gè)文件，在子進(jìn)程中寫(xiě)入，會(huì)出現(xiàn)ValueError: I/O operation on closed file這樣的錯(cuò)誤，而且在windows環(huán)境下最好加入if __name__ == '__main__'這樣的判斷，以避免一些可能出現(xiàn)的RuntimeError或者死鎖。

下面是代碼：

from multiprocessing import Pool
import time


def mycallback(x):
  with open('123.txt', 'a+') as f:
    f.writelines(str(x))


def sayHi(num):
  return num


if __name__ == '__main__':
  e1 = time.time()
  pool = Pool()

  for i in range(10):
    pool.apply_async(sayHi, (i,), callback=mycallback)

  pool.close()
  pool.join()
  e2 = time.time()
  print float(e2 - e1)

運(yùn)行結(jié)果如下：

Python多進(jìn)程寫(xiě)入同一文件