對Python subprocess.Popen子進(jìn)程管道阻塞詳解
問題產(chǎn)生描述
使用子進(jìn)程處理一個(gè)大的日志文件,并對文件進(jìn)行分析查詢,需要等待子進(jìn)程執(zhí)行的輸出結(jié)果,進(jìn)行下一步處理。
出問題的代碼
# 啟用子進(jìn)程執(zhí)行外部shell命令 def __subprocess(self,cmd): try: # 執(zhí)行外部shell命令, 輸出結(jié)果輸出管道 p = subprocess.Popen(cmd, shell=True, stdout=subprocess.PIPE, stderr=subprocess.STDOUT) p.wait() # 從標(biāo)準(zhǔn)輸出讀出shell命令的輸出結(jié)果 #rt = p.stdout.read().decode() # 以換行符拆分?jǐn)?shù)據(jù),并去掉換行符號(hào)存入列表 rt_list = rt.strip().split('\n') except Exception as e: if(DEBUG): print(traceback.format_exc()) return rt_list
問題分析
子進(jìn)程產(chǎn)生一些數(shù)據(jù),他們會(huì)被buffer起來,當(dāng)buffer滿了,會(huì)寫到子進(jìn)程的標(biāo)準(zhǔn)輸出和標(biāo)準(zhǔn)錯(cuò)誤輸出,這些東西通過管道發(fā)送給父進(jìn)程。當(dāng)管道滿了之后,子進(jìn)程就停止寫入,于是就卡住了,及時(shí)取走管道的輸出就不會(huì)出現(xiàn)阻塞了
但是本人此處采取的是臨時(shí)文件接收子進(jìn)程輸出,由于臨時(shí)文件是建立在磁盤上的,沒有size的限制,并且文件被close后,相應(yīng)的磁盤上的空間也會(huì)被釋放掉。
已改進(jìn)的代碼
import tempfile # 啟用子進(jìn)程執(zhí)行外部shell命令 def __subprocess(self,cmd): try: # 得到一個(gè)臨時(shí)文件對象, 調(diào)用close后,此文件從磁盤刪除 out_temp = tempfile.TemporaryFile(mode='w+') # 獲取臨時(shí)文件的文件號(hào) fileno = out_temp.fileno() # 執(zhí)行外部shell命令, 輸出結(jié)果存入臨時(shí)文件中 p = subprocess.Popen(cmd, shell=True, stdout=fileno, stderr=fileno) p.wait() # 從臨時(shí)文件讀出shell命令的輸出結(jié)果 out_temp.seek(0) rt = out_temp.read() # 以換行符拆分?jǐn)?shù)據(jù),并去掉換行符號(hào)存入列表 rt_list = rt.strip().split('\n') except Exception as e: if(DEBUG): print(traceback.format_exc()) finally: if out_temp: out_temp.close() return rt_list
以上這篇對Python subprocess.Popen子進(jìn)程管道阻塞詳解就是小編分享給大家的全部內(nèi)容了,希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。
- python基礎(chǔ)教程之popen函數(shù)操作其它程序的輸入和輸出示例
- Python?subprocess.Popen?實(shí)時(shí)輸出?stdout的解決方法(正確管道寫法)
- Python調(diào)用系統(tǒng)命令的四種方法詳解(os.system、os.popen、commands、subprocess)
- Python調(diào)用系統(tǒng)命令os.system()和os.popen()的實(shí)現(xiàn)
- 解決python3中os.popen()出錯(cuò)的問題
- python中的subprocess.Popen()使用詳解
- Python中的Popen函數(shù)demo演示
相關(guān)文章
Python實(shí)現(xiàn)一個(gè)服務(wù)器監(jiān)聽多個(gè)客戶端請求
這篇文章主要為大家詳細(xì)介紹了Python如何實(shí)現(xiàn)一個(gè)服務(wù)器監(jiān)聽多個(gè)客戶端請求,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2018-04-04通過Python OpenGL的point sprite技術(shù)繪制雪花
通常,點(diǎn)精靈(point sprite)技術(shù)被用于描述大量粒子在屏幕上的運(yùn)動(dòng),自然也可以用于繪制雪花。本文將通過Python OpenGL繪制雪花,感興趣的可以動(dòng)手試一試2022-02-02Python測試函數(shù)出現(xiàn)AssertionError:None?!=?‘Janis?Joplin‘問題及解決
這篇文章主要介紹了Python測試函數(shù)出現(xiàn)AssertionError:None?!=?‘Janis?Joplin‘問題及解決方案,具有很好的參考價(jià)值,希望對大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2023-09-09python requests爬取高德地圖數(shù)據(jù)的實(shí)例
今天小編就為大家分享一篇python requests爬取高德地圖數(shù)據(jù)的實(shí)例,具有很好的參考價(jià)值,希望對大家有所幫助。一起跟隨小編過來看看吧2018-11-11