一、背景

我們?nèi)粘y試中存在大量重復(fù)的造數(shù)操作，且流程較長，為了提升測試效率，我們搭建了數(shù)據(jù)構(gòu)造平臺。平臺采用了前端 + 腳本分離的形式，數(shù)據(jù)構(gòu)造腳本獨立存在，頁面和腳本的關(guān)聯(lián)關(guān)系通過頁面配置進行綁定。

頁面配置中，包含了腳本的路徑以及啟動命令，因此，運行腳本的時候需要在服務(wù)器上啟動子進程中去執(zhí)行腳本命令。為了能夠了解腳本的執(zhí)行情況，還需要獲取腳本的執(zhí)行狀態(tài)以及執(zhí)行日志。

平臺后端語言是 Python，因此，選擇了 Python 中的 subprocess 模塊，本文重點闡述 subprocess 模塊在項目實戰(zhàn)中遇到的問題以及解決方案。

本文涉及的程序執(zhí)行環(huán)境如下：

Python 版本：3.8.3

操作系統(tǒng)：windows server

二、subprocess 模塊基礎(chǔ)

subprocess 模塊允許我們啟動一個新進程，并連接到它們的輸入/輸出/錯誤管道，從而獲取返回值。subprocess 模塊首先推薦使用的是它的 run 方法，更高級的用法可以直接使用 Popen 接口。

1. subprocess.run 方法

subprocess.run() 方法是 3.5 版本新增的，用于可以接受等待進程執(zhí)行結(jié)束后獲取返回值的場景，如果可以滿足使用需求，官方推薦使用 run() 方法。
subprocess.run() 的執(zhí)行過程是同步的，腳本執(zhí)行結(jié)束之前是阻塞的，只有腳本結(jié)束之后才會返回 subprocess.CompletedProcess 對象。

2. subprocess.Popen 方法

subprocess.Popen() 是 subprocess 的核心，子進程的創(chuàng)建和管理都靠它處理。Popen() 相當(dāng)于 run() 的高級版本，更加靈活，使開發(fā)人員能夠處理 run() 方法未涵蓋的更豐富的場景。subprocess.Popen() 是異步的，進程啟動以后，我們可以通過預(yù)先指定好的 stdout 和 stderr 來實時讀取到子進程的輸出。

subprocess.Popen（）常用參數(shù)介紹：

args：shell命令，可以是字符串或者序列類型（如：list，元組）

stdin, stdout, stderr：分別表示程序的標準輸入、輸出、錯誤句柄

shell：如果該參數(shù)為 True，將通過操作系統(tǒng)的 shell 執(zhí)行指定的命令，args只能是String類型的參數(shù)；該參數(shù)為False，args可以是序列類型。

Popen 對象常用方法：

poll(): 檢查進程是否終止，如果終止返回 returncode，否則返回 None,項目中通過該方法返回判斷進程是否執(zhí)行結(jié)束。

wait(timeout): 等待子進程終止，如果進程執(zhí)行時間較長，可以使用該方法來保證進程執(zhí)行完整。

communicate(input,timeout): 和子進程交互，發(fā)送和讀取數(shù)據(jù)。

send_signal(singnal): 發(fā)送信號到子進程 。

terminate(): 停止子進程,也就是發(fā)送SIGTERM信號到子進程。

kill(): 殺死子進程。發(fā)送 SIGKILL 信號到子進程。

3. run 與 Popen 的同步/異步對比實驗

Run() 和 Popen() 同步/異步的簡單對比如下：

從執(zhí)行結(jié)果可以看出，Popen 在子進程執(zhí)行過程中就可以獲取到日志，run 需要等待進程執(zhí)行完成才能獲取到日志。如果需要執(zhí)行的命令耗時很短，可以選擇 run 方法。因為我們的數(shù)據(jù)構(gòu)造流程通常比較長，需要實時獲取日志，所以選擇了 Popen。

三、遇到的問題與解決方案

在使用 Popen 的過程中也遇到了一些問題，下面將具體介紹一下遇到的問題以及解決方案。

如何保證獲取到完整的進程執(zhí)行日志

subprocess.Popen() 可以獲取到執(zhí)行過程中的日志了，那我們?nèi)绾伪ＷC進程日志獲取的完整性呢？我們來看下具體方案：

方案一：這是我們最開始采用的方案。通過獲取方法 poll() 返回的狀態(tài)碼來檢查進程是否終止。如果終止，返回 returncode，否則返回 None，代碼如下：

該方案在使用的過程中存在問題。當(dāng)子程序已經(jīng)執(zhí)行完畢，日志還沒有獲取完整，會出現(xiàn)日志接收不全的情況。為了解決這種問題，保證日志的完整性，我們選擇通過判斷日志是否讀取完畢作為判斷依據(jù)，詳細參見方案二。

方案二：通過判斷日志是否讀取完畢保證日志完整性。代碼如下：

這種方法看似解決了日志不全的問題，但是存在著一定的風(fēng)險。日志為 None 無法有效保證子進程執(zhí)行結(jié)束（雖然經(jīng)過多方實踐，暫時沒有發(fā)現(xiàn)日志為 None 但腳本未執(zhí)行結(jié)束的情況）。為了安全起見，我們還是需要兼顧一下進程的執(zhí)行狀態(tài)，具體參見方案三。

方案三：通過判斷 poll() 返回狀態(tài)和日志返回值，也就是說，程序狀態(tài)結(jié)束且返回對象為空，才表示子進程已經(jīng)執(zhí)行結(jié)束，并且獲取到了完整的日志，代碼如下：

該方案已經(jīng)比較完善了，通過子進程執(zhí)行結(jié)束并且執(zhí)行日志為 None，保證執(zhí)行日志的完整性。美中不足的是，日志信息可能會比實際的多一些，當(dāng)輸出先讀取完畢，子進程還沒有結(jié)束，我們會獲取到一部分空行，為了日志的美觀度，我們可以進一步優(yōu)化，獲取日志的時候，過濾掉空行，代碼如下：

通過判斷輸出流和進程的執(zhí)行狀態(tài)，完美的解決了上面的問題，保證了日志的完整性與正確性。

如何保證腳本進程正常終止 當(dāng)腳本執(zhí)行以后，我們可能會因為某些原因想終止腳本的運行，如參數(shù)錯誤等。 在我們項目代碼中，使用 Popen.terminate() 去終止進程的時候，發(fā)現(xiàn)命令只終止了父進程，喚起的子進程仍然在執(zhí)行。

為了找到原因，先看一下項目中創(chuàng)建 Popen 的代碼：

參數(shù)介紹的時候提到過，shell 為 True 或 False 時，command 的類型是有要求的。因為我們 command 傳值是 String 類型，參數(shù) shell 只能設(shè)置為 True。當(dāng) shell=True 的時，程序會創(chuàng)建一個 shell 進程，command 是 shell 進程的子進程。

我們再來看下 Popen.terminate() 做了什么？官方的說明如下：

Stop the child. On POSIX OSs the method sends SIGTERM to the child. On Windows the Win32 API function TerminateProcess()is called to stop the child

也就是說，在 POSIX 系統(tǒng)中，該方法會發(fā)送 SIGTERM 信號給子進程；

在 Windows 系統(tǒng)中，該方法會調(diào)用 Win32 提供的 API TerminateProcess() 方法。

原因很清晰了，當(dāng) shell=True 的時候，發(fā)送 SIGTERM 能夠殺死 shell 進程，但是無法殺死它的子進程（command）；windows 系統(tǒng)中同理，TerminateProcess() 殺死了 shell 進程，卻沒有殺死它的子進程（command）。

解決方案如下：

方案一：比較優(yōu)雅的方式，創(chuàng)建 Popen 對象時，將參數(shù) shell 設(shè)為 False。實踐發(fā)現(xiàn)，當(dāng) shell=False 的時候，Popen.terminate() 方法的執(zhí)行結(jié)果是符合預(yù)期的；

subprocess.Popen(command, shell=False)

前面提到過，因為 command 格式問題，在我們項目中，shell 只能設(shè)置為 True，所以我們又探索了新的解決方案。

方案二：手動終止進程。使用第三方工具包 psutil，獲取全部的子進程并逐一殺掉，該方法在 Linux 和 windows 平臺通用。代碼見下圖。

在 windows 服務(wù)器下，還可以用以下命令：

taskkill /t /f /pid {pid}，強制殺掉指定進程以及它的子進程。

windows 平臺的方案無需第三方依賴，所以我們項目中選擇了該方案，項目代碼如下：

以上就是 Python 中的 subprocess 模塊在我們項目實踐中遇到的問題以及解決方案，希望可以給大家提供一些使用思路以及規(guī)避掉一系列問題，更多關(guān)于Python測試開發(fā)subprocess的資料請關(guān)注腳本之家其它相關(guān)文章！

最新評論