用python記錄運(yùn)行pid,并在需要時kill掉它們的實(shí)例
我在跑爬蟲程序的時候，由于爬蟲程序的等待目標(biāo)服務(wù)器返回數(shù)據(jù)的時間很長，而cpu占用很低，所以經(jīng)常掛著代理一跑就跑好幾百個。但是爬蟲程序通常是寫了死循環(huán)，或直到分配給該進(jìn)程的任務(wù)都跑完才退出的。如果我們想中途結(jié)束掉這些任務(wù)，是沒辦法手工一個一個kill掉的。那么該如何結(jié)束這些進(jìn)程呢？
我的方法就是在運(yùn)行爬蟲進(jìn)程時，記錄該進(jìn)程的Pid，然后在需要手動結(jié)束時，再用語句kill掉它們。
for i in {1..100}
do
nohup python NetEase_comms_proxy.py > hehe.dat 2>&1 & echo $! >> run.pid
sleep 10
done
上述語句完成了將腳本在后臺運(yùn)行100便，并且將pid append到run.pid文件中。其中nohup 是 no hang up的縮寫命令。do…done之間是被循環(huán)的語句。
接下來就是kill掉它們的語句了，我用的python
import os
if __name__ == '__main__':
fin = open('run.pid', 'r')
pids = []
for line in fin:
pids.append(line.strip())
for pid in pids:
cmd = 'kill ' + pid
os.system(cmd)
這樣就把記錄下來的pid全部kill掉了。
但需要注意的一點(diǎn)時，如果在任務(wù)運(yùn)行期間，有的進(jìn)程由于完成任務(wù)或者出錯而退出。其他的程序可能會share這些進(jìn)程的Pid,這樣如果在運(yùn)行kill腳本的時候，可能附帶就把這些進(jìn)程也給Kill掉了，造成不必要的麻煩。
以上這篇用python記錄運(yùn)行pid,并在需要時kill掉它們的實(shí)例就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關(guān)文章
這篇文章主要為大家詳細(xì)介紹了python讀寫xml文件的實(shí)例，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價值，感興趣的小伙伴們可以參考一下，希望能夠給你帶來幫助2022-03-03
python連接并簡單操作SQL?server數(shù)據(jù)庫詳細(xì)步驟
python作為一門十分火熱的編程語言,操作數(shù)據(jù)庫自然是必不可少的,下面這篇文章主要給大家介紹了關(guān)于python連接并簡單操作SQL?server數(shù)據(jù)庫的相關(guān)資料,需要的朋友可以參考下2023-06-06
一文帶你掌握Python內(nèi)置reversed函數(shù)的使用
Python作為一門強(qiáng)大的編程語言,提供了許多內(nèi)置函數(shù)來處理各種數(shù)據(jù)結(jié)構(gòu)和對象,本文將詳細(xì)探討reversed函數(shù)的用法、示例代碼以及實(shí)際應(yīng)用場景,需要的可以參考下2024-01-01
python機(jī)器學(xué)習(xí)之神經(jīng)網(wǎng)絡(luò)（一）
這篇文章主要為大家詳細(xì)介紹了python機(jī)器學(xué)習(xí)之神經(jīng)網(wǎng)絡(luò)第一篇，具有一定的參考價值，感興趣的小伙伴們可以參考一下2017-12-12
這篇文章主要介紹了Django REST framework 視圖和路由詳解,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2019-07-07
基于Python實(shí)現(xiàn)通過微信搜索功能查看誰把你刪除了
這篇文章主要介紹了基于Python實(shí)現(xiàn)微信搜索查看誰把你刪除了的相關(guān)資料,需要的朋友可以參考下2016-01-01
openpyxl模塊是一個讀寫Excel?2010文檔的Python庫,如果要處理更早格式的Excel文檔,需要用到額外的庫,openpyxl是一個比較綜合的工具,能夠同時讀取和修改Excel文檔,下面這篇文章主要給大家介紹了關(guān)于Python第三方常用模塊openpyxl的相關(guān)資料,需要的朋友可以參考下2022-08-08
這篇文章主要介紹了17條提高工作效率的Python技巧分享，掌握這些Python技巧可以讓我們的生活更加輕松，本文就日常中經(jīng)常使用到的Python技巧進(jìn)行歸納總結(jié),對于常用的17條技巧均給出了完整的代碼示例和具體講解,需要的朋友可以參考下2022-01-01
這篇文章我們主要介紹的是python實(shí)現(xiàn)帶界面的井字棋小游戲，從安裝tkinter開始，然后初始化窗口，定義按鈕即查找獲勝條件，想具體了解的小伙伴可以參考下文，附有詳細(xì)代碼2021-09-09
項(xiàng)目中用到了一個WriteData的函數(shù)保存用戶填寫的配置，為了實(shí)現(xiàn)驗(yàn)證用戶輸入的需求，在不影響接口的使用的前提下，采用了python的裝飾器實(shí)現(xiàn)，代碼片段演示了如何驗(yàn)證WriteData函數(shù)的輸入?yún)?shù)2014-02-02