詳解程序意外中斷自動(dòng)重啟shell腳本(以Python為例)
我們經(jīng)常需要在后臺(tái)運(yùn)行一些python腳本,來(lái)監(jiān)控系統(tǒng)或者做一些其他事情;但是 由于各種各樣的原因,排除python腳本代碼的問(wèn)題,腳本運(yùn)行過(guò)程中會(huì)掛掉。為了不天天耗在上面等重啟,可以制作shell腳本對(duì)程序予以監(jiān)控,對(duì)于意外中斷的程序自動(dòng)重啟。
以控制 python自動(dòng)重啟的shell腳本為例:
cd Desktop vim run.sh #新建名為run的shell腳本
寫(xiě)入(此處以名為run的Python腳本為例)
#!/bin/bash while [ 1 ];do python run.py done
chmod 777 run.sh #設(shè)置shell腳本權(quán)限 ./run.sh #運(yùn)行shell腳本
可見(jiàn)Python腳本意外中斷(被kill)后,由于shell腳本的循環(huán)語(yǔ)句,實(shí)現(xiàn)了自動(dòng)重啟。
在測(cè)試完確保能夠正常運(yùn)行后,切換為后臺(tái)運(yùn)行:關(guān)于后臺(tái)運(yùn)行命令原理,點(diǎn)此查看。
nohup ./run5.py &
此外,做爬蟲(chóng)項(xiàng)目時(shí),我們需要考慮一個(gè)爬蟲(chóng)在爬取時(shí)會(huì)遇到各種情況(網(wǎng)站驗(yàn)證,ip封禁),導(dǎo)致爬蟲(chóng)程序中斷,這時(shí)我們已經(jīng)爬取過(guò)一些數(shù)據(jù),再次爬取時(shí)這些數(shù)據(jù)就可以忽略,所以我們需要在爬蟲(chóng)項(xiàng)目中設(shè)置一個(gè)中斷重連的功能,使其在重新運(yùn)行時(shí)從之前斷掉的位置重新爬取數(shù)據(jù)。此代碼參見(jiàn)自 匡虐博客
import os class UrlManager(object): def __init__(self): #建立兩個(gè)數(shù)組的文件 with open('new_urls.txt','r+') as new_urls: self.new_urls = new_urls.read() with open('old_urls.txt','r+') as old_urls: self.old_urls = old_urls.read() def add_new_url(self, url): #添加url到new_ulrs文件中 if url is None: return if url not in self.new_urls and url not in self.old_urls: with open('new_urls.txt', 'a') as new_urls: new_urls.write(url) else: print('url had done') def add_new_urls(self, urls): #添加多個(gè)url到new_ulrs文件中 # if urls is None or (len(url) == 0 for url in urls): if urls is None: print('url is none') return for url in urls: if urls is None: print('url is none') return else: self.add_new_url(url) def has_new_url(self): return len(self.new_urls) != 0 def get_new_url(self): new_url = get_last_line('new_urls.txt') #讀取new_urls文件中最后一個(gè)url del_last_url('new_urls.txt',new_url) #刪除new_urls文件中最后一個(gè)url add_old_urls('old_urls.txt',new_url) #將讀取出來(lái)的url添加入old_urls數(shù)組中 return new_url def get_last_line(inputfile): filesize = os.path.getsize(inputfile) blocksize = 1024 dat_file = open(inputfile, 'rb') last_line = b"" lines = [] if filesize > blocksize: maxseekpoint = (filesize // blocksize) # 這里的除法取的是floor maxseekpoint -= 1 dat_file.seek(maxseekpoint * blocksize) lines = dat_file.readlines() while ((len(lines) < 2) | ((len(lines) >= 2) & (lines[1] == b'\r\n'))): # 因?yàn)樵赪indows下,所以是b'\r\n' # 如果列表長(zhǎng)度小于2,或者雖然長(zhǎng)度大于等于2,但第二個(gè)元素卻還是空行 # 如果跳出循環(huán),那么lines長(zhǎng)度大于等于2,且第二個(gè)元素肯定是完整的行 maxseekpoint -= 1 dat_file.seek(maxseekpoint * blocksize) lines = dat_file.readlines() elif filesize: # 文件大小不為空 dat_file.seek(0, 0) lines = dat_file.readlines() if lines: # 列表不為空 for i in range(len(lines) - 1, -1, -1): last_line = lines[i].strip() if (last_line != b''): break # 已經(jīng)找到最后一個(gè)不是空行的 dat_file.close() return last_line def del_last_url(fname,part): with open(fname,'rb+') as f: a = f.read() a = a.replace(part,b'') with open(fname,'wb+') as f: f.write(a) def add_old_urls(fname,new_url): line = new_url + b'\r' with open(fname,'ab') as f: f.write(line)
以上就是本文的全部?jī)?nèi)容,希望對(duì)大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。
相關(guān)文章
Python?Pandas中DataFrame.drop_duplicates()刪除重復(fù)值詳解
在實(shí)際處理數(shù)據(jù)中,數(shù)據(jù)預(yù)處理操作中,常常需要去除掉重復(fù)的數(shù)據(jù),這篇文章主要給大家介紹了關(guān)于Python?Pandas中DataFrame.drop_duplicates()刪除重復(fù)值的相關(guān)資料,需要的朋友可以參考下2022-07-07一篇文章從零開(kāi)始創(chuàng)建conda環(huán)境、常用命令的使用及pycharm配置項(xiàng)目環(huán)境
在Conda中創(chuàng)建新環(huán)境是一個(gè)非常有用的做法,尤其是當(dāng)你需要為不同的項(xiàng)目安裝不同版本的軟件包時(shí),這篇文章主要給大家介紹了關(guān)于從零開(kāi)始創(chuàng)建conda環(huán)境、常用命令的使用及pycharm配置項(xiàng)目環(huán)境的相關(guān)資料,需要的朋友可以參考下2024-07-07如何利用Boost.Python實(shí)現(xiàn)Python C/C++混合編程詳解
這篇文章主要給大家介紹了關(guān)于如何利用Boost.Python實(shí)現(xiàn)Python C/C++混合編程的相關(guān)資料,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起看看吧2018-11-11使用Python保存網(wǎng)頁(yè)上的圖片或者保存頁(yè)面為截圖
這篇文章主要介紹了使用Python保存網(wǎng)頁(yè)上的圖片或者保存頁(yè)面為截圖的方法,保存網(wǎng)頁(yè)圖片主要用到urllib模塊,即簡(jiǎn)單的爬蟲(chóng)原理,需要的朋友可以參考下2016-03-032行Python代碼實(shí)現(xiàn)給pdf文件添加水印
你們?cè)诮oPDF文件添加水印時(shí),還在手動(dòng)一頁(yè)頁(yè)添加嗎?本文小編為大家?guī)?lái)了一個(gè)更方便的方法,即用Python的2行代碼來(lái)實(shí)現(xiàn),感興趣的小伙伴可以學(xué)習(xí)一下2022-02-02利用Python實(shí)現(xiàn)自動(dòng)生成小學(xué)生計(jì)算題
過(guò)年期間發(fā)現(xiàn)小外甥已經(jīng)上小學(xué)了,我姐說(shuō)老師今天給他們布置了寒假作業(yè):每天堅(jiān)持做乘法和加減法混合運(yùn)算。這我必須幫幫忙,用Python寫(xiě)了一段自動(dòng)生成小學(xué)生計(jì)算題的代碼,希望外甥不要太感謝我2023-02-02python實(shí)現(xiàn)得到當(dāng)前登錄用戶(hù)信息的方法
這篇文章主要介紹了python實(shí)現(xiàn)得到當(dāng)前登錄用戶(hù)信息的方法,結(jié)合實(shí)例形式分析了Python在Linux平臺(tái)以及Windows平臺(tái)使用相關(guān)模塊獲取用戶(hù)信息的相關(guān)操作技巧,需要的朋友可以參考下2019-06-06如何使用Python處理HDF格式數(shù)據(jù)及可視化問(wèn)題
這篇文章主要介紹了如何使用Python處理HDF格式數(shù)據(jù)及可視化問(wèn)題,本文通過(guò)實(shí)例圖文相結(jié)合給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2020-06-06