Python守護(hù)進(jìn)程和腳本單例運(yùn)行詳解
本篇文章主要介紹了Python守護(hù)進(jìn)程和腳本單例運(yùn)行,小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧
一、簡(jiǎn)介
守護(hù)進(jìn)程最重要的特性是后臺(tái)運(yùn)行;它必須與其運(yùn)行前的環(huán)境隔離開來(lái),這些環(huán)境包括未關(guān)閉的文件描述符、控制終端、會(huì)話和進(jìn)程組、工作目錄以及文件創(chuàng)建掩碼等;它可以在系統(tǒng)啟動(dòng)時(shí)從啟動(dòng)腳本/etc/rc.d中啟動(dòng),可以由inetd守護(hù)進(jìn)程啟動(dòng),也可以有作業(yè)規(guī)劃進(jìn)程crond啟動(dòng),還可以由用戶終端(通常是shell)執(zhí)行。
Python有時(shí)需要保證只運(yùn)行一個(gè)腳本實(shí)例,以避免數(shù)據(jù)的沖突。
二、Python守護(hù)進(jìn)程
1、函數(shù)實(shí)現(xiàn)
#!/usr/bin/env python
#coding: utf-8
import sys, os
'''將當(dāng)前進(jìn)程fork為一個(gè)守護(hù)進(jìn)程
注意:如果你的守護(hù)進(jìn)程是由inetd啟動(dòng)的,不要這樣做!inetd完成了
所有需要做的事情,包括重定向標(biāo)準(zhǔn)文件描述符,需要做的事情只有chdir()和umask()了
'''
def daemonize (stdin='/dev/null', stdout='/dev/null', stderr='/dev/null'):
#重定向標(biāo)準(zhǔn)文件描述符(默認(rèn)情況下定向到/dev/null)
try:
pid = os.fork()
#父進(jìn)程(會(huì)話組頭領(lǐng)進(jìn)程)退出,這意味著一個(gè)非會(huì)話組頭領(lǐng)進(jìn)程永遠(yuǎn)不能重新獲得控制終端。
if pid > 0:
sys.exit(0) #父進(jìn)程退出
except OSError, e:
sys.stderr.write ("fork #1 failed: (%d) %s\n" % (e.errno, e.strerror) )
sys.exit(1)
#從母體環(huán)境脫離
os.chdir("/") #chdir確認(rèn)進(jìn)程不保持任何目錄于使用狀態(tài),否則不能umount一個(gè)文件系統(tǒng)。也可以改變到對(duì)于守護(hù)程序運(yùn)行重要的文件所在目錄
os.umask(0) #調(diào)用umask(0)以便擁有對(duì)于寫的任何東西的完全控制,因?yàn)橛袝r(shí)不知道繼承了什么樣的umask。
os.setsid() #setsid調(diào)用成功后,進(jìn)程成為新的會(huì)話組長(zhǎng)和新的進(jìn)程組長(zhǎng),并與原來(lái)的登錄會(huì)話和進(jìn)程組脫離。
#執(zhí)行第二次fork
try:
pid = os.fork()
if pid > 0:
sys.exit(0) #第二個(gè)父進(jìn)程退出
except OSError, e:
sys.stderr.write ("fork #2 failed: (%d) %s\n" % (e.errno, e.strerror) )
sys.exit(1)
#進(jìn)程已經(jīng)是守護(hù)進(jìn)程了,重定向標(biāo)準(zhǔn)文件描述符
for f in sys.stdout, sys.stderr: f.flush()
si = open(stdin, 'r')
so = open(stdout, 'a+')
se = open(stderr, 'a+', 0)
os.dup2(si.fileno(), sys.stdin.fileno()) #dup2函數(shù)原子化關(guān)閉和復(fù)制文件描述符
os.dup2(so.fileno(), sys.stdout.fileno())
os.dup2(se.fileno(), sys.stderr.fileno())
#示例函數(shù):每秒打印一個(gè)數(shù)字和時(shí)間戳
def main():
import time
sys.stdout.write('Daemon started with pid %d\n' % os.getpid())
sys.stdout.write('Daemon stdout output\n')
sys.stderr.write('Daemon stderr output\n')
c = 0
while True:
sys.stdout.write('%d: %s\n' %(c, time.ctime()))
sys.stdout.flush()
c = c+1
time.sleep(1)
if __name__ == "__main__":
daemonize('/dev/null','/tmp/daemon_stdout.log','/tmp/daemon_error.log')
main()
可以通過(guò)命令ps -ef | grep daemon.py查看后臺(tái)運(yùn)行的繼承,在/tmp/daemon_error.log會(huì)記錄錯(cuò)誤運(yùn)行日志,在/tmp/daemon_stdout.log會(huì)記錄標(biāo)準(zhǔn)輸出日志。

2、類實(shí)現(xiàn)
#!/usr/bin/env python
#coding: utf-8
#python模擬linux的守護(hù)進(jìn)程
import sys, os, time, atexit, string
from signal import SIGTERM
class Daemon:
def __init__(self, pidfile, stdin='/dev/null', stdout='/dev/null', stderr='/dev/null'):
#需要獲取調(diào)試信息,改為stdin='/dev/stdin', stdout='/dev/stdout', stderr='/dev/stderr',以root身份運(yùn)行。
self.stdin = stdin
self.stdout = stdout
self.stderr = stderr
self.pidfile = pidfile
def _daemonize(self):
try:
pid = os.fork() #第一次fork,生成子進(jìn)程,脫離父進(jìn)程
if pid > 0:
sys.exit(0) #退出主進(jìn)程
except OSError, e:
sys.stderr.write('fork #1 failed: %d (%s)\n' % (e.errno, e.strerror))
sys.exit(1)
os.chdir("/") #修改工作目錄
os.setsid() #設(shè)置新的會(huì)話連接
os.umask(0) #重新設(shè)置文件創(chuàng)建權(quán)限
try:
pid = os.fork() #第二次fork,禁止進(jìn)程打開終端
if pid > 0:
sys.exit(0)
except OSError, e:
sys.stderr.write('fork #2 failed: %d (%s)\n' % (e.errno, e.strerror))
sys.exit(1)
#重定向文件描述符
sys.stdout.flush()
sys.stderr.flush()
si = file(self.stdin, 'r')
so = file(self.stdout, 'a+')
se = file(self.stderr, 'a+', 0)
os.dup2(si.fileno(), sys.stdin.fileno())
os.dup2(so.fileno(), sys.stdout.fileno())
os.dup2(se.fileno(), sys.stderr.fileno())
#注冊(cè)退出函數(shù),根據(jù)文件pid判斷是否存在進(jìn)程
atexit.register(self.delpid)
pid = str(os.getpid())
file(self.pidfile,'w+').write('%s\n' % pid)
def delpid(self):
os.remove(self.pidfile)
def start(self):
#檢查pid文件是否存在以探測(cè)是否存在進(jìn)程
try:
pf = file(self.pidfile,'r')
pid = int(pf.read().strip())
pf.close()
except IOError:
pid = None
if pid:
message = 'pidfile %s already exist. Daemon already running!\n'
sys.stderr.write(message % self.pidfile)
sys.exit(1)
#啟動(dòng)監(jiān)控
self._daemonize()
self._run()
def stop(self):
#從pid文件中獲取pid
try:
pf = file(self.pidfile,'r')
pid = int(pf.read().strip())
pf.close()
except IOError:
pid = None
if not pid: #重啟不報(bào)錯(cuò)
message = 'pidfile %s does not exist. Daemon not running!\n'
sys.stderr.write(message % self.pidfile)
return
#殺進(jìn)程
try:
while 1:
os.kill(pid, SIGTERM)
time.sleep(0.1)
#os.system('hadoop-daemon.sh stop datanode')
#os.system('hadoop-daemon.sh stop tasktracker')
#os.remove(self.pidfile)
except OSError, err:
err = str(err)
if err.find('No such process') > 0:
if os.path.exists(self.pidfile):
os.remove(self.pidfile)
else:
print str(err)
sys.exit(1)
def restart(self):
self.stop()
self.start()
def _run(self):
""" run your fun"""
while True:
#fp=open('/tmp/result','a+')
#fp.write('Hello World\n')
sys.stdout.write('%s:hello world\n' % (time.ctime(),))
sys.stdout.flush()
time.sleep(2)
if __name__ == '__main__':
daemon = Daemon('/tmp/watch_process.pid', stdout = '/tmp/watch_stdout.log')
if len(sys.argv) == 2:
if 'start' == sys.argv[1]:
daemon.start()
elif 'stop' == sys.argv[1]:
daemon.stop()
elif 'restart' == sys.argv[1]:
daemon.restart()
else:
print 'unknown command'
sys.exit(2)
sys.exit(0)
else:
print 'usage: %s start|stop|restart' % sys.argv[0]
sys.exit(2)
運(yùn)行結(jié)果:

它是當(dāng)Daemon設(shè)計(jì)成一個(gè)模板,在其他文件中from daemon import Daemon,然后定義子類,重寫run()方法實(shí)現(xiàn)自己的功能。
class MyDaemon(Daemon):
def run(self):
while True:
fp=open('/tmp/run.log','a+')
fp.write('Hello World\n')
time.sleep(1)
不足:信號(hào)處理signal.signal(signal.SIGTERM, cleanup_handler)暫時(shí)沒(méi)有安裝,注冊(cè)程序退出時(shí)的回調(diào)函數(shù)delpid()沒(méi)有被調(diào)用。
然后,再寫個(gè)shell命令,加入開機(jī)啟動(dòng)服務(wù),每隔2秒檢測(cè)守護(hù)進(jìn)程是否啟動(dòng),若沒(méi)有啟動(dòng)則啟動(dòng),自動(dòng)監(jiān)控恢復(fù)程序。
#/bin/sh while true do count=`ps -ef | grep "daemonclass.py" | grep -v "grep"` if [ "$?" != "0" ]; then daemonclass.py start fi sleep 2 done
三、python保證只能運(yùn)行一個(gè)腳本實(shí)例
1、打開文件本身加鎖
#!/usr/bin/env python
#coding: utf-8
import fcntl, sys, time, os
pidfile = 0
def ApplicationInstance():
global pidfile
pidfile = open(os.path.realpath(__file__), "r")
try:
fcntl.flock(pidfile, fcntl.LOCK_EX | fcntl.LOCK_NB) #創(chuàng)建一個(gè)排他鎖,并且所被鎖住其他進(jìn)程不會(huì)阻塞
except:
print "another instance is running..."
sys.exit(1)
if __name__ == "__main__":
ApplicationInstance()
while True:
print 'running...'
time.sleep(1)
注意:open()參數(shù)不能使用w,否則會(huì)覆蓋本身文件;pidfile必須聲明為全局變量,否則局部變量生命周期結(jié)束,文件描述符會(huì)因引用計(jì)數(shù)為0被系統(tǒng)回收(若整個(gè)函數(shù)寫在主函數(shù)中,則不需要定義成global)。
2、打開自定義文件并加鎖
#!/usr/bin/env python
#coding: utf-8
import fcntl, sys, time
pidfile = 0
def ApplicationInstance():
global pidfile
pidfile = open("instance.pid", "w")
try:
fcntl.lockf(pidfile, fcntl.LOCK_EX | fcntl.LOCK_NB) #創(chuàng)建一個(gè)排他鎖,并且所被鎖住其他進(jìn)程不會(huì)阻塞
except IOError:
print "another instance is running..."
sys.exit(0)
if __name__ == "__main__":
ApplicationInstance()
while True:
print 'running...'
time.sleep(1)
3、檢測(cè)文件中PID
#!/usr/bin/env python
#coding: utf-8
import time, os, sys
import signal
pidfile = '/tmp/process.pid'
def sig_handler(sig, frame):
if os.path.exists(pidfile):
os.remove(pidfile)
sys.exit(0)
def ApplicationInstance():
signal.signal(signal.SIGTERM, sig_handler)
signal.signal(signal.SIGINT, sig_handler)
signal.signal(signal.SIGQUIT, sig_handler)
try:
pf = file(pidfile, 'r')
pid = int(pf.read().strip())
pf.close()
except IOError:
pid = None
if pid:
sys.stdout.write('instance is running...\n')
sys.exit(0)
file(pidfile, 'w+').write('%s\n' % os.getpid())
if __name__ == "__main__":
ApplicationInstance()
while True:
print 'running...'
time.sleep(1)


4、檢測(cè)特定文件夾或文件
#!/usr/bin/env python
#coding: utf-8
import time, commands, signal, sys
def sig_handler(sig, frame):
if os.path.exists("/tmp/test"):
os.rmdir("/tmp/test")
sys.exit(0)
def ApplicationInstance():
signal.signal(signal.SIGTERM, sig_handler)
signal.signal(signal.SIGINT, sig_handler)
signal.signal(signal.SIGQUIT, sig_handler)
if commands.getstatusoutput("mkdir /tmp/test")[0]:
print "instance is running..."
sys.exit(0)
if __name__ == "__main__":
ApplicationInstance()
while True:
print 'running...'
time.sleep(1)
也可以檢測(cè)某一個(gè)特定的文件,判斷文件是否存在:
import os
import os.path
import time
#class used to handle one application instance mechanism
class ApplicationInstance:
#specify the file used to save the application instance pid
def __init__( self, pid_file ):
self.pid_file = pid_file
self.check()
self.startApplication()
#check if the current application is already running
def check( self ):
#check if the pidfile exists
if not os.path.isfile( self.pid_file ):
return
#read the pid from the file
pid = 0
try:
file = open( self.pid_file, 'rt' )
data = file.read()
file.close()
pid = int( data )
except:
pass
#check if the process with specified by pid exists
if 0 == pid:
return
try:
os.kill( pid, 0 ) #this will raise an exception if the pid is not valid
except:
return
#exit the application
print "The application is already running..."
exit(0) #exit raise an exception so don't put it in a try/except block
#called when the single instance starts to save it's pid
def startApplication( self ):
file = open( self.pid_file, 'wt' )
file.write( str( os.getpid() ) )
file.close()
#called when the single instance exit ( remove pid file )
def exitApplication( self ):
try:
os.remove( self.pid_file )
except:
pass
if __name__ == '__main__':
#create application instance
appInstance = ApplicationInstance( '/tmp/myapp.pid' )
#do something here
print "Start MyApp"
time.sleep(5) #sleep 5 seconds
print "End MyApp"
#remove pid file
appInstance.exitApplication()
上述os.kill( pid, 0 )用于檢測(cè)一個(gè)為pid的進(jìn)程是否還活著,若該pid的進(jìn)程已經(jīng)停止則拋出異常,若正在運(yùn)行則不發(fā)送kill信號(hào)。
5、socket監(jiān)聽一個(gè)特定端口
#!/usr/bin/env python
#coding: utf-8
import socket, time, sys
def ApplicationInstance():
try:
global s
s = socket.socket()
host = socket.gethostname()
s.bind((host, 60123))
except:
print "instance is running..."
sys.exit(0)
if __name__ == "__main__":
ApplicationInstance()
while True:
print 'running...'
time.sleep(1)
可以將該函數(shù)使用裝飾器實(shí)現(xiàn),便于重用(效果與上述相同):
#!/usr/bin/env python
#coding: utf-8
import socket, time, sys
import functools
#使用裝飾器實(shí)現(xiàn)
def ApplicationInstance(func):
@functools.wraps(func)
def fun(*args,**kwargs):
import socket
try:
global s
s = socket.socket()
host = socket.gethostname()
s.bind((host, 60123))
except:
print('already has an instance...')
return None
return func(*args,**kwargs)
return fun
@ApplicationInstance
def main():
while True:
print 'running...'
time.sleep(1)
if __name__ == "__main__":
main()
四、總結(jié)
(1)守護(hù)進(jìn)程和單腳本運(yùn)行在實(shí)際應(yīng)用中比較重要,方法也比較多,可選擇合適的來(lái)進(jìn)行修改,可以將它們做成一個(gè)單獨(dú)的類或模板,然后子類化實(shí)現(xiàn)自定義。
(2)daemon監(jiān)控進(jìn)程自動(dòng)恢復(fù)避免了nohup和&的使用,并配合shell腳本可以省去很多不定時(shí)啟動(dòng)掛掉服務(wù)器的麻煩。
以上就是本文的全部?jī)?nèi)容,希望對(duì)大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。
- python 如何設(shè)置守護(hù)進(jìn)程
- Python 創(chuàng)建守護(hù)進(jìn)程的示例
- Python守護(hù)進(jìn)程實(shí)現(xiàn)過(guò)程詳解
- python并發(fā)編程多進(jìn)程之守護(hù)進(jìn)程原理解析
- python實(shí)現(xiàn)守護(hù)進(jìn)程、守護(hù)線程、守護(hù)非守護(hù)并行
- python使用fork實(shí)現(xiàn)守護(hù)進(jìn)程的方法
- Python如何實(shí)現(xiàn)守護(hù)進(jìn)程的方法示例
- python daemon守護(hù)進(jìn)程實(shí)現(xiàn)
- Python守護(hù)進(jìn)程用法實(shí)例分析
- python實(shí)現(xiàn)的守護(hù)進(jìn)程(Daemon)用法實(shí)例
- 如何編寫python的daemon程序
相關(guān)文章
python MNIST手寫識(shí)別數(shù)據(jù)調(diào)用API的方法
這篇文章主要介紹了python MNIST手寫識(shí)別數(shù)據(jù)調(diào)用API的方法,小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2018-08-08
配置 Pycharm 默認(rèn) Test runner 的圖文教程
今天小編就為大家分享一篇配置 Pycharm 默認(rèn) Test runner 的圖文教程,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2018-11-11
Django實(shí)現(xiàn)簡(jiǎn)單登錄的示例代碼
本文主要介紹了Django實(shí)現(xiàn)簡(jiǎn)單登錄的示例代碼,文中通過(guò)示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2021-11-11
Python利用PsUtil實(shí)現(xiàn)實(shí)時(shí)監(jiān)控系統(tǒng)狀態(tài)
PSUtil是一個(gè)跨平臺(tái)的Python庫(kù),用于檢索有關(guān)正在運(yùn)行的進(jìn)程和系統(tǒng)利用率(CPU,內(nèi)存,磁盤,網(wǎng)絡(luò),傳感器)的信息。本文就來(lái)用PsUtil實(shí)現(xiàn)實(shí)時(shí)監(jiān)控系統(tǒng)狀態(tài),感興趣的可以跟隨小編一起學(xué)習(xí)一下2023-04-04
pyqt5 QlistView列表顯示的實(shí)現(xiàn)示例
這篇文章主要介紹了pyqt5 QlistView列表顯示的實(shí)現(xiàn)示例,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-03-03
Opencv-Python圖像透視變換cv2.warpPerspective的示例
今天小編就為大家分享一篇關(guān)于Opencv-Python圖像透視變換cv2.warpPerspective的示例,小編覺得內(nèi)容挺不錯(cuò)的,現(xiàn)在分享給大家,具有很好的參考價(jià)值,需要的朋友一起跟隨小編來(lái)看看吧2019-04-04

