淺談python多線程和隊列管理shell程序
首先來描述下環(huán)境,在機器上有很多個JAVA程序,我們在每個JAVA程序里都配置了一個啟動|停止|重啟的腳本
舉個例子:
我們現在要同時運行這些腳本,來達到快速啟動所有的JAVA程序,如果我們只用多線程的話,線程是不會返回消息給父進程,我們如何才能知道這些程序是啟動成功了呢?
所以我們用到了隊列來管理。
"""我試過gevent,但是會在command這里造成阻塞"""
gevent代碼如下 如果有朋友知道如何優(yōu)化,請您告訴我
#!/usr/bin/python2.7
# -*- coding:utf-8 -*-
import os,sys
from datetime import datetime
import commands
import gevent.monkey
gevent.monkey.patch_os()
import gevent
def Servers():
servers=commands.getoutput('''ls /data/program/payment/ | grep 'payment' ''')
servers=servers.split('\n')
return servers
def handle(servername):
if sys.argv[1] == 'start' or sys.argv[1] == 'stop' or sys.argv[1] == 'restart':
print '\033[1;31;40m'
print '========================>>>go to handle %s<<<=========================' %servername
print '\033[0m'
r=commands.getoutput('''su - tomcat -c "/data/program/payment/%s/bin/server.sh %s &" ''' %(servername,sys.argv[1])) #在這里會阻塞,我們無法找到合適的地方進行協(xié)程的切換
gevent.sleep(0) #無論放到何處,不是之前就是切換之后都會阻塞。
print r
else:
print 'Please Use start | stop | restart To Handle The Command'
sys.exit(1)
if __name__ == '__main__':
s=Servers()
threads=[]
for i in s:
threads.append(gevent.spawn(handle,i))
# print threads
gevent.joinall(threads)
多線程代碼如下
#!/usr/bin/python2.7
# -*- coding:utf-8 -*-
from datetime import datetime
import commands
from Queue import Queue
from threading import Thread
_sentinel = object()
def Servers():
servers=commands.getoutput('''ls /data/program/payment/ | grep 'payment' ''')
servers=servers.split('\n')
return servers
def producer(servername,out_q):
if sys.argv[1] == 'start' or sys.argv[1] == 'stop' or sys.argv[1] == 'restart':
print '\033[1;31;40m'
print '========================>>>put %s in Queue<<<=========================' %servername
print '\033[0m'
out_q.put_nowait(commands.getoutput('''su - tomcat -c "/data/program/payment/%s/bin/server.sh %s &" ''' %(servername,sys.argv[1]))) #放入隊列的對象
else:
print 'Please Use start | stop | restart To Handle The Command'
sys.exit(1)
def consumer(servername,in_q):
n=len(servername)
while n > 0: #循環(huán)在隊列中取結果,直到循環(huán)結束
data=in_q.get()
n -= 1
print '\033[1;31;40m'
print data
print '\033[0m'
print '\033[1;31;40m'
print 'consumer was done!!!!!!!'
print '\033[0m'
if __name__ == '__main__':
s=Servers()
q = Queue()
t1 = Thread(target=consumer, args=(s,q,)) #消費者在隊列中獲取結果,前面的函數內部已經循環(huán)獲取
for i in s:
t2=Thread(target=producer, args=(i,q,)) #講線程進行管理,放入隊列
t2.start() #啟動生產者線程
# t2.join() #啟動生產者以后放棄校驗線程是否結束,進行并發(fā),因為我們是把線程放入隊列進行管理的,所以不用在這里等待線程結束,如果使用了join這里會阻塞我們的程序。線程結束后,消費者會通知父進程線程已經結束。
t1.start() #啟動消費者線程
t1.join() #在獲取完成之前進行線程的阻塞
簡單的說下join這個方法:
調用Thread.join將會使主調線程堵塞,直到被調用線程運行結束或超時。參數timeout是一個數值類型,表示超時時間,如果未提供該參數,那么主調線程將一直堵塞到被調線程結束。
以上所述就是本文的全部內容了,希望大家能夠喜歡。
相關文章
python list count統(tǒng)計個數的實現
這篇文章主要介紹了python list count統(tǒng)計個數的實現方式,具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教2022-02-02

