淺談python多線程和隊(duì)列管理shell程序
首先來(lái)描述下環(huán)境,在機(jī)器上有很多個(gè)JAVA程序,我們?cè)诿總€(gè)JAVA程序里都配置了一個(gè)啟動(dòng)|停止|重啟的腳本
舉個(gè)例子:
我們現(xiàn)在要同時(shí)運(yùn)行這些腳本,來(lái)達(dá)到快速啟動(dòng)所有的JAVA程序,如果我們只用多線程的話,線程是不會(huì)返回消息給父進(jìn)程,我們?nèi)绾尾拍苤肋@些程序是啟動(dòng)成功了呢?
所以我們用到了隊(duì)列來(lái)管理。
"""我試過(guò)gevent,但是會(huì)在command這里造成阻塞"""
gevent代碼如下 如果有朋友知道如何優(yōu)化,請(qǐng)您告訴我
#!/usr/bin/python2.7 # -*- coding:utf-8 -*- import os,sys from datetime import datetime import commands import gevent.monkey gevent.monkey.patch_os() import gevent def Servers(): servers=commands.getoutput('''ls /data/program/payment/ | grep 'payment' ''') servers=servers.split('\n') return servers def handle(servername): if sys.argv[1] == 'start' or sys.argv[1] == 'stop' or sys.argv[1] == 'restart': print '\033[1;31;40m' print '========================>>>go to handle %s<<<=========================' %servername print '\033[0m' r=commands.getoutput('''su - tomcat -c "/data/program/payment/%s/bin/server.sh %s &" ''' %(servername,sys.argv[1])) #在這里會(huì)阻塞,我們無(wú)法找到合適的地方進(jìn)行協(xié)程的切換 gevent.sleep(0) #無(wú)論放到何處,不是之前就是切換之后都會(huì)阻塞。 print r else: print 'Please Use start | stop | restart To Handle The Command' sys.exit(1) if __name__ == '__main__': s=Servers() threads=[] for i in s: threads.append(gevent.spawn(handle,i)) # print threads gevent.joinall(threads)
多線程代碼如下
#!/usr/bin/python2.7 # -*- coding:utf-8 -*- from datetime import datetime import commands from Queue import Queue from threading import Thread _sentinel = object() def Servers(): servers=commands.getoutput('''ls /data/program/payment/ | grep 'payment' ''') servers=servers.split('\n') return servers def producer(servername,out_q): if sys.argv[1] == 'start' or sys.argv[1] == 'stop' or sys.argv[1] == 'restart': print '\033[1;31;40m' print '========================>>>put %s in Queue<<<=========================' %servername print '\033[0m' out_q.put_nowait(commands.getoutput('''su - tomcat -c "/data/program/payment/%s/bin/server.sh %s &" ''' %(servername,sys.argv[1]))) #放入隊(duì)列的對(duì)象 else: print 'Please Use start | stop | restart To Handle The Command' sys.exit(1) def consumer(servername,in_q): n=len(servername) while n > 0: #循環(huán)在隊(duì)列中取結(jié)果,直到循環(huán)結(jié)束 data=in_q.get() n -= 1 print '\033[1;31;40m' print data print '\033[0m' print '\033[1;31;40m' print 'consumer was done!!!!!!!' print '\033[0m' if __name__ == '__main__': s=Servers() q = Queue() t1 = Thread(target=consumer, args=(s,q,)) #消費(fèi)者在隊(duì)列中獲取結(jié)果,前面的函數(shù)內(nèi)部已經(jīng)循環(huán)獲取 for i in s: t2=Thread(target=producer, args=(i,q,)) #講線程進(jìn)行管理,放入隊(duì)列 t2.start() #啟動(dòng)生產(chǎn)者線程 # t2.join() #啟動(dòng)生產(chǎn)者以后放棄校驗(yàn)線程是否結(jié)束,進(jìn)行并發(fā),因?yàn)槲覀兪前丫€程放入隊(duì)列進(jìn)行管理的,所以不用在這里等待線程結(jié)束,如果使用了join這里會(huì)阻塞我們的程序。線程結(jié)束后,消費(fèi)者會(huì)通知父進(jìn)程線程已經(jīng)結(jié)束。 t1.start() #啟動(dòng)消費(fèi)者線程 t1.join() #在獲取完成之前進(jìn)行線程的阻塞
簡(jiǎn)單的說(shuō)下join這個(gè)方法:
調(diào)用Thread.join將會(huì)使主調(diào)線程堵塞,直到被調(diào)用線程運(yùn)行結(jié)束或超時(shí)。參數(shù)timeout是一個(gè)數(shù)值類型,表示超時(shí)時(shí)間,如果未提供該參數(shù),那么主調(diào)線程將一直堵塞到被調(diào)線程結(jié)束。
以上所述就是本文的全部?jī)?nèi)容了,希望大家能夠喜歡。
相關(guān)文章
基于Python新建用戶并產(chǎn)生隨機(jī)密碼過(guò)程解析
這篇文章主要介紹了基于Python新建用戶并產(chǎn)生隨機(jī)密碼過(guò)程解析,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-10-10Python中利用函數(shù)裝飾器實(shí)現(xiàn)備忘功能
這篇文章主要介紹了Python中利用函數(shù)裝飾器實(shí)現(xiàn)備忘功能,同時(shí)還降到了利用裝飾器來(lái)檢查函數(shù)的遞歸、確保參數(shù)傳遞的正確,需要的朋友可以參考下2015-03-03利用Python開發(fā)微信支付的注意事項(xiàng)
如今支付的引入是很多互聯(lián)網(wǎng)產(chǎn)品都需要的。為了讓用戶用著更方便快捷,集成像支付寶、微信支付這樣的第三方支付也就成了常有的事。今天跟著小編就來(lái)看看微信支付開發(fā)中幾個(gè)值得注意的地方,涉及代碼之處均用 Python 編寫。2016-08-08Python可視化學(xué)習(xí)之seaborn調(diào)色盤
seaborn是在matplotlib基礎(chǔ)上封裝的,所以matplotlib的調(diào)色盤seaborn都可以使用。本文系統(tǒng)介紹seaborn調(diào)色盤,相較于matplotlib,有諸多不同,需要的可以參考一下2022-02-02python如何通過(guò)twisted搭建socket服務(wù)
這篇文章主要介紹了python如何通過(guò)twisted搭建socket服務(wù),文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-02-02python3實(shí)現(xiàn)mysql導(dǎo)出excel的方法
這篇文章主要介紹了python3實(shí)現(xiàn)mysql導(dǎo)出excel的方法,本文通過(guò)實(shí)例代碼給大家介紹的非常詳細(xì),具有一定的參考借鑒價(jià)值 ,需要的朋友可以參考下2019-07-07python list count統(tǒng)計(jì)個(gè)數(shù)的實(shí)現(xiàn)
這篇文章主要介紹了python list count統(tǒng)計(jì)個(gè)數(shù)的實(shí)現(xiàn)方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2022-02-02