Python自定義主從分布式架構(gòu)實(shí)例分析
本文實(shí)例講述了Python自定義主從分布式架構(gòu)。分享給大家供大家參考,具體如下:
環(huán)境:Win7 x64,Python 2.7,APScheduler 2.1.2。
原理圖如下:
代碼部分:
(1)、中心節(jié)點(diǎn):
#encoding=utf-8 #author: walker #date: 2014-12-03 #function: 中心節(jié)點(diǎn)(主要功能是分配任務(wù)) import SocketServer, socket, Queue CenterIP = '127.0.0.1' #中心節(jié)點(diǎn)IP CenterListenPort = 9999 #中心節(jié)點(diǎn)監(jiān)聽端口 CenterClient = socket.socket(socket.AF_INET, socket.SOCK_DGRAM) #中心節(jié)點(diǎn)用于發(fā)送網(wǎng)絡(luò)消息的socket TaskQueue = Queue.Queue() #任務(wù)隊(duì)列 #獲取任務(wù)隊(duì)列 def GetTaskQueue(): for i in range(1, 11): TaskQueue.put(str(i)) #CenterServer的回調(diào)函數(shù),在接受到udp報(bào)文是觸發(fā) class MyUDPHandler(SocketServer.BaseRequestHandler): def handle(self): data = self.request[0].strip() socket = self.request[1] print(data) if data.startswith('wait'): vec = data.split(':') if len(vec) != 3: print('Error: len(vec) != 3') else: nodeIP = vec[1] nodeListenPort = vec[2] nodeID = nodeIP + ':' + nodeListenPort if not TaskQueue.empty(): task = TaskQueue.get() print('send task ' + task + ' to ' + nodeID) CenterClient.sendto('task:' + task, (nodeIP, int(nodeListenPort))) else: print('TaskQueue is empty!') GetTaskQueue() #獲取任務(wù)隊(duì)列 CenterServer = SocketServer.UDPServer((CenterIP, CenterListenPort), MyUDPHandler) print('Listen port ' + str(CenterListenPort) + ' ...') CenterServer.serve_forever()
(2)、任務(wù)節(jié)點(diǎn):
#encoding=utf-8 #author: walker #date: 2014-12-03 #function: 任務(wù)節(jié)點(diǎn)(請(qǐng)求/接收/執(zhí)行任務(wù)) import time, socket, SocketServer from apscheduler.scheduler import Scheduler CenterIP = '127.0.0.1' #中心節(jié)點(diǎn)IP CenterListenPort = 9999 #中心節(jié)點(diǎn)監(jiān)聽端口 NodeIP = socket.gethostbyname(socket.gethostname()) #任務(wù)節(jié)點(diǎn)自身IP NodeClient = socket.socket(socket.AF_INET, socket.SOCK_DGRAM) #任務(wù)節(jié)點(diǎn)用于發(fā)送網(wǎng)絡(luò)消息的socket #任務(wù):發(fā)送網(wǎng)絡(luò)信息 def jobSendNetMsg(): msg = '' if NodeServer.TaskState == 'wait': msg = 'wait:' + NodeIP + ':' + str(NodeListenPort) elif NodeServer.TaskState == 'exec': msg = 'exec:' + NodeIP + ':' + str(NodeListenPort) print(msg) NodeClient.sendto(msg, (CenterIP, CenterListenPort)) #添加并啟動(dòng)定時(shí)任務(wù) def InitTimer(): sched = Scheduler() sched.add_interval_job(jobSendNetMsg, seconds=1) sched.start() #執(zhí)行任務(wù) def ExecTask(task): print('ExecTask ' + task + ' ...') time.sleep(2) print('ExecTask ' + task + ' over') #NodeServer的回調(diào)函數(shù),在接受到udp報(bào)文是觸發(fā) class MyUDPHandler(SocketServer.BaseRequestHandler): def handle(self): data = self.request[0].strip() socket = self.request[1] print('recv data: ' + data) if data.startswith('task'): vec = data.split(':') if len(vec) != 2: print('Error: len(vec) != 2') else: task = vec[1] self.server.TaskState = 'exec' ExecTask(task) self.server.TaskState = 'wait' InitTimer() NodeServer = SocketServer.UDPServer(('', 0), MyUDPHandler) NodeServer.TaskState = 'wait' #(exec/wait) NodeListenPort = NodeServer.server_address[1] print('NodeListenPort:' + str(NodeListenPort)) NodeServer.serve_forever()
更多關(guān)于Python相關(guān)內(nèi)容感興趣的讀者可查看本站專題:《Python URL操作技巧總結(jié)》、《Python圖片操作技巧總結(jié)》、《Python數(shù)據(jù)結(jié)構(gòu)與算法教程》、《Python Socket編程技巧總結(jié)》、《Python函數(shù)使用技巧總結(jié)》、《Python字符串操作技巧匯總》、《Python入門與進(jìn)階經(jīng)典教程》及《Python文件與目錄操作技巧匯總》
希望本文所述對(duì)大家Python程序設(shè)計(jì)有所幫助。
相關(guān)文章
django 外鍵創(chuàng)建注意事項(xiàng)說明
這篇文章主要介紹了django 外鍵創(chuàng)建注意事項(xiàng)說明,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2020-05-05詳解pyppeteer(python版puppeteer)基本使用
這篇文章主要介紹了詳解pyppeteer(python版puppeteer)基本使用 ,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-06-06淺談keras 的抽象后端(from keras import backend as K)
這篇文章主要介紹了淺談keras 的抽象后端(from keras import backend as K),具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2020-06-06Django中reverse反轉(zhuǎn)并且傳遞參數(shù)的方法
今天小編就為大家分享一篇Django中reverse反轉(zhuǎn)并且傳遞參數(shù)的方法,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2019-08-08pytorch動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)(擬合)實(shí)現(xiàn)
這篇文章主要介紹了pytorch動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)(擬合)實(shí)現(xiàn),文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-03-03在Qt中正確的設(shè)置窗體的背景圖片的幾種方法總結(jié)
今天小編就為大家分享一篇在Qt中正確的設(shè)置窗體的背景圖片的幾種方法總結(jié),具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2019-06-06Python動(dòng)態(tài)創(chuàng)建類實(shí)例詳解
這篇文章主要為大家介紹了Python動(dòng)態(tài)創(chuàng)建類實(shí)例詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2023-12-12python實(shí)現(xiàn)給微信公眾號(hào)發(fā)送消息的方法
這篇文章主要介紹了python實(shí)現(xiàn)給微信公眾號(hào)發(fā)送消息的方法,結(jié)合實(shí)例形式分析了Python針對(duì)微信公眾號(hào)接口操作的相關(guān)技巧,需要的朋友可以參考下2017-06-06python3 selenium自動(dòng)化 下拉框定位的例子
今天小編就為大家分享一篇python3 selenium自動(dòng)化 下拉框定位的例子,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2019-08-08