Python通過zookeeper實(shí)現(xiàn)分布式服務(wù)代碼解析
借助zookeeper可以實(shí)現(xiàn)服務(wù)器的注冊與發(fā)現(xiàn),有需求的時(shí)候調(diào)用zookeeper來發(fā)現(xiàn)可用的服務(wù)器,將任務(wù)均勻分配到各個服務(wù)器上去.
這樣可以方便的隨任務(wù)的繁重程度對服務(wù)器進(jìn)行彈性擴(kuò)容,客戶端和服務(wù)端是非耦合的,也可以隨時(shí)增加客戶端.
zk_server.py
import threading import json import socket import sys from kazoo.client import KazooClient # TCP服務(wù)端綁定端口開啟監(jiān)聽,同時(shí)將自己注冊到zk class ZKServer(object): def __init__(self, host, port): self.sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM) self.sock.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1) self.host = host self.port = port self.sock.bind((host, port)) self.zk = None def serve(self): """ 開始服務(wù),每次獲取得到一個信息,都新建一個線程處理 """ self.sock.listen(128) self.register_zk() print("開始監(jiān)聽") while True: conn, addr = self.sock.accept() print("建立鏈接%s" % str(addr)) t = threading.Thread(target=self.handle, args=(conn, addr)) t.start() # 具體的處理邏輯,只要接收到數(shù)據(jù)就立即投入工作,下次沒有數(shù)據(jù)本次鏈接結(jié)束 def handle(self, conn, addr): while True: data=conn.recv(1024) if not data or data.decode('utf-8') == 'exit': break print(data.decode('utf-8')) conn.close() print('My work is done!!!') # 將自己注冊到zk,臨時(shí)節(jié)點(diǎn),所以連接不能中斷 def register_zk(self): """ 注冊到zookeeper """ self.zk = KazooClient(hosts='127.0.0.1:2181') self.zk.start() self.zk.ensure_path('/rpc') # 創(chuàng)建根節(jié)點(diǎn) value = json.dumps({'host': self.host, 'port': self.port}) # 創(chuàng)建服務(wù)子節(jié)點(diǎn) self.zk.create('/rpc/server', value.encode(), ephemeral=True, sequence=True) if __name__ == '__main__': if len(sys.argv) < 3: print("usage:python server.py [host] [port]") exit(1) host = sys.argv[1] port = sys.argv[2] server = ZKServer(host, int(port)) server.serve()
zk_client.py
import random import sys import time import json import socket from kazoo.client import KazooClient # 客戶端連接zk,并從zk獲取可用的服務(wù)器列表 class ZKClient(object): def __init__(self): self._zk = KazooClient(hosts='127.0.0.1:2181') self._zk.start() self._get_servers() def _get_servers(self, event=None): """ 從zookeeper獲取服務(wù)器地址信息列表 """ servers = self._zk.get_children('/rpc', watch=self._get_servers) # print(servers) self._servers = [] for server in servers: data = self._zk.get('/rpc/' + server)[0] if data: addr = json.loads(data.decode()) self._servers.append(addr) def _get_server(self): """ 隨機(jī)選出一個可用的服務(wù)器 """ return random.choice(self._servers) def get_connection(self): """ 提供一個可用的tcp連接 """ sock = None while True: server = self._get_server() print('server:%s' % server) try: sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM) sock.connect((server['host'], server['port'])) except ConnectionRefusedError: time.sleep(1) continue else: break return sock if __name__ == '__main__': # 模擬多個客戶端批量生成任務(wù),推送給服務(wù)器執(zhí)行 client = ZKClient() for i in range(40): sock = client.get_connection() sock.send(bytes(str(i), encoding='utf8')) sock.close() time.sleep(1)
以上就是本文的全部內(nèi)容,希望對大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。
相關(guān)文章
Python virtualenv虛擬環(huán)境實(shí)現(xiàn)過程解析
這篇文章主要介紹了Python virtualenv虛擬環(huán)境實(shí)現(xiàn)過程解析,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-04-04python實(shí)現(xiàn)微信接口(itchat)詳細(xì)介紹
這篇文章主要介紹了python實(shí)現(xiàn)微信接口(itchat)詳細(xì)介紹,小編覺得挺不錯的,這里分享給大家,供需要的朋友參考。2017-10-10Python實(shí)現(xiàn)自動簽到腳本的示例代碼
這篇文章主要介紹了Python實(shí)現(xiàn)自動簽到腳本的示例代碼,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-08-08tensorflow: variable的值與variable.read_value()的值區(qū)別詳解
今天小編就為大家分享一篇tensorflow: variable的值與variable.read_value()的值區(qū)別詳解,具有很好的參考價(jià)值,希望對大家有所幫助。一起跟隨小編過來看看吧2018-07-07Python Charles抓包配置實(shí)現(xiàn)流程圖解
這篇文章主要介紹了Python Charles抓包實(shí)現(xiàn)流程圖解,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-09-09Python和Anaconda和Pycharm安裝教程圖文詳解
PyCharm是一種PythonIDE,帶有一整套可以幫助用戶在使用Python語言開發(fā)時(shí)提高其效率的工具,這篇文章主要介紹了Python和Anaconda和Pycharm安裝教程,需要的朋友可以參考下2020-02-02基于Python3.6中的OpenCV實(shí)現(xiàn)圖片色彩空間的轉(zhuǎn)換
這篇文章主要介紹了基于Python3.6的OpenCV實(shí)現(xiàn)圖片色彩空間的轉(zhuǎn)換,本文給大家介紹的非常詳細(xì),具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2020-02-02Pytorch 統(tǒng)計(jì)模型參數(shù)量的操作 param.numel()
這篇文章主要介紹了Pytorch 統(tǒng)計(jì)模型參數(shù)量的操作 param.numel(),具有很好的參考價(jià)值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教2021-05-05