Python通過zookeeper實現(xiàn)分布式服務(wù)代碼解析
借助zookeeper可以實現(xiàn)服務(wù)器的注冊與發(fā)現(xiàn),有需求的時候調(diào)用zookeeper來發(fā)現(xiàn)可用的服務(wù)器,將任務(wù)均勻分配到各個服務(wù)器上去.
這樣可以方便的隨任務(wù)的繁重程度對服務(wù)器進行彈性擴容,客戶端和服務(wù)端是非耦合的,也可以隨時增加客戶端.
zk_server.py
import threading
import json
import socket
import sys
from kazoo.client import KazooClient
# TCP服務(wù)端綁定端口開啟監(jiān)聽,同時將自己注冊到zk
class ZKServer(object):
def __init__(self, host, port):
self.sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
self.sock.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
self.host = host
self.port = port
self.sock.bind((host, port))
self.zk = None
def serve(self):
"""
開始服務(wù),每次獲取得到一個信息,都新建一個線程處理
"""
self.sock.listen(128)
self.register_zk()
print("開始監(jiān)聽")
while True:
conn, addr = self.sock.accept()
print("建立鏈接%s" % str(addr))
t = threading.Thread(target=self.handle, args=(conn, addr))
t.start()
# 具體的處理邏輯,只要接收到數(shù)據(jù)就立即投入工作,下次沒有數(shù)據(jù)本次鏈接結(jié)束
def handle(self, conn, addr):
while True:
data=conn.recv(1024)
if not data or data.decode('utf-8') == 'exit':
break
print(data.decode('utf-8'))
conn.close()
print('My work is done!!!')
# 將自己注冊到zk,臨時節(jié)點,所以連接不能中斷
def register_zk(self):
"""
注冊到zookeeper
"""
self.zk = KazooClient(hosts='127.0.0.1:2181')
self.zk.start()
self.zk.ensure_path('/rpc') # 創(chuàng)建根節(jié)點
value = json.dumps({'host': self.host, 'port': self.port})
# 創(chuàng)建服務(wù)子節(jié)點
self.zk.create('/rpc/server', value.encode(), ephemeral=True, sequence=True)
if __name__ == '__main__':
if len(sys.argv) < 3:
print("usage:python server.py [host] [port]")
exit(1)
host = sys.argv[1]
port = sys.argv[2]
server = ZKServer(host, int(port))
server.serve()
zk_client.py
import random
import sys
import time
import json
import socket
from kazoo.client import KazooClient
# 客戶端連接zk,并從zk獲取可用的服務(wù)器列表
class ZKClient(object):
def __init__(self):
self._zk = KazooClient(hosts='127.0.0.1:2181')
self._zk.start()
self._get_servers()
def _get_servers(self, event=None):
"""
從zookeeper獲取服務(wù)器地址信息列表
"""
servers = self._zk.get_children('/rpc', watch=self._get_servers)
# print(servers)
self._servers = []
for server in servers:
data = self._zk.get('/rpc/' + server)[0]
if data:
addr = json.loads(data.decode())
self._servers.append(addr)
def _get_server(self):
"""
隨機選出一個可用的服務(wù)器
"""
return random.choice(self._servers)
def get_connection(self):
"""
提供一個可用的tcp連接
"""
sock = None
while True:
server = self._get_server()
print('server:%s' % server)
try:
sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
sock.connect((server['host'], server['port']))
except ConnectionRefusedError:
time.sleep(1)
continue
else:
break
return sock
if __name__ == '__main__':
# 模擬多個客戶端批量生成任務(wù),推送給服務(wù)器執(zhí)行
client = ZKClient()
for i in range(40):
sock = client.get_connection()
sock.send(bytes(str(i), encoding='utf8'))
sock.close()
time.sleep(1)
以上就是本文的全部內(nèi)容,希望對大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。
相關(guān)文章
Python virtualenv虛擬環(huán)境實現(xiàn)過程解析
這篇文章主要介紹了Python virtualenv虛擬環(huán)境實現(xiàn)過程解析,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2020-04-04
python實現(xiàn)微信接口(itchat)詳細(xì)介紹
這篇文章主要介紹了python實現(xiàn)微信接口(itchat)詳細(xì)介紹,小編覺得挺不錯的,這里分享給大家,供需要的朋友參考。2017-10-10
tensorflow: variable的值與variable.read_value()的值區(qū)別詳解
今天小編就為大家分享一篇tensorflow: variable的值與variable.read_value()的值區(qū)別詳解,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2018-07-07
Python Charles抓包配置實現(xiàn)流程圖解
這篇文章主要介紹了Python Charles抓包實現(xiàn)流程圖解,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2020-09-09
Python和Anaconda和Pycharm安裝教程圖文詳解
PyCharm是一種PythonIDE,帶有一整套可以幫助用戶在使用Python語言開發(fā)時提高其效率的工具,這篇文章主要介紹了Python和Anaconda和Pycharm安裝教程,需要的朋友可以參考下2020-02-02
基于Python3.6中的OpenCV實現(xiàn)圖片色彩空間的轉(zhuǎn)換
這篇文章主要介紹了基于Python3.6的OpenCV實現(xiàn)圖片色彩空間的轉(zhuǎn)換,本文給大家介紹的非常詳細(xì),具有一定的參考借鑒價值,需要的朋友可以參考下2020-02-02
Pytorch 統(tǒng)計模型參數(shù)量的操作 param.numel()
這篇文章主要介紹了Pytorch 統(tǒng)計模型參數(shù)量的操作 param.numel(),具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教2021-05-05

