Python如何實(shí)現(xiàn)遠(yuǎn)程方法調(diào)用
問題
你想在一個(gè)消息傳輸層如 sockets 、multiprocessing connections 或 ZeroMQ 的基礎(chǔ)之上實(shí)現(xiàn)一個(gè)簡單的遠(yuǎn)程過程調(diào)用(RPC)。
解決方案
將函數(shù)請(qǐng)求、參數(shù)和返回值使用pickle編碼后,在不同的解釋器直接傳送pickle字節(jié)字符串,可以很容易的實(shí)現(xiàn)RPC。 下面是一個(gè)簡單的PRC處理器,可以被整合到一個(gè)服務(wù)器中去:
# rpcserver.py import pickle class RPCHandler: def __init__(self): self._functions = { } def register_function(self, func): self._functions[func.__name__] = func def handle_connection(self, connection): try: while True: # Receive a message func_name, args, kwargs = pickle.loads(connection.recv()) # Run the RPC and send a response try: r = self._functions[func_name](*args,**kwargs) connection.send(pickle.dumps(r)) except Exception as e: connection.send(pickle.dumps(e)) except EOFError: pass
要使用這個(gè)處理器,你需要將它加入到一個(gè)消息服務(wù)器中。你有很多種選擇, 但是使用 multiprocessing 庫是最簡單的。下面是一個(gè)RPC服務(wù)器例子:
from multiprocessing.connection import Listener from threading import Thread def rpc_server(handler, address, authkey): sock = Listener(address, authkey=authkey) while True: client = sock.accept() t = Thread(target=handler.handle_connection, args=(client,)) t.daemon = True t.start() # Some remote functions def add(x, y): return x + y def sub(x, y): return x - y # Register with a handler handler = RPCHandler() handler.register_function(add) handler.register_function(sub) # Run the server rpc_server(handler, ('localhost', 17000), authkey=b'peekaboo')
為了從一個(gè)遠(yuǎn)程客戶端訪問服務(wù)器,你需要?jiǎng)?chuàng)建一個(gè)對(duì)應(yīng)的用來傳送請(qǐng)求的RPC代理類。例如
import pickle class RPCProxy: def __init__(self, connection): self._connection = connection def __getattr__(self, name): def do_rpc(*args, **kwargs): self._connection.send(pickle.dumps((name, args, kwargs))) result = pickle.loads(self._connection.recv()) if isinstance(result, Exception): raise result return result return do_rpc
要使用這個(gè)代理類,你需要將其包裝到一個(gè)服務(wù)器的連接上面,例如:
>>> from multiprocessing.connection import Client >>> c = Client(('localhost', 17000), authkey=b'peekaboo') >>> proxy = RPCProxy(c) >>> proxy.add(2, 3) 5 >>> proxy.sub(2, 3) -1 >>> proxy.sub([1, 2], 4) Traceback (most recent call last): File "<stdin>", line 1, in <module> File "rpcserver.py", line 37, in do_rpc raise result TypeError: unsupported operand type(s) for -: 'list' and 'int' >>>
要注意的是很多消息層(比如 multiprocessing )已經(jīng)使用pickle序列化了數(shù)據(jù)。 如果是這樣的話,對(duì) pickle.dumps() 和 pickle.loads() 的調(diào)用要去掉。
討論
RPCHandler 和 RPCProxy 的基本思路是很比較簡單的。 如果一個(gè)客戶端想要調(diào)用一個(gè)遠(yuǎn)程函數(shù),比如 foo(1, 2, z=3) ,代理類創(chuàng)建一個(gè)包含了函數(shù)名和參數(shù)的元組 ('foo', (1, 2), {'z': 3}) 。 這個(gè)元組被pickle序列化后通過網(wǎng)絡(luò)連接發(fā)生出去。 這一步在 RPCProxy 的 __getattr__() 方法返回的 do_rpc() 閉包中完成。 服務(wù)器接收后通過pickle反序列化消息,查找函數(shù)名看看是否已經(jīng)注冊(cè)過,然后執(zhí)行相應(yīng)的函數(shù)。 執(zhí)行結(jié)果(或異常)被pickle序列化后返回發(fā)送給客戶端。我們的實(shí)例需要依賴 multiprocessing 進(jìn)行通信。 不過,這種方式可以適用于其他任何消息系統(tǒng)。例如,如果你想在ZeroMQ之上實(shí)習(xí)RPC, 僅僅只需要將連接對(duì)象換成合適的ZeroMQ的socket對(duì)象即可。
由于底層需要依賴pickle,那么安全問題就需要考慮了 (因?yàn)橐粋€(gè)聰明的黑客可以創(chuàng)建特定的消息,能夠讓任意函數(shù)通過pickle反序列化后被執(zhí)行)。 因此你永遠(yuǎn)不要允許來自不信任或未認(rèn)證的客戶端的RPC。特別是你絕對(duì)不要允許來自Internet的任意機(jī)器的訪問, 這種只能在內(nèi)部被使用,位于防火墻后面并且不要對(duì)外暴露。
作為pickle的替代,你也許可以考慮使用JSON、XML或一些其他的編碼格式來序列化消息。 例如,本機(jī)實(shí)例可以很容易的改寫成JSON編碼方案。還需要將 pickle.loads() 和 pickle.dumps() 替換成 json.loads() 和 json.dumps() 即可:
# jsonrpcserver.py import json class RPCHandler: def __init__(self): self._functions = { } def register_function(self, func): self._functions[func.__name__] = func def handle_connection(self, connection): try: while True: # Receive a message func_name, args, kwargs = json.loads(connection.recv()) # Run the RPC and send a response try: r = self._functions[func_name](*args,**kwargs) connection.send(json.dumps(r)) except Exception as e: connection.send(json.dumps(str(e))) except EOFError: pass # jsonrpcclient.py import json class RPCProxy: def __init__(self, connection): self._connection = connection def __getattr__(self, name): def do_rpc(*args, **kwargs): self._connection.send(json.dumps((name, args, kwargs))) result = json.loads(self._connection.recv()) return result return do_rpc
實(shí)現(xiàn)RPC的一個(gè)比較復(fù)雜的問題是如何去處理異常。至少,當(dāng)方法產(chǎn)生異常時(shí)服務(wù)器不應(yīng)該奔潰。 因此,返回給客戶端的異常所代表的含義就要好好設(shè)計(jì)了。 如果你使用pickle,異常對(duì)象實(shí)例在客戶端能被反序列化并拋出。如果你使用其他的協(xié)議,那得想想另外的方法了。 不過至少,你應(yīng)該在響應(yīng)中返回異常字符串。我們?cè)贘SON的例子中就是使用的這種方式。
以上就是Python如何實(shí)現(xiàn)遠(yuǎn)程方法調(diào)用的詳細(xì)內(nèi)容,更多關(guān)于Python遠(yuǎn)程方法調(diào)用的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章!
相關(guān)文章
Python按行讀取文件的實(shí)現(xiàn)方法【小文件和大文件讀取】
這篇文章主要介紹了Python按行讀取文件的實(shí)現(xiàn)方法,結(jié)合實(shí)例形式分析了針對(duì)小文件和大文件的讀取方法,需要的朋友可以參考下2016-09-09深入分析在Python模塊頂層運(yùn)行的代碼引起的一個(gè)Bug
幾個(gè)星期前, 我的同事跑過來, 說發(fā)現(xiàn)一個(gè)奇怪的Bug: 在使用Python的subprocess運(yùn)行子進(jìn)程時(shí), 當(dāng)子進(jìn)程運(yùn)行失敗時(shí)居然沒有拋出錯(cuò)誤!2014-07-07Python數(shù)據(jù)結(jié)構(gòu)之二叉排序樹的定義、查找、插入、構(gòu)造、刪除
這篇文章主要給大家介紹了關(guān)于Python數(shù)據(jù)結(jié)構(gòu)之二叉排序樹應(yīng)用的相關(guān)資料,二叉排序樹又稱為二叉查找樹,它或者是一顆空樹,或者是具有下列性質(zhì)的二叉樹,需要的朋友可以參考下2021-06-06Python機(jī)器學(xué)習(xí)之隨機(jī)梯度下降法的實(shí)現(xiàn)
如果當(dāng)我們數(shù)據(jù)量和樣本量非常大時(shí),每一項(xiàng)都要參與到梯度下降,那么它的計(jì)算量時(shí)非常大的,所以我們需要采用隨機(jī)梯度下降法。本文介紹了Python實(shí)現(xiàn)隨機(jī)梯度下降法的方法,希望對(duì)大家有所幫助2023-02-02個(gè)人微信公眾號(hào)接入ChatGPT的教程分享
這篇文章主要為大家詳細(xì)介紹了如何為個(gè)人微信公眾號(hào)接入ChatGPT,文中的實(shí)現(xiàn)步驟講解詳細(xì),具有一定的學(xué)習(xí)價(jià)值,感興趣的小伙伴可以了解一下2023-05-05