在Python中使用異步Socket編程性能測試
OK,首先寫一個(gè)python socket的server段,對開放三個(gè)端口:10000,10001,10002.krondo的例子中是每個(gè)server綁定一個(gè)端口,測試的時(shí)候需要分別開3個(gè)shell,分別運(yùn)行.這太麻煩了,就分別用三個(gè)Thread來運(yùn)行這些services.
import optparse import os import socket import time from threading import Thread import StringIO txt = '''1111 2222 3333 4444 ''' def server(listen_socket): while True: buf = StringIO.StringIO(txt) sock, addr = listen_socket.accept() print 'Somebody at %s wants poetry!' % (addr,) while True: try: line = buf.readline().strip() if not line: sock.close() break sock.sendall(line) # this is a blocking call print 'send bytes to client:%s' % line #sock.close() except socket.error: sock.close() break time.sleep(1) #server和client連接后,server會(huì)故意每發(fā)送一個(gè)單詞后等待一秒鐘后再發(fā)送另一個(gè)單詞 def main(): ports = [10000, 10001, 10002] for port in ports: listen_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM) listen_socket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1) addres = (str('127.0.0.1'), port) listen_socket.bind(addres) listen_socket.listen(5) print "start listen at:%s" % (port,) worker = Thread(target = server, args = [listen_socket]) worker.setDaemon(True) worker.start() if __name__ == '__main__': main() while True: time.sleep(0.1) #如果不sleep的話,CPU會(huì)被Python完全占用了 pass
下面是一個(gè)client,沒有才用異步網(wǎng)絡(luò),連接這個(gè)三個(gè)端口的server:
import socket if __name__ == '__main__': ports = [10000, 10001, 10002] for port in ports: address = (str('127.0.0.1'), port) sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM) sock.connect(address) poem = '' while True: data = sock.recv(4) if not data: sock.close() break poem += data print poem
下面用異步的client來讀取,代碼如下:
import datetime, errno, optparse, select, socket def connect(port): """Connect to the given server and return a non-blocking socket.""" address = (str('127.0.0.1'), port) sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM) sock.connect(address) sock.setblocking(0) return sock def format_address(address): host, port = address return '%s:%s' % (host or '127.0.0.1', port) if __name__ == '__main__': ports = [10000, 10001, 10002] start = datetime.datetime.now() sockets = map(connect, ports) poems = dict.fromkeys(sockets, '') # socket -> accumulated poem # socket -> task numbers sock2task = dict([(s, i + 1) for i, s in enumerate(sockets)]) sockets = list(sockets) # make a copy while sockets: #運(yùn)用select來確保那些可讀取的異步socket可以立即開始讀取IO #OS不停的搜索目前可以read的socket,有的話就返回rlist rlist, _, _ = select.select(sockets, [], []) for sock in rlist: data = '' while True: try: new_data = sock.recv(1024) except socket.error, e: if e.args[0] == errno.EWOULDBLOCK: break raise else: if not new_data: break else: print new_data data += new_data task_num = sock2task[sock] if not data: sockets.remove(sock) sock.close() print 'Task %d finished' % task_num else: addr_fmt = format_address(sock.getpeername()) msg = 'Task %d: got %d bytes of poetry from %s' print msg % (task_num, len(data), addr_fmt) poems[sock] += data elapsed = datetime.datetime.now() - start print 'Got poems in %s' % elapsed
結(jié)果只需要4秒就完成了讀取任務(wù)。效率是剛才同步socket的三倍。對客戶端的異步改造主要有兩點(diǎn):
同步模式下,客戶端分別創(chuàng)建socket;而在異步模式下,client開始就創(chuàng)建了所有的socket。
通過“sock.setblocking(0)”設(shè)置socket為異步模式。
通過Unix系統(tǒng)的select倆返回可讀取IO
最為核心的是26行和29行。尤其是29行的select操作返回待讀取socket的列表。
- Python Socket編程之多線程聊天室
- python的socket編程入門
- python多線程socket編程之多客戶端接入
- Python Socket編程詳細(xì)介紹
- Python基礎(chǔ)教程之tcp socket編程詳解及簡單實(shí)例
- Python中基礎(chǔ)的socket編程實(shí)戰(zhàn)攻略
- Python的Socket編程過程中實(shí)現(xiàn)UDP端口復(fù)用的實(shí)例分享
- Python socket編程實(shí)例詳解
- 最基礎(chǔ)的Python的socket編程入門教程
- Python Socket編程入門教程
- python SOCKET編程基礎(chǔ)入門
相關(guān)文章
Python驗(yàn)證的50個(gè)常見正則表達(dá)式
這篇文章主要給大家介紹了關(guān)于利用Python驗(yàn)證的50個(gè)常見正則表達(dá)式的相關(guān)資料,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-03-03用Python寫腳本,實(shí)現(xiàn)完全備份和增量備份的示例
下面小編就為大家分享一篇用Python寫腳本,實(shí)現(xiàn)完全備份和增量備份的示例,具有很好的參考價(jià)值,希望對大家有所幫助。一起跟隨小編過來看看吧2018-04-04django數(shù)據(jù)模型(Model)的字段類型解析
這篇文章主要介紹了django數(shù)據(jù)模型(Model)的字段類型,文中給大家提到了django數(shù)據(jù)模型on_delete, db_constraint的使用,需要的朋友可以參考下2019-12-12使用pycharm將自己項(xiàng)目代碼上傳github(小白教程)
github是一個(gè)代碼托管平臺,本文主要介紹了使用pycharm將自己項(xiàng)目代碼上傳github,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2021-11-11Python selenium 自動(dòng)化腳本打包成一個(gè)exe文件(推薦)
這篇文章主要介紹了Python selenium 自動(dòng)化腳本打包成一個(gè)exe文件,本文通過實(shí)例代碼給大家介紹的非常詳細(xì),具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2020-01-01python之從文件讀取數(shù)據(jù)到list的實(shí)例講解
下面小編就為大家分享一篇python之從文件讀取數(shù)據(jù)到list的實(shí)例講解,具有很好的參考價(jià)值,希望對大家有所幫助。一起跟隨小編過來看看吧2018-04-04一文深入學(xué)習(xí)Python中的os.listdir函數(shù)
這篇文章主要給大家介紹了關(guān)于Python中os.listdir函數(shù)的相關(guān)資料,os.listdir是 Python中的一個(gè)函數(shù),它的意思是返回指定目錄下的文件和文件夾的名稱的列表,需要的朋友可以參考下2023-10-10