Python中協(xié)程用法代碼詳解
本文研究的主要是python中協(xié)程的相關(guān)問題,具體介紹如下。
Num01–>協(xié)程的定義
協(xié)程,又稱微線程,纖程。英文名Coroutine。
首先我們得知道協(xié)程是啥?協(xié)程其實(shí)可以認(rèn)為是比線程更小的執(zhí)行單元。 為啥說他是一個(gè)執(zhí)行單元,因?yàn)樗詭PU上下文。這樣只要在合適的時(shí)機(jī), 我們可以把一個(gè)協(xié)程 切換到另一個(gè)協(xié)程。 只要這個(gè)過程中保存或恢復(fù) CPU上下文那么程序還是可以運(yùn)行的。
Num02–>協(xié)程和線程的差異
那么這個(gè)過程看起來和線程差不多。其實(shí)不然, 線程切換從系統(tǒng)層面遠(yuǎn)不止保存和恢復(fù) CPU上下文這么簡單。 操作系統(tǒng)為了程序運(yùn)行的高效性每個(gè)線程都有自己緩存Cache等等數(shù)據(jù),操作系統(tǒng)還會(huì)幫你做這些數(shù)據(jù)的恢復(fù)操作。 所以線程的切換非常耗性能。但是協(xié)程的切換只是單純的操作CPU的上下文,所以一秒鐘切換個(gè)上百萬次系統(tǒng)都抗的住。
Num03–>協(xié)程帶來的問題
協(xié)程有一個(gè)問題,就是系統(tǒng)并不感知,所以操作系統(tǒng)不會(huì)幫你做切換。 那么誰來幫你做切換?讓需要執(zhí)行的協(xié)程更多的獲得CPU時(shí)間才是問題的關(guān)鍵。
舉個(gè)例子如下:
目前的協(xié)程框架一般都是設(shè)計(jì)成 1:N 模式。所謂 1:N 就是一個(gè)線程作為一個(gè)容器里面放置多個(gè)協(xié)程。 那么誰來適時(shí)的切換這些協(xié)程?答案是有協(xié)程自己主動(dòng)讓出CPU,也就是每個(gè)協(xié)程池里面有一個(gè)調(diào)度器, 這個(gè)調(diào)度器是被動(dòng)調(diào)度的。意思就是他不會(huì)主動(dòng)調(diào)度。而且當(dāng)一個(gè)協(xié)程發(fā)現(xiàn)自己執(zhí)行不下去了(比如異步等待網(wǎng)絡(luò)的數(shù)據(jù)回來,但是當(dāng)前還沒有數(shù)據(jù)到), 這個(gè)時(shí)候就可以由這個(gè)協(xié)程通知調(diào)度器,這個(gè)時(shí)候執(zhí)行到調(diào)度器的代碼,調(diào)度器根據(jù)事先設(shè)計(jì)好的調(diào)度算法找到當(dāng)前最需要CPU的協(xié)程。 切換這個(gè)協(xié)程的CPU上下文把CPU的運(yùn)行權(quán)交個(gè)這個(gè)協(xié)程,直到這個(gè)協(xié)程出現(xiàn)執(zhí)行不下去需要等等的情況,或者它調(diào)用主動(dòng)讓出CPU的API之類,觸發(fā)下一次調(diào)度。
Num04–>協(xié)程的好處
在IO密集型的程序中由于IO操作遠(yuǎn)遠(yuǎn)慢于CPU的操作,所以往往需要CPU去等IO操作。 同步IO下系統(tǒng)需要切換線程,讓操作系統(tǒng)可以在IO過程中執(zhí)行其他的東西。 這樣雖然代碼是符合人類的思維習(xí)慣但是由于大量的線程切換帶來了大量的性能的浪費(fèi),尤其是IO密集型的程序。
所以人們發(fā)明了異步IO。就是當(dāng)數(shù)據(jù)到達(dá)的時(shí)候觸發(fā)我的回調(diào)。來減少線程切換帶來性能損失。 但是這樣的壞處也是很大的,主要的壞處就是操作被 “分片” 了,代碼寫的不是 “一氣呵成” 這種。 而是每次來段數(shù)據(jù)就要判斷 數(shù)據(jù)夠不夠處理哇,夠處理就處理吧,不夠處理就在等等吧。這樣代碼的可讀性很低,其實(shí)也不符合人類的習(xí)慣。
但是協(xié)程可以很好解決這個(gè)問題。比如 把一個(gè)IO操作 寫成一個(gè)協(xié)程。當(dāng)觸發(fā)IO操作的時(shí)候就自動(dòng)讓出CPU給其他協(xié)程。要知道協(xié)程的切換很輕的。 協(xié)程通過這種對(duì)異步IO的封裝 既保留了性能也保證了代碼的容易編寫和可讀性。在高IO密集型的程序下很好。但是高CPU密集型的程序下沒啥好處。
Num05–>yield實(shí)現(xiàn)一個(gè)簡單協(xié)程案例
import time def A(): while True: print("----我是A函數(shù)---") yield time.sleep(0.5) def B(c): while True: print("----我是B函數(shù)---") next(c) time.sleep(0.5) if __name__ == '__main__': a = A() B(a) # 結(jié)果如下: # ----我是B函數(shù)--- # ----我是A函數(shù)--- # ----我是B函數(shù)--- # ----我是A函數(shù)--- # ----我是B函數(shù)--- # ----我是A函數(shù)--- # ----我是B函數(shù)--- # ----我是A函數(shù)--- # ----我是B函數(shù)--- # ----我是A函數(shù)--- # ......
Num06–>greenlet版本實(shí)現(xiàn)協(xié)程案例
#!/usr/bin/env python # -*- coding: utf-8 -*- # @Author : xiaoke from greenlet import greenlet import time def test1(): while True: print("---我是A函數(shù)--") gr2.switch() time.sleep(0.5) def test2(): while True: print("---我是B函數(shù)--") gr1.switch() time.sleep(0.5) def main(): # 切換到gr1中運(yùn)行 gr1.switch() if __name__ == '__main__': gr1 = greenlet(test1) gr2 = greenlet(test2) main() # 結(jié)果如下: # ---我是A函數(shù)-- # ---我是B函數(shù)-- # ---我是A函數(shù)-- # ---我是B函數(shù)-- # ---我是A函數(shù)-- # ---我是B函數(shù)-- # ---我是A函數(shù)-- # ---我是B函數(shù)-- # ......
Num07–>gevent實(shí)現(xiàn)協(xié)程案例
原理:其原理是當(dāng)一個(gè)greenlet遇到IO(指的是input output 輸入輸出,比如網(wǎng)絡(luò)、文件操作等)操作時(shí),比如訪問網(wǎng)絡(luò),就自動(dòng)切換到其他的greenlet,等到IO操作完成,再在適當(dāng)?shù)臅r(shí)候切換回來繼續(xù)執(zhí)行。
由于IO操作非常耗時(shí),經(jīng)常使程序處于等待狀態(tài),有了gevent為我們自動(dòng)切換協(xié)程,就保證總有g(shù)reenlet在運(yùn)行,而不是等待IO
#!/usr/bin/env python # -*- coding: utf-8 -*- # @Author : xiaoke import gevent def task1(n): for i in range(n): print('----task1-----') gevent.sleep(1) # time.sleep(1) # time.sleep沒有讓gevent感知到等待 def task2(n): for i in range(n): print('----task2-----') gevent.sleep(1) # time.sleep(1) def main(): g1 = gevent.spawn(task1, 5) g2 = gevent.spawn(task2, 5) g1.join() g2.join() if __name__ == "__main__": main() # 結(jié)果如下: # ----task1----- # ----task2----- # ----task1----- # ----task2----- # ----task1----- # ----task2----- # ----task1----- # ----task2----- # ----task1----- # ----task2-----
gevent并發(fā)下載器
實(shí)際代碼里,我們不會(huì)用gevent.sleep()去切換協(xié)程,而是在執(zhí)行到IO操作時(shí),gevent自動(dòng)切換,代碼如下
#!/usr/bin/env python # -*- coding: utf-8 -*- # @Author : xiaoke import urllib.request # py3 import gevent from gevent import monkey # 猴子補(bǔ)丁,將標(biāo)準(zhǔn)庫的涉及IO操作方法替換成gevent monkey.patch_all() # 協(xié)程的任務(wù)函數(shù) def my_download(url): print('GET %s' % url) response = urllib.request.urlopen(url) data = response.read() print('下載 %d bytes from %s' % (len(data), url)) def main(): g1 = gevent.spawn(my_download, 'http://www.google.cn') g2 = gevent.spawn(my_download, 'http://www.qq.com') g3 = gevent.spawn(my_download, 'http://www.baidu.com') gevent.joinall([g1, g2, g3]) # 等待指定的協(xié)程結(jié)束 if __name__ == "__main__": main() # 結(jié)果如下: # GET http://www.google.cn # GET http://www.qq.com # GET http://www.baidu.com # 下載 102221 bytes from http://www.baidu.com # 下載 52297 bytes from http://www.qq.com # 下載 3213 bytes from http://www.google.cn #從上能夠看到是先獲取baidu的相關(guān)信息,然后依次是qq #google,但是收到數(shù)據(jù)的先后順序不一定與發(fā)送順序相同, #這也就體現(xiàn)出了異步,即不確定什么時(shí)候會(huì)收到數(shù)據(jù),順序不一定.
Num08–>gevent版–TCP服務(wù)器
#!/usr/bin/env python # -*- coding: utf-8 -*- # @Author : xiaoke import socket import gevent from gevent import monkey #猴子補(bǔ)丁,將標(biāo)準(zhǔn)庫的涉及IO操作方法替換成gevent monkey.patch_all() # 需要為客戶端提供服務(wù) def do_service(connect_socket): while True: # tcp recv() 只會(huì)返回接收到的數(shù)據(jù) recv_data = connect_socket.recv(1024) # if recv_data == b'': if len(recv_data) == 0: # 發(fā)送方關(guān)閉tcp的連接,recv()不會(huì)阻塞,而是直接返回'' # print('client %s close' % str(client_addr)) # s.getpeername() s.getsockname() print('client %s close' % str(connect_socket.getpeername())) break print('recv: %s' % recv_data.decode('gbk')) def main(): listen_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM) # 設(shè)置允許復(fù)用地址,當(dāng)建立連接之后服務(wù)器先關(guān)閉,設(shè)置地址復(fù)用 listen_socket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1) my_addr = ('192.168.105.125', 8080) listen_socket.bind(my_addr) listen_socket.listen(5) # 設(shè)置套接字成監(jiān)聽,5表示一個(gè)己連接隊(duì)列長度 print('listening...') while True: # 接受連接請(qǐng)求,創(chuàng)建連接套接字,用于客戶端連通信 connect_socket, client_addr = listen_socket.accept() # accept默認(rèn)會(huì)引起阻塞 # 新創(chuàng)建連接用的socket, 客戶端的地址 # print(connect_socket) print(client_addr) # 每當(dāng)來新的客戶端連接,創(chuàng)建協(xié)程,由協(xié)程和客戶端通信 coroutine_do_service = gevent.spawn(do_service, connect_socket) if __name__ == "__main__": main()
總結(jié)
關(guān)于協(xié)程的問題,面試中好像也會(huì)時(shí)常被問到,大家一定要注意理解,概念,怎么去實(shí)現(xiàn)。
以上就是本文關(guān)于Python中協(xié)程用法代碼詳解的全部內(nèi)容,希望對(duì)大家有所幫助。感興趣的朋友可以繼續(xù)參閱本站其他相關(guān)專題,如有不足之處,歡迎留言指出。感謝朋友們對(duì)本站的支持!
- 對(duì)Python協(xié)程之異步同步的區(qū)別詳解
- 在python里從協(xié)程返回一個(gè)值的示例
- 在python里協(xié)程使用同步鎖Lock的實(shí)例
- python中協(xié)程實(shí)現(xiàn)TCP連接的實(shí)例分析
- 實(shí)例講解python中的協(xié)程
- python編程使用協(xié)程并發(fā)的優(yōu)缺點(diǎn)
- 詳解Python 協(xié)程的詳細(xì)用法使用和例子
- Python協(xié)程的用法和例子詳解
- python 生成器協(xié)程運(yùn)算實(shí)例
- python簡單線程和協(xié)程學(xué)習(xí)心得(分享)
- python線程、進(jìn)程和協(xié)程詳解
- 深入淺析python中的多進(jìn)程、多線程、協(xié)程
- python協(xié)程之動(dòng)態(tài)添加任務(wù)的方法
相關(guān)文章
Python操作MySQL數(shù)據(jù)庫的示例代碼
這篇文章主要介紹了Python操作MySQL數(shù)據(jù)庫的方法,文中示例代碼非常詳細(xì),幫助大家更好的理解和學(xué)習(xí),感興趣的朋友可以了解下2020-07-07Python實(shí)現(xiàn)簡單的列表冒泡排序和反轉(zhuǎn)列表操作示例
這篇文章主要介紹了Python實(shí)現(xiàn)簡單的列表冒泡排序和反轉(zhuǎn)列表操作,涉及Python列表遍歷、排序、追加等相關(guān)操作技巧,需要的朋友可以參考下2019-07-07python函數(shù)存儲(chǔ)在模塊的優(yōu)點(diǎn)及用法總結(jié)
在本篇文章里小編給大家整理了一篇關(guān)于python函數(shù)存儲(chǔ)在模塊的優(yōu)點(diǎn)及用法相關(guān)內(nèi)容,有興趣的朋友們可以跟著學(xué)習(xí)下。2021-10-10Python產(chǎn)生Gnuplot繪圖數(shù)據(jù)的方法
今天小編就為大家分享一篇Python產(chǎn)生Gnuplot繪圖數(shù)據(jù)的方法,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2018-11-11python3實(shí)現(xiàn)tailf命令的示例代碼
本文主要介紹了python3實(shí)現(xiàn)tailf命令的示例代碼,tail -f 是一個(gè)linux的操作命令.其主要的是會(huì)把文件里的最尾部的內(nèi)容顯顯示在屏幕上,并且不斷刷新,只要文件有變動(dòng)就可以看到最新的文件內(nèi)容,感興趣的可以了解一下2023-11-11python神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)使用Keras進(jìn)行回歸運(yùn)算
這篇文章主要為大家介紹了python神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)使用Keras進(jìn)行回歸運(yùn)算,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2022-05-05