欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Python collections.deque雙邊隊列原理詳解

 更新時間:2020年10月05日 10:11:21   作者:lincappu  
這篇文章主要介紹了Python collections.deque雙邊隊列原理詳解,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下

隊列是一種只允許在一端進行插入操作,而在另一端進行刪除操作的線性表。

在Python文檔中搜索隊列(queue)會發(fā)現(xiàn),Python標準庫中包含了四種隊列,分別是queue.Queue / asyncio.Queue / multiprocessing.Queue / collections.deque。

collections.deque

deque是雙端隊列(double-ended queue)的縮寫,由于兩端都能編輯,deque既可以用來實現(xiàn)棧(stack)也可以用來實現(xiàn)隊列(queue)。

deque支持豐富的操作方法,主要方法如圖:

相比于list實現(xiàn)的隊列,deque實現(xiàn)擁有更低的時間和空間復雜度。list實現(xiàn)在出隊(pop)和插入(insert)時的空間復雜度大約為O(n),deque在出隊(pop)和入隊(append)時的時間復雜度是O(1)。

deque也支持in操作符,可以使用如下寫法:

q = collections.deque([1, 2, 3, 4])
print(5 in q) # False
print(1 in q) # True

deque還封裝了順逆時針的旋轉(zhuǎn)的方法:rotate。

# 順時針
q = collections.deque([1, 2, 3, 4])
q.rotate(1)
print(q) # [4, 1, 2, 3]
q.rotate(1)
print(q) # [3, 4, 1, 2]

# 逆時針
q = collections.deque([1, 2, 3, 4])
q.rotate(-1)
print(q) # [2, 3, 4, 1]
q.rotate(-1)
print(q) # [3, 4, 1, 2]

線程安全方面,通過查看collections.deque中的append()、pop()等方法的源碼可以知道,他們都是原子操作,所以是GIL保護下的線程安全方法。

static PyObject *
deque_append(dequeobject *deque, PyObject *item) {
Py_INCREF(item);
if (deque_append_internal(deque, item, deque->maxlen) < 0)
return NULL;
Py_RETURN_NONE;
}

通過dis方法可以看到,append是原子操作(一行字節(jié)碼)。

綜上,collections.deque是一個可以方便實現(xiàn)隊列的數(shù)據(jù)結(jié)構(gòu),具有線程安全的特性,并且有很高的性能。

queue.Queue & asyncio.Queue

queue.Queue和asyncio.Queue都是支持多生產(chǎn)者、多消費者的隊列,基于collections.deque,他們都提供了Queue(FIFO隊列)、PriorityQueue(優(yōu)先級隊列)、LifoQueue(LIFO隊列),接口方面也相同。

區(qū)別在于queue.Queue適用于多線程的場景,asyncio.Queue適用于協(xié)程場景下的通信,由于asyncio的加成,queue.Queue下的阻塞接口在asyncio.Queue中則是以返回協(xié)程對象的方式執(zhí)行,具體差異如下表:

  queue.Queue asyncio.Queue
介紹 同步隊列 asyncio隊列
線程安全
超時機制 通過timeout參數(shù)實現(xiàn) 通過asyncio.wait_for()方法實現(xiàn)
qsize() 預估的隊列長度(獲取qsize到下一個操作之間,queue有可能被其它的線程修改,導致qsize大小發(fā)生變化) 準確的隊列長度(由于是單線程,所以queue不會被其它線程修改)
put() / set() put(item, block=True, timeout=None),可以通過設置block是否為True來配置put和set方法是否為阻塞,并且可以為阻塞操作設置最大時長timeout,block為False時行為和put_nowait()方法一致。 put()方法會返回一個協(xié)程對象,所以沒有block參數(shù)和timeout參數(shù),如果需要非阻塞方法,可以使用put_nowait(),如果需要對阻塞方法應用超時,可以使用coroutine asyncio.wait_for()。

multiprocessing.Queue

multiprocessing提供了三種隊列,分別是Queue、SimpleQueue、JoinableQueue。

multiprocessing.Queue既是線程安全也是進程安全的,相當于queue.Queue的多進程克隆版。和threading.Queue很像,multiprocessing.Queue支持put和get操作,底層結(jié)構(gòu)是multiprocessing.Pipe。

multiprocessing.Queue底層是基于Pipe構(gòu)建的,但是數(shù)據(jù)傳遞時并不是直接寫入Pipe,而是寫入進程本地buffer,通過一個feeder線程寫入底層Pipe,這樣做是為了實現(xiàn)超時控制和非阻塞put/get,所以Queue提供了join_thread、cancel_join_thread、close函數(shù)來控制feeder的行為,close函數(shù)用來關閉feeder線程、join_thread用來join feeder線程,cancel_join_thread用來在控制在進程退出時,不自動join feeder線程,使用cancel_join_thread有可能導致部分數(shù)據(jù)沒有被feeder寫入Pipe而導致的數(shù)據(jù)丟失。

和threading.Queue不同的是,multiprocessing.Queue默認不支持join()和task_done操作,這兩個支持需要使用mp.JoinableQueue對象。

SimpleQueue是一個簡化的隊列,去掉了Queue中的buffer,沒有了使用Queue可能出現(xiàn)的問題,但是put和get方法都是阻塞的并且沒有超時控制。

總結(jié)

通過對比可以發(fā)現(xiàn),上述四種結(jié)構(gòu)都實現(xiàn)了隊列,但是用處卻各有偏重,collections.deque在數(shù)據(jù)結(jié)構(gòu)層面實現(xiàn)了隊列,但是并沒有應用場景方面的支持,可以看做是一個基礎的數(shù)據(jù)結(jié)構(gòu)。queue模塊實現(xiàn)了面向多生產(chǎn)線程、多消費線程的隊列,asyncio.queue模塊則實現(xiàn)了面向多生產(chǎn)協(xié)程、多消費協(xié)程的隊列,而multiprocessing.queue模塊實現(xiàn)了面向多成產(chǎn)進程、多消費進程的隊列。

以上就是本文的全部內(nèi)容,希望對大家的學習有所幫助,也希望大家多多支持腳本之家。

相關文章

  • django進階之cookie和session的使用示例

    django進階之cookie和session的使用示例

    這篇文章主要介紹了django進階之cookie和session的使用示例,小編覺得挺不錯的,現(xiàn)在分享給大家,也給大家做個參考。一起跟隨小編過來看看吧
    2018-08-08
  • Python實現(xiàn)不一樣的猜數(shù)字游戲的示例代碼

    Python實現(xiàn)不一樣的猜數(shù)字游戲的示例代碼

    大家知道“猜數(shù)字”這個游戲嗎?顧名思義就是一個人想一個數(shù)字,另一個人猜。本文就來用Python實現(xiàn)一款不一樣的猜數(shù)字游戲,感興趣的可以了解一下
    2023-02-02
  • django框架基于模板 生成 excel(xls) 文件操作示例

    django框架基于模板 生成 excel(xls) 文件操作示例

    這篇文章主要介紹了django框架基于模板 生成 excel(xls) 文件操作,結(jié)合具體實例形式分析了Django框架基于模板生成excel的實現(xiàn)步驟與相關操作技巧,需要的朋友可以參考下
    2019-06-06
  • 簡單探討一下python線程鎖

    簡單探討一下python線程鎖

    本文主要介紹了簡單探討一下python線程鎖,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧
    2023-04-04
  • python用字典統(tǒng)計單詞或漢字詞個數(shù)示例

    python用字典統(tǒng)計單詞或漢字詞個數(shù)示例

    這篇文章主要介紹了python用字典統(tǒng)計單詞或漢字詞個數(shù)示例,需要的朋友可以參考下
    2014-04-04
  • 使用Python實現(xiàn)MapReduce的示例代碼

    使用Python實現(xiàn)MapReduce的示例代碼

    MapReduce是一個用于大規(guī)模數(shù)據(jù)處理的分布式計算模型,最初由Google工程師設計并實現(xiàn)的,Google已經(jīng)將完整的MapReduce論文公開發(fā)布了,本文給大家介紹了使用Python實現(xiàn)MapReduce的示例代碼,需要的朋友可以參考下
    2024-05-05
  • Python?查看數(shù)據(jù)類型與格式

    Python?查看數(shù)據(jù)類型與格式

    這篇文章主要介紹了Python?查看數(shù)據(jù)類型與格式方式,具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教
    2022-09-09
  • Pygame實戰(zhàn)之實現(xiàn)經(jīng)典外星人游戲

    Pygame實戰(zhàn)之實現(xiàn)經(jīng)典外星人游戲

    這篇文章主要介紹了通過Pygame實現(xiàn)經(jīng)典的外星人游戲的示例代碼,文中的代碼講解詳細,對我們了解Pygame有一定的幫助,感興趣的同學可以試一試
    2022-01-01
  • python?Socket無限發(fā)送接收數(shù)據(jù)方式

    python?Socket無限發(fā)送接收數(shù)據(jù)方式

    這篇文章主要介紹了python?Socket無限發(fā)送接收數(shù)據(jù)方式,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教
    2024-06-06
  • 通過shell+python實現(xiàn)企業(yè)微信預警

    通過shell+python實現(xiàn)企業(yè)微信預警

    這篇文章主要介紹了通過shell+python實現(xiàn)企業(yè)微信預警,小編覺得挺不錯的,現(xiàn)在分享給大家,也給大家做個參考。一起跟隨小編過來看看吧
    2019-03-03

最新評論