淺析python多線程中的鎖
Python 中多線程主要有以下幾種類型的鎖:
- threading.Lock:這是最基礎(chǔ)的鎖對象,不屬于任何線程,在Python中,它是一個同步原語對象。一次只有一個線程可以獲得鎖。如果一個線程試圖獲得一個已經(jīng)被其他線程拿著的鎖,那么這個線程就會被阻塞,直到擁有鎖的線程釋放。
- threading.RLock:可重入鎖(RLock),允許同一線程多次獲取鎖,但是每次獲取鎖都需要釋放,通常用于遞歸函數(shù)。如果使用Lock,那么在同一個線程多次獲取鎖時會產(chǎn)生死鎖。
- threading.Semaphore:信號量,允許一定數(shù)量的線程同時獲取鎖。例如,如果你有一些資源,每次可以被5個線程同時訪問,那么你就可以使用一個初始化為5的信號量。
- threading.BoundedSemaphore:有界信號量,與Semaphore類似,但是在釋放鎖的時候,會檢查當前的信號量的值是否超過了初始值,如果超過了會拋出一個異常。
- threading.Condition:條件變量,允許一個或多個線程等待某個條件滿足,然后喚醒。
- threading.Event:事件對象。事件對象內(nèi)部有一個標志位,初始為False。如果標志位為True,wait()不做任何事情,如果標志位為False,wait()會阻塞??梢酝ㄟ^set()來設(shè)置標志位,clear()來清除標志位。
- threading.Barrier:柵欄對象,允許一定數(shù)量的線程同步,直到所有線程都到達柵欄位置,才會全部釋放。
注意,在Python中,由于全局解釋器鎖(GIL)的存在,同一時刻只允許一個線程執(zhí)行Python字節(jié)碼,因此Python的多線程并不能實現(xiàn)真正的并行計算。如果需要進行并行計算,可以使用multiprocessing
模塊,或者使用其他的并行計算框架,如concurrent.futures
。
threading.Lock():
線程鎖,可用于同步多個線程對共享資源的訪問。
錯誤示范:
存在一個問題,就是在每次循環(huán)的時候都創(chuàng)建了一個新的鎖。這樣的話,每個鎖都是獨立的,它們之間不能保證對共享資源 counter
的互斥訪問,因此在多線程環(huán)境下,counter += 1
操作可能會出現(xiàn)競態(tài)條件,導致結(jié)果不是預期的 10000000
。
import threading counter = 0 # 共享資源 def increment(): global counter for _ in range(1000000): with threading.Lock(): # 獲取線程鎖 counter += 1 threads = [threading.Thread(target=increment) for _ in range(10)] for t in threads: t.start() for t in threads: t.join() print(counter) # 輸出 10000000
正確示例
import threading counter = 0 # 共享資源 lock = threading.Lock() # 創(chuàng)建一個共享的鎖 def increment(): global counter for _ in range(1000000): with lock: # 獲取線程鎖 counter += 1 threads = [threading.Thread(target=increment) for _ in range(10)] for t in threads: t.start() for t in threads: t.join() print(counter) # 輸出應(yīng)該是10000000
threading.RLock()
可重入鎖,是一種特殊的線程鎖,允許同一線程多次獲得鎖。
import threading # 創(chuàng)建一個RLock對象 lock = threading.RLock() def recursive_function(level): with lock: if level > 0: print('Entering level', level) recursive_function(level - 1) print('Exiting level', level) else: print('Base case') # 在主線程中運行遞歸函數(shù) recursive_function(5)
在這個例子中,recursive_function
是一個遞歸函數(shù),它會在每個遞歸級別上獲取一次鎖。由于我們使用的是 threading.RLock
,同一線程可以多次獲取鎖,所以這個代碼能夠正常運行。
但是如果我們使用 threading.Lock
替代 threading.RLock
,那么在第二次嘗試獲取鎖時,線程將被阻塞,因為 threading.Lock
不允許同一線程多次獲取鎖。這會導致死鎖,程序?qū)o法繼續(xù)運行。
threading.RLock
(Reentrant Lock)在Python中是一種可重入鎖,也就是說,它允許同一線程在沒有釋放其所有權(quán)的情況下多次獲取同一個鎖。這在某些情況下是非常有用的,例如在遞歸函數(shù)或者嵌套調(diào)用中。
以下是一些具體的應(yīng)用場景:
- 遞歸函數(shù):在遞歸函數(shù)中,同一個線程可能需要多次獲取同一個鎖。如果使用普通的
threading.Lock
,那么在第二次嘗試獲取鎖的時候,線程將會阻塞,因為普通的鎖不允許同一線程多次獲取。而threading.RLock
則允許這種行為。 - 復雜的同步問題:在某些復雜的同步問題中,你可能需要在同一線程中的多個函數(shù)或者多個不同的代碼塊中獲取同一個鎖。如果使用普通的
threading.Lock
,那么你需要確保在每次獲取鎖之前都已經(jīng)釋放了鎖,這在某些情況下可能會很復雜。而threading.RLock
則可以簡化這種情況的處理。 - 實現(xiàn)高級同步原語:你可以使用
threading.RLock
來實現(xiàn)一些更高級的同步原語,例如讀寫鎖(ReadWriteLock
)。在這種情況下,讀鎖可以被同一線程多次獲取,而寫鎖只能被同一線程獲取一次。你可以使用threading.RLock
來實現(xiàn)讀鎖的行為。
需要注意的是,雖然 threading.RLock
在某些情況下非常有用,但是在大多數(shù)情況下,你仍然應(yīng)該使用更簡單的 threading.Lock
。因為過度使用 threading.RLock
可能會使你的代碼更復雜,更難以理解和維護。而且,不正確的使用 threading.RLock
可能會導致死鎖。
threading.Semaphore():
信號量,用于限制同時訪問某一資源的線程數(shù)量。
模擬一個有限資源池(例如數(shù)據(jù)庫連接池),限制同時訪問資源的線程數(shù)量。
import threading import time # 定義一個有限資源池 RESOURCE_POOL_SIZE = 3 semaphore = threading.Semaphore(RESOURCE_POOL_SIZE) def access_resource(thread_id): print(f"Thread {thread_id} is requesting access to the resource pool.") with semaphore: print(f"Thread {thread_id} has acquired access to the resource pool.") time.sleep(1) # 模擬資源使用 print(f"Thread {thread_id} has released access to the resource pool.") # 創(chuàng)建10個線程 threads = [threading.Thread(target=access_resource, args=(i,)) for i in range(10)] for t in threads: t.start() for t in threads: t.join()
在這個例子中,我們有一個有限的資源池,其大小由 RESOURCE_POOL_SIZE
定義。我們使用一個 threading.Semaphore
對象,將其初始值設(shè)為資源池的大小,以限制同時訪問資源池的線程數(shù)量。
我們創(chuàng)建了10個線程,每個線程都嘗試訪問資源池。由于我們使用了信號量,一次只能有 RESOURCE_POOL_SIZE
個線程同時訪問資源池。其他線程將等待,直到有線程釋放資源。這樣,我們可以限制同時訪問資源的線程數(shù)量,防止資源競爭或過載。
threading.BoundedSemaphore:
有界信號量
import threading # 創(chuàng)建一個有界信號量,初始值為2 semaphore = threading.BoundedSemaphore(2) def access_resource(thread_id): print(f"Thread {thread_id} is requesting access to the resource.") with semaphore: print(f"Thread {thread_id} has acquired access to the resource.") # 模擬資源使用 # 創(chuàng)建3個線程 threads = [threading.Thread(target=access_resource, args=(i,)) for i in range(3)] for t in threads: t.start() for t in threads: t.join() # 嘗試釋放未獲取的信號量,將引發(fā) ValueError try: semaphore.release() except ValueError as e: print("Caught exception:", e)
在這個代碼段中,semaphore.release()
嘗試釋放(即增加)信號量的計數(shù)。在Python中,信號量是一個用來限制線程并發(fā)數(shù)量的同步原語,它內(nèi)部有一個計數(shù)器。當一個線程調(diào)用 acquire()
方法時,信號量的計數(shù)器減一;當一個線程調(diào)用 release()
方法時,信號量的計數(shù)器加一。
threading.BoundedSemaphore
與 threading.Semaphore
的行為基本相同,但有一點不同:如果在調(diào)用 release()
后,信號量的計數(shù)器的值大于創(chuàng)建信號量時設(shè)定的初始值,threading.BoundedSemaphore
將拋出 ValueError
異常。這種行為有助于檢測程序中的一些錯誤,例如錯誤地多次釋放了信號量。
所以在這個示例中,try
/except
塊是為了捕獲并處理可能由 semaphore.release()
拋出的 ValueError
異常。如果在調(diào)用 release()
后,信號量的計數(shù)器的值大于創(chuàng)建信號量時設(shè)定的初始值,那么將會捕獲到 ValueError
,并打印出 “Caught exception:” 及其錯誤信息。
threading.Condition:
條件變量,允許一個或多個線程等待某個條件滿足,然后喚醒。
import threading import time # 創(chuàng)建一個條件變量 condition = threading.Condition() # 創(chuàng)建一個共享資源 resource = [] def producer(): for i in range(5): time.sleep(1) # 模擬生產(chǎn)過程 with condition: resource.append(i) # 向資源中添加數(shù)據(jù) condition.notify() # 喚醒一個等待的線程 def consumer(): while True: with condition: while not resource: # 如果資源為空,則等待 condition.wait() item = resource.pop(0) # 從資源中獲取數(shù)據(jù) print(f"Consumer consumed: {item}") if item == 4: # 如果消費了所有的資源,就退出循環(huán) break # 創(chuàng)建一個生產(chǎn)者線程和一個消費者線程 producer_thread = threading.Thread(target=producer) consumer_thread = threading.Thread(target=consumer) producer_thread.start() consumer_thread.start() producer_thread.join() consumer_thread.join()
threading.Condition
對象常常與一個鎖一起使用,允許一個或多個線程等待直到滿足某個特定的條件,然后喚醒。這在某些情況下很有用,比如當你需要一個或多個線程等待直到其他線程完成特定任務(wù)或者改變了某個狀態(tài)。
threading.Barrier:
柵欄對象,允許一定數(shù)量的線程同步,直到所有線程都到達柵欄位置,才會全部釋放
import threading import time # 設(shè)定柵欄,允許3個線程進行同步 barrier = threading.Barrier(3) def worker(thread_id): print(f"Thread {thread_id} is starting.") time.sleep(thread_id) # 模擬線程執(zhí)行過程中的延時 print(f"Thread {thread_id} is waiting at the barrier.") barrier.wait() # 等待所有線程到達柵欄 print(f"Thread {thread_id} is released from the barrier.") # 創(chuàng)建3個線程 threads = [threading.Thread(target=worker, args=(i,)) for i in range(3)] for t in threads: t.start() for t in threads: t.join()
在這個例子中,我們創(chuàng)建了一個柵欄對象,允許3個線程進行同步。然后我們創(chuàng)建了3個線程,每個線程都會執(zhí)行 worker
函數(shù)。在 worker
函數(shù)中,線程首先打印一個開始信息,然后等待一段時間(這里是線程ID,可以模擬線程執(zhí)行過程中的延時),接著打印一個等待信息,然后調(diào)用 barrier.wait()
等待柵欄。
當所有3個線程都調(diào)用了 barrier.wait()
,柵欄將釋放所有等待的線程。這時,線程將繼續(xù)執(zhí)行并打印它們已經(jīng)從柵欄中釋放的信息。這個示例演示了如何使用 threading.Barrier
對象來同步一組線程,確保它們在某個點上相互等待。
到此這篇關(guān)于淺析python多線程中的鎖的文章就介紹到這了,更多相關(guān)python多線程鎖內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
linux系統(tǒng)使用python監(jiān)測網(wǎng)絡(luò)接口獲取網(wǎng)絡(luò)的輸入輸出
這篇文章主要介紹了linux系統(tǒng)使用python監(jiān)測網(wǎng)絡(luò)接口獲取網(wǎng)絡(luò)的輸入輸出信息,大家參考使用吧2014-01-01Python中type的構(gòu)造函數(shù)參數(shù)含義說明
這篇文章主要介紹了Python中type的構(gòu)造函數(shù)參數(shù)含義說明,本文用一個編碼實例解釋Python type的參數(shù)的作用和含義,需要的朋友可以參考下2015-06-06淺談Python3中strip()、lstrip()、rstrip()用法詳解
這篇文章主要介紹了淺談Python3中strip()、lstrip()、rstrip()用法詳解,小編覺得挺不錯的,現(xiàn)在分享給大家,也給大家做個參考。一起跟隨小編過來看看吧2019-04-04