詳解一種用django_cache實現(xiàn)分布式鎖的方式
問題背景
在項目開發(fā)過程中,我遇到一個需求:對于某條記錄,一個用戶對它進行操作時會持續(xù)比較久,希望在一個用戶的操作期間,不允許有另一個用戶操作它,否容易會出現(xiàn)混亂。
在與同事們討論后,想通過加鎖的方式,起初想用redis鎖,但這樣會為項目增加別的依賴,因此轉(zhuǎn)而使用django-cache的緩存數(shù)據(jù)庫,來實現(xiàn)該功能。
資料查找
基于緩存實現(xiàn)分布式鎖,在網(wǎng)絡(luò)上查找了實現(xiàn)方式,大概可以總結(jié)為以下3種:
第一種鎖命令I(lǐng)NCR
這種加鎖的思路是, key 不存在,那么 key 的值會先被初始化為 0 ,然后再執(zhí)行 INCR 操作進行加一。 然后其它用戶在執(zhí)行 INCR 操作進行加一時,如果返回的數(shù)大于 1 ,說明這個鎖正在被使用當(dāng)中。
第二種鎖命令SETNX
這種加鎖的思路是,如果 key 不存在,將 key 設(shè)置為 value 如果 key 已存在,則 SETNX 不做任何動作
第三種鎖命令SET
上面兩種方法都有一個問題,會發(fā)現(xiàn),都需要設(shè)置 key 過期。那么為什么要設(shè)置key過期呢?如果請求執(zhí)行因為某些原因意外退出了,導(dǎo)致創(chuàng)建了鎖但是沒有刪除鎖,那么這個鎖將一直存在,以至于以后緩存再也得不到更新。于是乎我們需要給鎖加一個過期時間以防不測。
在實際編寫中,我綜合了第二種和第三種方式,即用鍵名來設(shè)置鎖,同時設(shè)置了過期時間,以防長時間占用。
另外,關(guān)于如何使用django-cache去使用數(shù)據(jù)庫緩存,相關(guān)的API整理如下:
from django.core.cache import caches # 設(shè)置鎖和超時時間 cache.set('my_key', 'Initial value', 60) # 獲取鎖 cache.get('my_key') # 更新鎖 cache.add('add_key', 'New value')
代碼編寫
在經(jīng)過多次的迭代,并且對比了網(wǎng)上的各路寫法后,我結(jié)合django-cache的特性,最終總結(jié)了一套較為簡潔的寫法。
首先是一個CacheLock的類,初始化方法里可以傳執(zhí)行超時時間,和拿鎖等待的時間。CacheLock類的主要方法有兩個,一個是拿鎖的方法,一個是釋放鎖的方法。
拿鎖的方法中,鍵名根據(jù)操作的具體對象來定,鍵值為uuid值,超時時間默認(rèn)為60s。一旦發(fā)現(xiàn)能拿到鎖,則返回uuid值。
釋放鎖的方法中,首先比較鍵值和uuid值是否一致,一致則釋放,避免因超時情況導(dǎo)致把其他的正在操作的鎖給釋放掉。
class CacheLock(object): def __init__(self, expires=60, wait_timeout=0): self.cache = cache self.expires = expires # 函數(shù)執(zhí)行超時時間 self.wait_timeout = wait_timeout # 拿鎖等待超時時間 def get_lock(self, lock_key): # 獲取cache鎖 wait_timeout = self.wait_timeout identifier = uuid.uuid4() while wait_timeout >= 0: if self.cache.add(lock_key, identifier, self.expires): return identifier wait_timeout -= 1 time.sleep(1) raise LockTimeout({'msg': '當(dāng)前有其他用戶正在編輯該采集配置,請稍后重試'}) def release_lock(self, lock_key, identifier): # 釋放cache鎖 lock_value = self.cache.get(lock_key) if lock_value == identifier: self.cache.delete(lock_key)
另外,將緩存鎖寫成一個裝飾器,對需要加鎖的地方,添加上該裝飾器,則可以很輕松地實現(xiàn)鎖功能。
def lock(cache_lock): def my_decorator(func): def wrapper(*args, **kwargs): lock_key = 'bk_monitor:lock:xxx' # 具體的lock_key要根據(jù)調(diào)用時傳的參數(shù)而定 identifier = cache_lock.get_lock(lock_key) try: return func(*args, **kwargs) finally: cache_lock.release_lock(lock_key, identifier) return wrapper return my_decorator
再舉一個實際調(diào)用中的例子:
@lock(CacheLock()) def f(): pass
另外,我在設(shè)置緩存的key名的時候,會根據(jù)函數(shù)的具體操作對象,從而給裝飾器傳遞相應(yīng)的參數(shù),這里就不再舉例了。
優(yōu)化改進
當(dāng)然,實現(xiàn)以上功能需求一定還有別的更好的方式,關(guān)于鎖的實現(xiàn),網(wǎng)絡(luò)上有很多別的方式,比如基于zookeeper實現(xiàn)分布式鎖、基于數(shù)據(jù)庫實現(xiàn)分布式鎖等等,它們在可靠性或性能方面都各有長短,要根據(jù)具體場景進行取舍,所以還有非常多值得研究的地方。
我這里也只是拋磚引玉,歡迎拍磚~
以上就是本文的全部內(nèi)容,希望對大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。
相關(guān)文章
基于Python實現(xiàn)簡單學(xué)生管理系統(tǒng)
這篇文章主要為大家詳細(xì)介紹了基于Python實現(xiàn)簡單學(xué)生管理系統(tǒng),文中示例代碼介紹的非常詳細(xì),具有一定的參考價值,感興趣的小伙伴們可以參考一下2020-07-07python interpret庫訓(xùn)練模型助力機器學(xué)習(xí)
這篇文章主要為大家介紹了python interpret庫訓(xùn)練模型功能特性,為你的機器學(xué)習(xí)提供便捷的路徑,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪2024-01-01python將txt文檔每行內(nèi)容循環(huán)插入數(shù)據(jù)庫的方法
今天小編就為大家分享一篇python將txt文檔每行內(nèi)容循環(huán)插入數(shù)據(jù)庫的方法,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2018-12-12Python數(shù)據(jù)擬合實現(xiàn)最小二乘法示例解析
這篇文章主要為大家介紹了Python數(shù)據(jù)擬合實現(xiàn)最小二乘法的示例解析,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步2021-10-10