前言

Redis 的 list 數(shù)據(jù)結(jié)構(gòu)常用來(lái)做消息隊(duì)列，通常使用的命令有 lpop/rpop ，還有帶阻塞版的 blpop/brpop 等。Laravel 5.3 消息隊(duì)列也是用的 lpop 取消息，為什么不用阻塞版的 blpop 呢？

blpop 不用一直輪詢(xún)，還可以同時(shí)取多個(gè)隊(duì)列，blpop high low 30，更方便實(shí)現(xiàn)隊(duì)列的優(yōu)先級(jí)。

安全隊(duì)列和不安全隊(duì)列

什么是不安全的隊(duì)列？比如客戶(hù)端 lpop（統(tǒng)一以 lpop 為例） 從 redis 取出來(lái)的 job（任務(wù)）還沒(méi)處理完進(jìn)程掛掉了或者遇到了異常，由于此時(shí)服務(wù)器上已經(jīng)沒(méi)有副本了，這個(gè) job 就丟失了。這種隊(duì)列就是不安全的。

Laravel 正是為了保證消息隊(duì)列的可靠，進(jìn)程掛掉了或者處理失敗還可以重試等，做了比較完善的機(jī)制，如取隊(duì)列的同時(shí)把隊(duì)列放入另一個(gè)集合中“暫存”起來(lái)。如代碼所示，使用 lpop 取出隊(duì)列，同時(shí) zadd 到另一個(gè)集合，使用 redis lua 來(lái)保證原子性。

public static function pop()
{
 return <<<'LUA'
-- Pop the first job off of the queue...
local job = redis.call('lpop', KEYS[1])
local reserved = false
 
if(job ~= false) then
-- Increment the attempt count and place job on the reserved queue...
reserved = cjson.decode(job)
reserved['attempts'] = reserved['attempts'] + 1
reserved = cjson.encode(reserved)
redis.call('zadd', KEYS[2], ARGV[1], reserved)
end
 
return {job, reserved}
LUA;
}

具體 Laravel 隊(duì)列工作原理之前有一篇博文進(jìn)行了整理，請(qǐng)參考：http://www.dbjr.com.cn/article/131414.htm

為什么不用 blpop？

這里為什么不使用阻塞版本的 blpop 呢？

blpop 是阻塞版的 lpop，如果隊(duì)列沒(méi)有數(shù)據(jù)過(guò)來(lái)，那么在超時(shí)時(shí)間內(nèi)就會(huì)一直阻塞，直到 rpush 數(shù)據(jù)到隊(duì)列，有點(diǎn)類(lèi)似 http 的長(zhǎng)輪詢(xún)，假如客戶(hù)端取出數(shù)據(jù)的這一刻掛了，還沒(méi)來(lái)得及暫存到另外的集合中，那么這個(gè)數(shù)據(jù)就丟失了。

你可能會(huì)問(wèn)為何不跟 lpop 一樣用 lua 腳本來(lái)處理并保證原子性？這個(gè)問(wèn)題作者在 github 上有回答。（https://github.com/laravel/framework/issues/22939）

我們知道 redis lua 腳本實(shí)際上就是事務(wù)，作者的大意也是說(shuō) MULTI/EXEC 包裹起來(lái)的 blpop 沒(méi)有意義，這個(gè)時(shí)候它“退化”為非阻塞版的。

Redis 官方文檔也有說(shuō)明：

在MULTI/EXEC事務(wù)中的BLPOP

BLPOP 可以用于流水線(xiàn)(pipline,批量地發(fā)送多個(gè)命令并讀入多個(gè)回復(fù))，但把它用在 MULTI / EXEC 塊當(dāng)中沒(méi)有意義。因?yàn)檫@要求整個(gè)服務(wù)器被阻塞以保證塊執(zhí)行時(shí)的原子性，該行為阻止了其他客戶(hù)端執(zhí)行 LPUSH 或 RPUSH 命令。

因此，一個(gè)被包裹在 MULTI / EXEC 塊內(nèi)的 BLPOP 命令，行為表現(xiàn)得就像 LPOP 一樣，對(duì)空列表返回 nil ，對(duì)非空列表彈出列表元素，不進(jìn)行任何阻塞操作。

因此通過(guò) lua 腳本操作 blpop 和 zadd 也沒(méi)有意義，結(jié)論就是：因?yàn)闆](méi)用到阻塞的特性，或者無(wú)法保證原子性。

總結(jié)

以上就是這篇文章的全部?jī)?nèi)容了，希望本文的內(nèi)容對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，如果有疑問(wèn)大家可以留言交流，謝謝大家對(duì)腳本之家的支持。

最新評(píng)論