Redis去重的3種不同方法匯總
前言
這篇文章主要介紹了Redis實(shí)現(xiàn)唯一計(jì)數(shù)的3種方法分享,本文講解了基于SET、基于 bit、基于 HyperLogLog三種方法,需要的朋友可以參考下
唯一計(jì)數(shù)是網(wǎng)站系統(tǒng)中十分常見(jiàn)的一個(gè)功能特性,例如網(wǎng)站需要統(tǒng)計(jì)每天訪問(wèn)的人數(shù) unique visitor (也就是 UV)。計(jì)數(shù)問(wèn)題很常見(jiàn),但解決起來(lái)可能十分復(fù)雜:一是需要計(jì)數(shù)的量可能很大,比如大型的站點(diǎn)每天有數(shù)百萬(wàn)的人訪問(wèn),數(shù)據(jù)量相當(dāng)大;二是通常還希望擴(kuò)展計(jì)數(shù)的維度,比如除了需要每天的 UV,還想知道每周或每月的 UV,這樣導(dǎo)致計(jì)算十分復(fù)雜。
在關(guān)系數(shù)據(jù)庫(kù)存儲(chǔ)的系統(tǒng)里,實(shí)現(xiàn)唯一計(jì)數(shù)的方法就是 select count(distinct <item_id>),它十分簡(jiǎn)單,但是如果數(shù)據(jù)量很大,這個(gè)語(yǔ)句執(zhí)行是很慢的。用關(guān)系數(shù)據(jù)庫(kù)另外一個(gè)問(wèn)題是插入數(shù)據(jù)性能也不高。
Redis 解決這類(lèi)計(jì)數(shù)問(wèn)題得心應(yīng)手,相比關(guān)系數(shù)據(jù)庫(kù)速度更快,消耗資源更少,甚至提供了 3 種不同的方法。
1.基于 set
Redis 的 set 用于保存唯一的數(shù)據(jù)集合,通過(guò)它可以快速判斷某一個(gè)元素是否存在于集合中,也可以快速計(jì)算某一個(gè)集合的元素個(gè)數(shù),另外和可以合并集合到一個(gè)新的集合中。涉及的命令如下:
復(fù)制代碼 代碼如下:
SISMEMBER key member # 判斷 member 是否存在 SADD key member # 往集合中加入 member SCARD key # 獲取集合元素個(gè)數(shù)
基于 set 的方法簡(jiǎn)單有效,計(jì)數(shù)精確,適用面廣,易于理解,它的缺點(diǎn)是消耗資源比較大(當(dāng)然比起關(guān)系數(shù)據(jù)庫(kù)是少很多的),如果元素個(gè)數(shù)很大(比如上億的計(jì)數(shù)),消耗內(nèi)存很恐怖。
2.基于 bit
Redis 的 bit 可以用于實(shí)現(xiàn)比 set 內(nèi)存高度壓縮的計(jì)數(shù),它通過(guò)一個(gè) bit 1 或 0 來(lái)存儲(chǔ)某個(gè)元素是否存在信息。例如網(wǎng)站唯一訪客計(jì)數(shù),可以把 user_id 作為 bit 的偏移量 offset,設(shè)置為 1 表示有訪問(wèn),使用 1 MB的空間就可以存放 800 多萬(wàn)用戶(hù)的一天訪問(wèn)計(jì)數(shù)情況。涉及的命令如下:
復(fù)制代碼 代碼如下:
SETBIT key offset value # 設(shè)置位信息 GETBIT key offset # 獲取位信息 BITCOUNT key [start end] # 計(jì)數(shù) BITOP operation destkey key [key ...] # 位圖合并
基于 bit 的方法比起 set 空間消耗小得多,但是它要求元素能否簡(jiǎn)單映射為位偏移,適用面窄了不少,另外它消耗的空間取決于最大偏移量,和計(jì)數(shù)值無(wú)關(guān),如果最大偏移量很大,消耗內(nèi)存也相當(dāng)可觀。
3.基于 HyperLogLog
實(shí)現(xiàn)超大數(shù)據(jù)量精確的唯一計(jì)數(shù)都是比較困難的,但是如果只是近似的話,計(jì)算科學(xué)里有很多高效的算法,其中 HyperLogLog Counting 就是其中非常著名的算法,它可以?xún)H僅使用 12 k左右的內(nèi)存,實(shí)現(xiàn)上億的唯一計(jì)數(shù),而且誤差控制在百分之一左右。涉及的命令如下:
復(fù)制代碼 代碼如下:
PFADD key element [element ...] # 加入元素 PFCOUNT key [key ...] # 計(jì)數(shù)
這種計(jì)數(shù)方法真的很神奇,我也沒(méi)有徹底弄明白,有興趣可以深入研究相關(guān)文章。
redis 提供的這三種唯一計(jì)數(shù)方式各有優(yōu)劣,可以充分滿(mǎn)足不同情況下的計(jì)數(shù)要求。
4. 基于bloomfilter
BloomFilter是利用類(lèi)似位圖或者位集合數(shù)據(jù)結(jié)構(gòu)來(lái)存儲(chǔ)數(shù)據(jù),利用位數(shù)組來(lái)簡(jiǎn)潔的表示一個(gè)集合,并且能夠快速的判斷一個(gè)元素是不是已經(jīng)存在于這個(gè)集合。雖然BloomFilter不是100%準(zhǔn)確,但是可以通過(guò)調(diào)節(jié)參數(shù),使用Hash函數(shù)的個(gè)數(shù),位數(shù)組的大小來(lái)降低失誤率。這樣調(diào)節(jié)完全可以把失誤率降低到接近于0。可以滿(mǎn)足大部分場(chǎng)景了。
redis使用布隆過(guò)濾器需要安裝插件:centos中安裝redis插件bloom-filter
總結(jié)
到此這篇關(guān)于Redis去重的3種不同方法的文章就介紹到這了,更多相關(guān)Redis去重方法內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
redis-benchmark并發(fā)壓力測(cè)試的問(wèn)題解析
這篇文章主要介紹了redis-benchmark并發(fā)壓力測(cè)試的問(wèn)題解析,本文給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2021-01-01kubernetes環(huán)境部署單節(jié)點(diǎn)redis數(shù)據(jù)庫(kù)的方法
這篇文章主要介紹了kubernetes環(huán)境部署單節(jié)點(diǎn)redis數(shù)據(jù)庫(kù)的方法,本文給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2021-01-01Redis02 使用Redis數(shù)據(jù)庫(kù)(String類(lèi)型)全面解析
這篇文章主要介紹了Redis02 使用Redis數(shù)據(jù)庫(kù)(String類(lèi)型)全面解析的相關(guān)資料,非常不錯(cuò),具有參考借鑒價(jià)值,需要的朋友可以參考下2016-07-07關(guān)于Redis未授權(quán)訪問(wèn)的問(wèn)題
這篇文章主要介紹了Redis未授權(quán)訪問(wèn)的問(wèn)題,本文給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2021-07-07Redis中的3種特殊數(shù)據(jù)結(jié)構(gòu)詳解
在本文中,我們對(duì)三種特殊的數(shù)據(jù)類(lèi)型進(jìn)行了介紹,它們分別是geospatial(地理空間數(shù)據(jù)類(lèi)型)、HyperLogLogs和Bitmaps(位圖),這些數(shù)據(jù)類(lèi)型在不同的領(lǐng)域和應(yīng)用中發(fā)揮著重要作用,并且具有各自獨(dú)特的特性和用途,對(duì)Redis特殊數(shù)據(jù)結(jié)構(gòu)相關(guān)知識(shí)感興趣的朋友一起看看吧2024-02-02虛擬機(jī)下的Redis無(wú)法訪問(wèn)報(bào)錯(cuò)500解決方法
這篇文章主要介紹了虛擬機(jī)下的Redis無(wú)法訪問(wèn),報(bào)錯(cuò)500解決方法,由于我的redis是在虛擬機(jī)下安裝的,無(wú)法訪問(wèn)redis的原因是因?yàn)樘摂M機(jī)的ip地址和主機(jī)不同,文中通過(guò)圖文結(jié)合給出了詳細(xì)的解決方法,需要的朋友可以參考下2024-02-02Redis 的查詢(xún)很快的原因解析及Redis 如何保證查詢(xún)的高效
由于redis是內(nèi)存數(shù)據(jù)庫(kù),歸功于它的數(shù)據(jù)結(jié)構(gòu)所以查詢(xún)效率非常高,今天通過(guò)本文給大家介紹下Redis 的查詢(xún)很快的原因解析及Redis 如何保證查詢(xún)的高效,感興趣的朋友一起看看吧2022-03-03Redis數(shù)據(jù)導(dǎo)入導(dǎo)出以及數(shù)據(jù)遷移的4種方法詳解
這篇文章主要介紹了Redis數(shù)據(jù)導(dǎo)入導(dǎo)出以及數(shù)據(jù)遷移的4種方法詳解,需要的朋友可以參考下2020-02-02