Redis統(tǒng)計(jì)用戶訪問量

1. 使用Hash

哈希作為Redis的一種基礎(chǔ)數(shù)據(jù)結(jié)構(gòu)，Redis底層維護(hù)的是一個(gè)開散列，會(huì)把不同的key值映射到哈希表 上，如果是遇到關(guān)鍵字沖突，那么就會(huì)拉出一個(gè)列表出來。

當(dāng)一個(gè)用戶訪問時(shí),如果用戶登陸過，那么我們就使用用戶的id，如果用戶沒有登陸過，那么也可以在前端頁面隨機(jī)生成一個(gè)key用來標(biāo)識(shí)用戶，當(dāng)用戶訪問的時(shí)候，我們可以使用HSET命令，key可以選擇URI與對應(yīng)的日期進(jìn)行拼湊，field則可以使用用戶的id或者隨機(jī)標(biāo)識(shí)，value則可以簡單設(shè)置為1。

當(dāng)要訪問一個(gè)網(wǎng)站某一天的訪問量時(shí)，就可以直接使用HLEN來獲取結(jié)果;

優(yōu)點(diǎn)：簡單,易實(shí)現(xiàn).查詢方便,并且數(shù)據(jù)精準(zhǔn)性非常好.

缺點(diǎn)：內(nèi)存占用過大.隨著key的增多,性能會(huì)隨之下降.無法支撐大規(guī)模的訪問量.

2. 使用Bitset

對于個(gè)int型的數(shù)來說，若用來記錄id，則只能記錄一個(gè)，而若轉(zhuǎn)換為二進(jìn)制存儲(chǔ)，則可以表示32個(gè)，空間的利用率提升了32倍.對于海量數(shù)據(jù)的處理，這樣的存儲(chǔ)方式會(huì)節(jié)省很多內(nèi)存空間.對于未登陸的用戶，可以使用Hash算法，把對應(yīng)的用戶標(biāo)識(shí)哈希為一個(gè)數(shù)字id.對于一億個(gè)數(shù)據(jù)來說，我們也只需要1000000000/8/1024/1024大約12M空間左右.

而Redis已經(jīng)為我們提供了SETBIT的方法，使用起來非常的方便，我們在item頁面可以不停地使用SETBIT命令，設(shè)置用戶已經(jīng)訪問了該頁面，也可以使用GETBIT的方法查詢某個(gè)用戶是否訪問。最后通過BITCOUNT統(tǒng)計(jì)該網(wǎng)頁每天的訪問數(shù)量。

優(yōu)點(diǎn)：占用內(nèi)存更小，查詢方便，可以指定查詢某個(gè)用戶，對于非登陸的用戶，可能不同的key映射到同一個(gè)id，否則需要維護(hù)一個(gè)非登陸用戶的映射，有額外的開銷。

缺點(diǎn)：如果用戶過于稀疏，則占用的內(nèi)存可能比第一個(gè)方法更大

3. 使用概率算法

對于一個(gè)網(wǎng)站頁面若訪問量非常大的話，如果要求的數(shù)量不是很高，可以考慮使用概率算法。

在Redis中，已經(jīng)對HyperLogLog算法做了封裝，這是一種基數(shù)評估算法:不存儲(chǔ)具體數(shù)值，只是存儲(chǔ)用來計(jì)算概率的一些相關(guān)數(shù)據(jù)。

當(dāng)用戶訪問網(wǎng)站的時(shí)候，可以使用PFADD命令，設(shè)置對應(yīng)的命令，最后我們只要通過PFCOUNT順利計(jì)算出最終的結(jié)果，因?yàn)檫@是一個(gè)概率算法，所以可能存在一定的誤差。

優(yōu)點(diǎn)：占用內(nèi)存極小，對于一個(gè)key，只需要12kb。對于超大規(guī)模數(shù)據(jù)訪問量的網(wǎng)站效率極高

缺點(diǎn)：查詢指定用戶的時(shí)候，可能會(huì)出錯(cuò)。在總數(shù)統(tǒng)計(jì)時(shí)也不一定十分精準(zhǔn).

使用Redis做某個(gè)時(shí)間段在線數(shù)統(tǒng)計(jì)

一般有范圍性的需求都可以使用 sorted set 實(shí)現(xiàn)。

sorted set 類型通常用于實(shí)現(xiàn)(排行榜，最新的xxx,延遲隊(duì)列…)

實(shí)現(xiàn)

實(shí)現(xiàn)很簡單，將用戶的登錄時(shí)間轉(zhuǎn)換成時(shí)間戳作為權(quán)重即可。

假設(shè)用戶1,3 在20220801號(hào)登錄

zadd login 1659283200 1
zadd login 1659283200 3

假設(shè)用戶2，3 在20220802號(hào)登錄

zadd login 1659369600 2
zadd login 1659369600 3

假設(shè)用戶4,在20220803號(hào)登錄

zadd login 1659456000 4

統(tǒng)計(jì)20220801至20220802的在線用戶數(shù)量

# ZCOUNT key min max
# 在線 3
zcount login 1659283200 1659369600

拓展:在上面的基礎(chǔ)上統(tǒng)計(jì)連續(xù)兩天都在線的用戶及其最后登錄時(shí)間

假設(shè)用戶1，3 在20220801號(hào)登錄

zadd login:20220801 1659283200 1
zadd login:20220801 1659283200 3

假設(shè)用戶2，3 在20220802號(hào)登錄

zadd login:20220802 1659369600 2
zadd login:20220802 1659369600 3

假設(shè)用戶4,在20220803號(hào)登錄

zadd login:20220803 1659456000 4

統(tǒng)計(jì)20220801，20220802 兩天都登錄的用戶及其最后登錄時(shí)間

# 將兩個(gè)交集保存至 result:20220801:20220802
# aggregate max 保留最大的權(quán)重(即最后登錄時(shí)間)
# 不使用 aggregate max，權(quán)重會(huì)累加
zinterstore result:20220801:20220802 2 login:20220801 login:20220802 aggregate max
# 展示數(shù)據(jù)
zrange result:20220801:20220802 0 -1 withscores

總結(jié)

以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。

最新評論