Redis中HyperLogLog的使用小結(jié)
Redis 的 HyperLogLog 是一種概率性數(shù)據(jù)結(jié)構(gòu),用于統(tǒng)計唯一元素的數(shù)量(基數(shù)),比如你想知道一個網(wǎng)站有多少獨立訪問用戶(UV)。它的主要優(yōu)點是:內(nèi)存占用極小,無論你添加多少數(shù)據(jù),它通常只占用 12KB 的內(nèi)存。
下面是 HyperLogLog 的詳細講解:
?? 一、HyperLogLog 是什么?
HyperLogLog 是一種基數(shù)估計算法,它可以用來估算一個集合中不同元素的數(shù)量(Cardinality)。和 Set 不同,Set 會存儲所有元素,而 HyperLogLog 并不會保存具體的數(shù)據(jù),只保存一種統(tǒng)計狀態(tài)。
? 優(yōu)點:可以統(tǒng)計大規(guī)模唯一元素數(shù)量,內(nèi)存使用極低
? 缺點:不是精確統(tǒng)計,有誤差范圍 ±0.81%
??? 二、使用方法
1. 添加數(shù)據(jù)
PFADD key element [element ...] PFADD myloglog user1 user2 user3
2. 查詢基數(shù)
PFCOUNT key [key ...] PFCOUNT myloglog
3. 合并多個 HyperLogLog
PFMERGE destkey sourcekey1 [sourcekey2 ...] PFMERGE totalLog userLog1 userLog2
?? 三、實際示例
# 添加一些用戶ID PFADD uv:20250414 user1 user2 user3 user4 user5 # 查詢今天的 UV PFCOUNT uv:20250414 # 返回 5 # 添加重復的用戶 ID(不會重復計數(shù)) PFADD uv:20250414 user1 user2 # 再查一次 PFCOUNT uv:20250414 # 仍然是 5
?? 四、原理簡要(非必須了解)
HyperLogLog 基于概率算法,核心思想是:
哈希每個元素,觀察哈希值的前綴中連續(xù)0的最大長度,利用這個統(tǒng)計信息估算基數(shù)。
- 哈希函數(shù)讓輸入隨機分布
- 長連續(xù) 0 出現(xiàn)的概率很低,說明數(shù)據(jù)多
- Redis 將結(jié)果分散到 2^14(16,384)個桶中,提高精度
?? 五、適用場景
- 網(wǎng)站 UV 統(tǒng)計(每天、每小時用戶訪問數(shù))
- 活躍用戶數(shù)統(tǒng)計
- 數(shù)據(jù)去重統(tǒng)計但不需要精確結(jié)果的場合
?? 六、注意事項
- 無法獲取添加了哪些元素(它不存數(shù)據(jù))
- 是估算值(不是精確值),精度誤差為 ±0.81%
- 永遠只占用約 12KB 的內(nèi)存(精確控制內(nèi)存使用)
?? 七、與 Set 對比
項目 | Set | HyperLogLog |
---|---|---|
精度 | 精確 | 估算(±0.81%) |
內(nèi)存 | 隨數(shù)據(jù)增大 | 恒定約 12KB |
支持去重計數(shù) | ? | ?(基于概率) |
支持元素查看 | ? | ?(不存數(shù)據(jù)) |
使用場景 | 數(shù)據(jù)可控小集合 | 超大規(guī)模數(shù)據(jù)統(tǒng)計 |
如果你有具體的使用場景或代碼需求,也可以告訴我,我可以幫你寫具體的 Redis 命令或 Python/Lua 示例。需要嗎?
到此這篇關(guān)于Redis中HyperLogLog的使用小結(jié)的文章就介紹到這了,更多相關(guān)Redis HyperLogLog使用內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
詳解Redis中的簡單動態(tài)字符串和C字符串的區(qū)別
簡單動態(tài)字符串(SDS)和?C?字符串在實現(xiàn)和特性上存在一些區(qū)別,這些區(qū)別使得?SDS?更適合作為?Redis?中字符串對象的內(nèi)部表示,本文給大家介紹一下Redis中的簡單動態(tài)字符串和C字符串的區(qū)別,需要的朋友可以參考下2023-12-12redis做websocket分布式消息推送服務的實現(xiàn)
本文介紹了使用Redis作為消息隊列實現(xiàn)WebSocket分布式消息推送服務的方案,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧2024-12-12