redis中使用bloomfilter的白名單功能解決緩存穿透問題

更新時間：2023年07月26日 11:47:09 作者：健康平安的活著

本文主要介紹了redis中使用bloomfilter的白名單功能解決緩存穿透問題，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧

一緩存預熱

1.1 緩存預熱

將需要的數(shù)據(jù)提前緩存到緩存redis中，可以在服務啟動時候，或者在使用前一天完成數(shù)據(jù)的同步等操作。保證后續(xù)能夠正常使用。

1.2 緩存穿透

在redis中，查詢redis緩存數(shù)據(jù)沒有內(nèi)容，接著查詢mysql數(shù)據(jù)庫，也沒有需要的內(nèi)容，做了兩次無用的查詢。進而造成mysql數(shù)據(jù)庫的負擔，造成一系列的風險。

解決辦法：bloomfilter+白名單實現(xiàn)過濾。

1.3 白名單的作用

白名單里面有才讓允許通過，沒有的內(nèi)容則不允許通過。但是存在誤判的情況，比如bloomfilter中存在查詢的內(nèi)容且允許通過，但是并不是我們真正需要的那個內(nèi)容。

1.4 白名單入門案例

public class WhiteList {
    public static void main(String[] args) {
        testGuavaWithBloomFilter();
    }
    public static void testGuavaWithBloomFilter()
    {
        //1 創(chuàng)建guava版布隆過濾器
        BloomFilter<Integer> bloomFilter = BloomFilter.create(Funnels.integerFunnel(), 100);
        //2 判斷指定的元素是否存在
        System.out.println(bloomFilter.mightContain(1));
        System.out.println(bloomFilter.mightContain(2));
        System.out.println();
        //3 講元素新增進入bloomfilter
        bloomFilter.put(1);
        bloomFilter.put(2);
        System.out.println(bloomFilter.mightContain(1));
        System.out.println(bloomFilter.mightContain(2));
    }
}

結果：

1.5 白名單+過濾器的實現(xiàn)案例

邏輯： guava布隆過濾器插入100萬樣本數(shù)據(jù)并額外10W測試是否存在，這10w的數(shù)據(jù)在100w的數(shù)據(jù)可能存在相同的情況，存儲到相同位置。比如規(guī)則為m%3，則 1,4,7放到同一個位置槽中。

1.5.1 代碼邏輯

1.controller

@RestController
@Slf4j
public class GuvaFilter {
    @Resource
    private GuavaBloomFilterService guavaBloomFilterService;
    @ApiOperation("guava布隆過濾器插入100萬樣本數(shù)據(jù)并額外10W測試是否存在")
    @RequestMapping(value = "/guavafilter",method = RequestMethod.GET)
    public void guavaBloomFilter()
    {
        guavaBloomFilterService.guavaBloomFilter();
    }
}

2.service

@Service
@Slf4j
public class GuavaBloomFilterService
{
    //1 定義一個常量
    public static final int _1W = 10000;
    //2 定義我們guava布隆過濾器，初始容量
    public static final int SIZE = 100 * _1W;
    //3 誤判率，它越小誤判的個數(shù)也就越少(思考，是否可以是無限?。?？沒有誤判豈不是更好)
    public static double fpp = 0.01;//0.01 0.000000000000001
    //4 創(chuàng)建guava布隆過濾器
    private static BloomFilter<Integer> bloomFilter = BloomFilter.create(Funnels.integerFunnel(), SIZE,fpp);
    public void guavaBloomFilter()
    {
        //1 先讓bloomFilter加入100W白名單數(shù)據(jù)
        for (int i = 1; i <= SIZE  ; i++) {
            bloomFilter.put(i);
        }
        //2 故意取10W個不在合法范圍內(nèi)的數(shù)據(jù),來進行誤判率的演示
        ArrayList<Integer> list = new ArrayList<>(10 * _1W);
        //3 驗證
        for (int i = SIZE+1; i <= SIZE+(10 * _1W) ; i++)
        {
            if(bloomFilter.mightContain(i))
            {
                log.info("被誤判了:{}",i);
                list.add(i);
            }
        }
        log.info("誤判總數(shù)量:{}",list.size());
    }
}

3.截圖