欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Java實(shí)現(xiàn)布隆過(guò)濾器的示例詳解

 更新時(shí)間:2023年03月29日 10:06:55   作者:越走越遠(yuǎn)的風(fēng)  
布隆過(guò)濾器(Bloom?Filter)是1970年由布隆提出來(lái)的,實(shí)際上是由一個(gè)很長(zhǎng)的二進(jìn)制數(shù)組+一系列hash算法映射函數(shù),用于判斷一個(gè)元素是否存在于集合中。本文主要介紹了Java實(shí)現(xiàn)布隆過(guò)濾器的示例代碼,希望對(duì)大家有所幫助

什么是布隆過(guò)濾器

布隆過(guò)濾器(Bloom Filter)是1970年由布隆提出來(lái)的。 它實(shí)際上是由一個(gè)很長(zhǎng)的二進(jìn)制數(shù)組+一系列hash算法映射函數(shù),用于判斷一個(gè)元素是否存在于集合中。
布隆過(guò)濾器可以用于檢索一個(gè)元素是否在一個(gè)集合中。它的優(yōu)點(diǎn)是空間效率和查詢(xún)時(shí)間都比一般的算法要好的多,缺點(diǎn)是有一定的誤識(shí)別率和刪除困難。

場(chǎng)景

假設(shè)有10億條手機(jī)號(hào),然后判斷某條手機(jī)號(hào)是否在列表內(nèi)?

mysql可以嗎?

正常情況下,如果數(shù)據(jù)量不大,我們可以考慮使用mysql存儲(chǔ)。將所有數(shù)據(jù)存儲(chǔ)到數(shù)據(jù)庫(kù),然后每次去庫(kù)里查詢(xún)判斷是否存在。但是如果數(shù)據(jù)量太大,超過(guò)千萬(wàn),mysql查詢(xún)效率是很低的,特別消耗性能。

HashSet可以嗎?

我們可以把數(shù)據(jù)放入HashSet中,利用HashSet天然的去重性,查詢(xún)只需要調(diào)用contains方法即可,但是hashset是存放在內(nèi)存中的,數(shù)據(jù)量過(guò)大內(nèi)存直接oom了。

布隆過(guò)濾器特點(diǎn)

  • 插入和查詢(xún)效率高,占用空間少,但是返回的結(jié)果是不確定的。
  • 一個(gè)元素如果判斷為存在的時(shí)候,它不一定真的存在。但是如果判斷一個(gè)元素不存在,那么它一定是不存在的。
  • 布隆過(guò)濾器可以添加元素,但是一定不能刪除元素,會(huì)導(dǎo)致誤判率增加。

布隆過(guò)濾器原理

布隆過(guò)濾器其實(shí)就是是一個(gè)BIT數(shù)組,通過(guò)一系列hash算法映射出對(duì)應(yīng)的hash,然后將hash對(duì)應(yīng)的數(shù)組下標(biāo)位置改為1。查詢(xún)時(shí)就是對(duì)數(shù)據(jù)在進(jìn)行一系列hash算法得到下標(biāo),從BIT數(shù)組里取數(shù)據(jù)如如果是1 則說(shuō)明數(shù)據(jù)有可能存在,如果是0 說(shuō)明一定不存在

為什么會(huì)有誤差率

我們知道布隆過(guò)濾器其實(shí)是對(duì)數(shù)據(jù)做hash,那么不管用什么算法,都有可能兩條不同的數(shù)據(jù)生成的hash確是相同的,也就是我們常說(shuō)的hash沖突。

首先插入一條數(shù)據(jù): 好好學(xué)技術(shù)

在插入一條數(shù)據(jù):

這是如果查詢(xún)一條數(shù)據(jù),假設(shè)他的hash下標(biāo)已經(jīng)標(biāo)為1了,那么布隆過(guò)濾器就會(huì)認(rèn)為他存在

常見(jiàn)使用場(chǎng)景

緩存穿透

java實(shí)現(xiàn)布隆過(guò)濾器

package com.fandf.test.redis;

import java.util.BitSet;

/**
 * java布隆過(guò)濾器
 *
 * @author fandongfeng
 */
public class MyBloomFilter {

    /**
     * 位數(shù)組大小
     */
    private static final int DEFAULT_SIZE = 2 << 24;

    /**
     * 通過(guò)這個(gè)數(shù)組創(chuàng)建多個(gè)Hash函數(shù)
     */
    private static final int[] SEEDS = new int[]{4, 8, 16, 32, 64, 128, 256};

    /**
     * 初始化位數(shù)組,數(shù)組中的元素只能是 0 或者 1
     */
    private final BitSet bits = new BitSet(DEFAULT_SIZE);

    /**
     * Hash函數(shù)數(shù)組
     */
    private final MyHash[] myHashes = new MyHash[SEEDS.length];

    /**
     * 初始化多個(gè)包含 Hash 函數(shù)的類(lèi)數(shù)組,每個(gè)類(lèi)中的 Hash 函數(shù)都不一樣
     */
    public MyBloomFilter() {
        // 初始化多個(gè)不同的 Hash 函數(shù)
        for (int i = 0; i < SEEDS.length; i++) {
            myHashes[i] = new MyHash(DEFAULT_SIZE, SEEDS[i]);
        }
    }

    /**
     * 添加元素到位數(shù)組
     */
    public void add(Object value) {
        for (MyHash myHash : myHashes) {
            bits.set(myHash.hash(value), true);
        }
    }

    /**
     * 判斷指定元素是否存在于位數(shù)組
     */
    public boolean contains(Object value) {
        boolean result = true;
        for (MyHash myHash : myHashes) {
            result = result && bits.get(myHash.hash(value));
        }
        return result;
    }

    /**
     * 自定義 Hash 函數(shù)
     */
    private class MyHash {
        private int cap;
        private int seed;

        MyHash(int cap, int seed) {
            this.cap = cap;
            this.seed = seed;
        }

        /**
         * 計(jì)算 Hash 值
         */
        int hash(Object obj) {
            return (obj == null) ? 0 : Math.abs(seed * (cap - 1) & (obj.hashCode() ^ (obj.hashCode() >>> 16)));
        }
    }

    public static void main(String[] args) {
        String str = "好好學(xué)技術(shù)";
        MyBloomFilter myBloomFilter = new MyBloomFilter();
        System.out.println("str是否存在:" + myBloomFilter.contains(str));
        myBloomFilter.add(str);
        System.out.println("str是否存在:" + myBloomFilter.contains(str));
    }


}

Guava實(shí)現(xiàn)布隆過(guò)濾器

引入依賴(lài)

<dependency>
    <groupId>com.google.guava</groupId>
    <artifactId>guava</artifactId>
    <version>31.1-jre</version>
</dependency>
package com.fandf.test.redis;

import com.google.common.base.Charsets;
import com.google.common.hash.BloomFilter;
import com.google.common.hash.Funnels;

/**
 * @author fandongfeng
 */
public class GuavaBloomFilter {

    public static void main(String[] args) {
        BloomFilter<String> bloomFilter = BloomFilter.create(Funnels.stringFunnel(Charsets.UTF_8),100000,0.01);
        bloomFilter.put("好好學(xué)技術(shù)");
        System.out.println(bloomFilter.mightContain("不好好學(xué)技術(shù)"));
        System.out.println(bloomFilter.mightContain("好好學(xué)技術(shù)"));
    }
}

hutool實(shí)現(xiàn)布隆過(guò)濾器

引入依賴(lài)

<dependency>
    <groupId>cn.hutool</groupId>
    <artifactId>hutool-all</artifactId>
    <version>5.8.3</version>
</dependency>
package com.fandf.test.redis;

import cn.hutool.bloomfilter.BitMapBloomFilter;
import cn.hutool.bloomfilter.BloomFilterUtil;

/**
 * @author fandongfeng
 */
public class HutoolBloomFilter {
    public static void main(String[] args) {
        BitMapBloomFilter bloomFilter = BloomFilterUtil.createBitMap(1000);
        bloomFilter.add("好好學(xué)技術(shù)");
        System.out.println(bloomFilter.contains("不好好學(xué)技術(shù)"));
        System.out.println(bloomFilter.contains("好好學(xué)技術(shù)"));
    }

}

Redisson實(shí)現(xiàn)布隆過(guò)濾器

引入依賴(lài)

<dependency>
    <groupId>org.redisson</groupId>
    <artifactId>redisson</artifactId>
    <version>3.20.0</version>
</dependency>
package com.fandf.test.redis;
 
import org.redisson.Redisson;
import org.redisson.api.RBloomFilter;
import org.redisson.api.RedissonClient;
import org.redisson.config.Config;
 
/**
 * Redisson 實(shí)現(xiàn)布隆過(guò)濾器
 * @author fandongfeng
 */
public class RedissonBloomFilter {
 
    public static void main(String[] args) {
        Config config = new Config();
        config.useSingleServer().setAddress("redis://127.0.0.1:6379");
        //構(gòu)造Redisson
        RedissonClient redisson = Redisson.create(config);
 
        RBloomFilter<String> bloomFilter = redisson.getBloomFilter("name");
        //初始化布隆過(guò)濾器:預(yù)計(jì)元素為100000000L,誤差率為1%
        bloomFilter.tryInit(100000000L,0.01);
        bloomFilter.add("好好學(xué)技術(shù)");
 
        System.out.println(bloomFilter.contains("不好好學(xué)技術(shù)"));
        System.out.println(bloomFilter.contains("好好學(xué)技術(shù)"));
    }
}

以上就是Java實(shí)現(xiàn)布隆過(guò)濾器的示例詳解的詳細(xì)內(nèi)容,更多關(guān)于Java布隆過(guò)濾器的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章!

相關(guān)文章

  • Java依賴(lài)倒轉(zhuǎn)原則_動(dòng)力節(jié)點(diǎn)Java學(xué)院整理

    Java依賴(lài)倒轉(zhuǎn)原則_動(dòng)力節(jié)點(diǎn)Java學(xué)院整理

    這篇文章主要介紹了Java依賴(lài)倒轉(zhuǎn)原則的定義及問(wèn)題由來(lái)解決方案,感興趣的朋友一起看看吧
    2017-08-08
  • slf4j與jul、log4j1、log4j2、logback的集成原理

    slf4j與jul、log4j1、log4j2、logback的集成原理

    這篇文章主要介紹了slf4j與jul、log4j1、log4j2、logback的集成原理,以及通用日志框架與具體日志實(shí)現(xiàn)系統(tǒng)的機(jī)制機(jī)制介紹,包括依賴(lài)的jar包,jar沖突處理等
    2022-03-03
  • HttpClient詳細(xì)使用示例詳解

    HttpClient詳細(xì)使用示例詳解

    這篇文章主要介紹了HttpClient詳細(xì)使用示例詳解,本文給大家介紹的非常想詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下
    2021-01-01
  • MyBatis框架關(guān)聯(lián)映射實(shí)例詳解

    MyBatis框架關(guān)聯(lián)映射實(shí)例詳解

    這篇文章主要介紹了MyBatis框架關(guān)聯(lián)映射,關(guān)系映射主要處理復(fù)雜的SQl查詢(xún),如子查詢(xún),多表聯(lián)查等復(fù)雜查詢(xún),應(yīng)用此種需求時(shí)可以考慮使用,需要的朋友可以參考下
    2022-11-11
  • 如何通過(guò)eclipse web項(xiàng)目導(dǎo)入itellij idea并啟動(dòng)

    如何通過(guò)eclipse web項(xiàng)目導(dǎo)入itellij idea并啟動(dòng)

    這篇文章主要介紹了如何通過(guò)eclipse web項(xiàng)目導(dǎo)入itellij idea并啟動(dòng),文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
    2020-12-12
  • Spring請(qǐng)求路徑帶參數(shù)URL使用注解的寫(xiě)法說(shuō)明

    Spring請(qǐng)求路徑帶參數(shù)URL使用注解的寫(xiě)法說(shuō)明

    這篇文章主要介紹了Spring請(qǐng)求路徑帶參數(shù)URL使用注解的寫(xiě)法說(shuō)明,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
    2021-08-08
  • java直接插入排序示例

    java直接插入排序示例

    這篇文章主要介紹了java直接插入排序示例,插入排序的比較次數(shù)仍然是n的平方,但在一般情況下,它要比冒泡排序快一倍,比選擇排序還要快一點(diǎn)。它常常被用在復(fù)雜排序算法的最后階段,比如快速排序。
    2014-05-05
  • 關(guān)于二分法查找Java的實(shí)現(xiàn)及解析

    關(guān)于二分法查找Java的實(shí)現(xiàn)及解析

    這篇文章主要介紹了關(guān)于二分法查找Java的實(shí)現(xiàn)及解析,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
    2022-07-07
  • Java中的六種經(jīng)典比較排序算法

    Java中的六種經(jīng)典比較排序算法

    排序算法是程序開(kāi)發(fā)和計(jì)算機(jī)科學(xué)中常見(jiàn)的算法之一,排序算法是算法分析的重要內(nèi)容之一,因?yàn)榕判蛩惴ǖ男视绊懼绦虻男阅芎头€(wěn)定性,本文的目的是介紹常見(jiàn)的排序算法,并且通過(guò)代碼示例演示它們的實(shí)現(xiàn)過(guò)程,需要的朋友可以參考下
    2023-06-06
  • Spring條件注解@Conditional示例詳解

    Spring條件注解@Conditional示例詳解

    這篇文章主要給大家介紹了關(guān)于Spring條件注解@Conditional的相關(guān)資料,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家學(xué)習(xí)或者使用Spring具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2019-08-08

最新評(píng)論