欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

布隆過濾器(Bloom Filter)的Java實現(xiàn)方法

 更新時間:2016年12月10日 09:47:54   投稿:jingxian  
下面小編就為大家?guī)硪黄悸∵^濾器(Bloom Filter)的Java實現(xiàn)方法。小編覺得挺不錯的,現(xiàn)在就分享給大家,也給大家做個參考。一起跟隨小編過來看看吧

布隆過濾器原理很簡單:就是把一個字符串哈希成一個整數(shù)key,然后選取一個很長的比特序列,開始都是0,在key把此位置的0變?yōu)?;下次進(jìn)來一個字符串,哈希之后的值key,如果在此比特位上的值也是1,那么就說明這個字符串存在了。

如果按照上面的做法,那就和哈希算法沒有什么區(qū)別了,哈希算法還有重復(fù)的呢。

布隆過濾器是將一個字符串哈希成多個key,我還是按照書上的說吧。

先建立一個16億二進(jìn)制常量,然后將這16億個二進(jìn)制位全部置0。對于每個字符串,用8個不同的隨機(jī)產(chǎn)生器(F1,F2,.....,F8)產(chǎn)生8個信息指紋(f1,f2,....,f8).再用一個隨機(jī)數(shù)產(chǎn)生器G把這八個信息指紋映射到1到16億中的8個自然數(shù)g1,g2,...,g8?,F(xiàn)在把這8個位置的二進(jìn)制位全部變?yōu)?。這樣一個布隆過濾器就建好了。

那么如何檢測一個字符串是否已經(jīng)存在了呢?

現(xiàn)在用8個隨機(jī)數(shù)產(chǎn)生器(F1,F2,...,F8)對這個字符串產(chǎn)生8個信息指紋s1,s2,...,s8,然后將這8個信息指紋對應(yīng)到布隆過濾器的8個二進(jìn)制位,分別是T1,T2,...,T8.如果字符串存在,那么顯然T1,T2,...,T8對應(yīng)的二進(jìn)制位都應(yīng)該是1。就是這樣來判斷字符串是否已經(jīng)存在的。

其實布隆過濾器就是對哈希算法的一個擴(kuò)展,既然本質(zhì)是哈希,那么就肯定會有不足,也就是說,肯定會有誤判,一個字符串明明沒有出現(xiàn)過而布隆過濾器判斷出現(xiàn)了,雖然可能性很小,但是確實存在。

那么如何減少這種概率呢,首先可以想到的是如果將8個信息指紋擴(kuò)展到16個錯誤的概率肯定會降低,但是也要考慮到,這樣的話,那么一個布隆過濾器所能存儲的字符串?dāng)?shù)量也降低了1倍;另外就是選取很好的哈希函數(shù),對字符串的哈希方法有很多種,其中不乏很好的哈希函數(shù)。

布隆過濾器主要運(yùn)用在過濾惡意網(wǎng)址用的,將所有的惡意網(wǎng)址建立在一個布隆過濾器上,然后對用戶的訪問的網(wǎng)址進(jìn)行檢測,如果在惡意網(wǎng)址中那么就通知用戶。這樣的話,我們還可以對一些常出現(xiàn)判斷錯誤的網(wǎng)址設(shè)定一個白名單,然后對出現(xiàn)判斷存在的網(wǎng)址再和白名單中的網(wǎng)址進(jìn)行匹配,如果在白名單中,那么就放行。當(dāng)然這個白名單不能太大,也不會太大,布隆過濾器錯誤的概率是很小的。有興趣的讀者可以去查閱,布隆過濾器的錯誤率。

下面給出Java版的布隆過濾器源碼:

import java.util.BitSet; 
 
/** 
 * 
 * @author xkey 
 */ 
public class BloomFilter { 
 
  private static final int DEFAULT_SIZE = 2 << 24;//布隆過濾器的比特長度 
  private static final int[] seeds = {3,5,7, 11, 13, 31, 37, 61};//這里要選取質(zhì)數(shù),能很好的降低錯誤率 
  private static BitSet bits = new BitSet(DEFAULT_SIZE); 
  private static SimpleHash[] func = new SimpleHash[seeds.length]; 
 
  public static void addValue(String value) 
  { 
    for(SimpleHash f : func)//將字符串value哈希為8個或多個整數(shù),然后在這些整數(shù)的bit上變?yōu)? 
      bits.set(f.hash(value),true); 
  } 
   
  public static void add(String value) 
  { 
    if(value != null) addValue(value); 
  } 
   
  public static boolean contains(String value) 
  { 
    if(value == null) return false; 
    boolean ret = true; 
    for(SimpleHash f : func)//這里其實沒必要全部跑完,只要一次ret==false那么就不包含這個字符串 
      ret = ret && bits.get(f.hash(value)); 
    return ret; 
  } 
   
  public static void main(String[] args) { 
    String value = "www.dbjr.com.cn"; 
    for (int i = 0; i < seeds.length; i++) { 
      func[i] = new SimpleHash(DEFAULT_SIZE, seeds[i]); 
    } 
    add(value); 
    System.out.println(contains(value)); 
  } 
} 
 
class SimpleHash {//這玩意相當(dāng)于C++中的結(jié)構(gòu)體 
 
  private int cap; 
  private int seed; 
 
  public SimpleHash(int cap, int seed) { 
    this.cap = cap; 
    this.seed = seed; 
  } 
 
  public int hash(String value) {//字符串哈希,選取好的哈希函數(shù)很重要 
    int result = 0; 
    int len = value.length(); 
    for (int i = 0; i < len; i++) { 
      result = seed * result + value.charAt(i); 
    } 
    return (cap - 1) & result; 
  } 
} 

總結(jié):布隆過濾器是對哈希算法的一種創(chuàng)新,而且需要消耗的空間也很小,錯誤率很低??傊@種創(chuàng)新的思路很值得學(xué)習(xí),是一種對bit這種數(shù)據(jù)類型的運(yùn)用。

以上這篇布隆過濾器(Bloom Filter)的Java實現(xiàn)方法就是小編分享給大家的全部內(nèi)容了,希望能給大家一個參考,也希望大家多多支持腳本之家。

相關(guān)文章

  • mybatis?xml文件熱加載實現(xiàn)示例詳解

    mybatis?xml文件熱加載實現(xiàn)示例詳解

    這篇文章主要為大家介紹了mybatis?xml文件熱加載實現(xiàn)示例詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪
    2023-03-03
  • 快速解決List集合add元素,添加多個對象出現(xiàn)重復(fù)的問題

    快速解決List集合add元素,添加多個對象出現(xiàn)重復(fù)的問題

    這篇文章主要介紹了快速解決List集合add元素,添加多個對象出現(xiàn)重復(fù)的問題,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2020-08-08
  • 最新評論