欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

解析bitmap處理海量數(shù)據(jù)及其實現(xiàn)方法分析

 更新時間:2013年05月29日 09:45:26   作者:  
本篇文章是對bitmap處理海量數(shù)據(jù)及其實現(xiàn)的方法進行了詳細(xì)的分析介紹,需要的朋友參考下
【什么是Bit-map】
所謂的Bit-map就是用一個bit位來標(biāo)記某個元素對應(yīng)的Value, 而Key即是該元素。由于采用了Bit為單位來存儲數(shù)據(jù),因此在存儲空間方面,可以大大節(jié)省。
如果說了這么多還沒明白什么是Bit-map,那么我們來看一個具體的例子,假設(shè)我們要對0-7內(nèi)的5個元素(4,7,2,5,3)排序(這里假設(shè)這些元素沒有重復(fù))。那么我們就可以采用Bit-map的方法來達到排序的目的。要表示8個數(shù),我們就只需要8個Bit(1Bytes),首先我們開辟1Byte的空間,將這些空間的所有Bit位都置為0(如下圖:)
 
然后遍歷這5個元素,首先第一個元素是4,那么就把4對應(yīng)的位置為1(可以這樣操作 p+(i/8)|(0x01<<(i%8)) 當(dāng)然了這里的操作涉及到Big-ending和Little-ending的情況,這里默認(rèn)為Big-ending),因為是從零開始的,所以要把第五位置為一(如下圖): 


然后再處理第二個元素7,將第八位置為1,,接著再處理第三個元素,一直到最后處理完所有的元素,將相應(yīng)的位置為1,這時候的內(nèi)存的Bit位的狀態(tài)如下: 


然后我們現(xiàn)在遍歷一遍Bit區(qū)域,將該位是一的位的編號輸出(2,3,4,5,7),這樣就達到了排序的目的。下面的代碼給出了一個BitMap的用法:排序。
復(fù)制代碼 代碼如下:

//定義每個Byte中有8個Bit位  
#include <memory.h> 
#define BYTESIZE 8 
void SetBit(char *p, int posi)  
{  
    for(int i=0; i < (posi/BYTESIZE); i++)  
    {  
        p++;  
    }  

    *p = *p|(0x01<<(posi%BYTESIZE));//將該Bit位賦值1 
    return;  
}  

void BitMapSortDemo()  
{  
    //為了簡單起見,我們不考慮負(fù)數(shù) 
    int num[] = {3,5,2,10,6,12,8,14,9};  

    //BufferLen這個值是根據(jù)待排序的數(shù)據(jù)中最大值確定的 
    //待排序中的最大值是14,因此只需要2個Bytes(16個Bit) 
    //就可以了。  
    const int BufferLen = 2;  
    char *pBuffer = new char[BufferLen];  

    //要將所有的Bit位置為0,否則結(jié)果不可預(yù)知。 
    memset(pBuffer,0,BufferLen);  
    for(int i=0;i<9;i++)  
    {  
        //首先將相應(yīng)Bit位上置為1 
        SetBit(pBuffer,num[i]);  
    }  

    //輸出排序結(jié)果  
    for(int i=0;i<BufferLen;i++)//每次處理一個字節(jié)(Byte) 
    {  
        for(int j=0;j<BYTESIZE;j++)//處理該字節(jié)中的每個Bit位 
        {  
            //判斷該位上是否是1,進行輸出,這里的判斷比較笨。 
            //首先得到該第j位的掩碼(0x01<<j),將內(nèi)存區(qū)中的 
            //位和此掩碼作與操作。最后判斷掩碼是否和處理后的 
            //結(jié)果相同 
            if((*pBuffer&(0x01<<j)) == (0x01<<j))  
            {  
                printf("%d ",i*BYTESIZE + j);  
            }  
        }  
        pBuffer++;  
    }  
}  

int _tmain(int argc, _TCHAR* argv[])  
{  
    BitMapSortDemo();  
    return 0;  


【適用范圍】
可進行數(shù)據(jù)的快速查找,判重,刪除,一般來說數(shù)據(jù)范圍是int的10倍以下
【基本原理及要點】
使用bit數(shù)組來表示某些元素是否存在,比如8位電話號碼
【擴展】
Bloom filter可以看做是對bit-map的擴展
【問題實例】
1)已知某個文件內(nèi)包含一些電話號碼,每個號碼為8位數(shù)字,統(tǒng)計不同號碼的個數(shù)。
8位最多99 999 999,大概需要99m個bit,大概10幾m字節(jié)的內(nèi)存即可。 (可以理解為從0-99 999 999的數(shù)字,每個數(shù)字對應(yīng)一個Bit位,所以只需要99M個Bit==1.2MBytes,這樣,就用了小小的1.2M左右的內(nèi)存表示了所有的8位數(shù)的電話)
2)2.5億個整數(shù)中找出不重復(fù)的整數(shù)的個數(shù),內(nèi)存空間不足以容納這2.5億個整數(shù)。
將bit-map擴展一下,用2bit表示一個數(shù)即可,0表示未出現(xiàn),1表示出現(xiàn)一次,2表示出現(xiàn)2次及以上,在遍歷這些數(shù)的時候,如果對應(yīng)位置的值是0,則將其置為1;如果是1,將其置為2;如果是2,則保持不變。或者我們不用2bit來進行表示,我們用兩個bit-map即可模擬實現(xiàn)這個2bit-map,都是一樣的道理。
bitmap的C語言實現(xiàn)
復(fù)制代碼 代碼如下:

bitmap.h 

/*
 *bitmap的c語言實現(xiàn) 
*/ 
#ifndef _BITMAP_H_ 
#define _BITMAP_H_ 

/*
 *功能:初始化bitmap
 *參數(shù):
 *size:bitmap的大小,即bit位的個數(shù)
 *start:起始值
 *返回值:0表示失敗,1表示成功
 */ 
int bitmap_init(int size, int start); 

/*
 *功能:將值index的對應(yīng)位設(shè)為1
 *index:要設(shè)的值
 *返回值:0表示失敗,1表示成功
 */ 
int bitmap_set(int index); 

/*
 *功能:取bitmap第i位的值
 *i:待取位
 *返回值:-1表示失敗,否則返回對應(yīng)位的值
 */ 
int bitmap_get(int i); 

/*
 *功能:返回index位對應(yīng)的值
 */ 
int bitmap_data(int index); 

/*釋放內(nèi)存*/ 
int bitmap_free(); 

#endif 

bitmap.c 

#include <stdio.h> 
#include <stdlib.h> 
#include <string.h> 
#include "bitmap.h" 

unsigned char *g_bitmap = NULL; 
int g_size = 0; 
int g_base = 0; 

int bitmap_init(int size, int start) 

    g_bitmap = (char *)malloc((size/8+1)*sizeof(char)); 
    if(g_bitmap == NULL) 
        return 0; 
    g_base = start; 
    g_size = size/8+1; 
    memset(g_bitmap, 0x0, g_size); 
    return 1; 


int bitmap_set(int index) 

    int quo = (index-g_base)/8 ; 
    int remainder = (index-g_base)%8; 
    unsigned char x = (0x1<<remainder); 
    if( quo > g_size) 
        return 0; 
    g_bitmap[quo] |= x; 
    return 1;  


int bitmap_get(int i) 

    int quo = (i)/8 ; 
    int remainder = (i)%8; 
    unsigned char x = (0x1<<remainder); 
    unsigned char res; 
    if( quo > g_size) 
        return -1; 
    res = g_bitmap[quo] & x; 
    return res > 0 ? 1 : 0;  


int bitmap_data(int index) 

    return (index + g_base); 


int bitmap_free() 

    free(g_bitmap); 


測試程序bitmap_test.c: 

#include <stdio.h> 
#include "bitmap.h" 

int main() 

    int a[] = {5,8,7,6,3,1,10,78,56,34,23,12,43,54,65,76,87,98,89,100}; 
    int i; 
    bitmap_init(100, 0); 
    for(i=0; i<20; i++) 
        bitmap_set(a[i]); 
    for(i=0; i<100; i++) 
    { 
        if(bitmap_get(i) > 0 ) 
            printf("%d ", bitmap_data(i)); 
    } 
    printf("/n"); 
    bitmap_free(); 
    return 0; 


相關(guān)文章

  • C語言數(shù)據(jù)結(jié)構(gòu)之判斷循環(huán)鏈表空與滿

    C語言數(shù)據(jù)結(jié)構(gòu)之判斷循環(huán)鏈表空與滿

    這篇文章主要介紹了C語言數(shù)據(jù)結(jié)構(gòu)之判斷循環(huán)鏈表空與滿的相關(guān)資料,希望通過本文能幫助到大家,讓大家掌握這部分內(nèi)容,需要的朋友可以參考下
    2017-10-10
  • Qt 儀表盤的實現(xiàn)示例

    Qt 儀表盤的實現(xiàn)示例

    儀表盤在很多汽車和物聯(lián)網(wǎng)相關(guān)的系統(tǒng)中很常用,本文就來介紹一下Qt 儀表盤的實現(xiàn)示例,文中通過示例代碼介紹的非常詳細(xì),具有一定的參考價值,感興趣的小伙伴們可以參考一下
    2021-12-12
  • C++ 數(shù)據(jù)結(jié)構(gòu)之kmp算法中的求Next()函數(shù)的算法

    C++ 數(shù)據(jù)結(jié)構(gòu)之kmp算法中的求Next()函數(shù)的算法

    這篇文章主要介紹了C++ 數(shù)據(jù)結(jié)構(gòu)之kmp算法中的求Next()函數(shù)的算法的相關(guān)資料,需要的朋友可以參考下
    2017-06-06
  • 學(xué)習(xí) C++能帶給我們什么

    學(xué)習(xí) C++能帶給我們什么

    這篇文章主要介紹了學(xué)習(xí) C++能帶給我們什么的相關(guān)總結(jié),主要來自于前輩們,這里匯總給大家,需要的朋友可以參考下
    2016-03-03
  • C語言入門篇--局部全局變量的作用域及生命周期

    C語言入門篇--局部全局變量的作用域及生命周期

    本篇文章是c語言基礎(chǔ)篇,本文對初識c語言的變量、局部全局變量的作用域及生命周期做了簡要的概述,希望可以幫助大家快速入門c語言的世界,更好的理解c語言
    2021-08-08
  • c++中new和delete操作符用法

    c++中new和delete操作符用法

    c++中new和delete運算符是用于動態(tài)分配和撤銷內(nèi)存的運算符,下面是示例,大家參考使用吧
    2014-04-04
  • C語言實現(xiàn)合并字符串

    C語言實現(xiàn)合并字符串

    今天小編就為大家分享一篇C語言實現(xiàn)合并字符串,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2019-12-12
  • 一文詳解C語言char類型中的存儲

    一文詳解C語言char類型中的存儲

    C語言中的char是用于聲明單個字符的關(guān)鍵字,這篇文章主要給大家介紹了關(guān)于C語言char類型中存儲的相關(guān)資料,文中通過實例代碼介紹的非常詳細(xì),需要的朋友可以參考下
    2023-01-01
  • C語言代碼 模塊化實現(xiàn)三子棋

    C語言代碼 模塊化實現(xiàn)三子棋

    這篇文章主要為大家詳細(xì)介紹了C語言 模塊化實現(xiàn)三子棋程序,文中示例代碼介紹的非常詳細(xì),具有一定的參考價值,感興趣的小伙伴們可以參考一下
    2021-11-11
  • C++11系列學(xué)習(xí)之類型推導(dǎo)

    C++11系列學(xué)習(xí)之類型推導(dǎo)

    這篇文章主要介紹了C++11系列學(xué)習(xí)之類型推導(dǎo),文章基于C++的相關(guān)資料展開對主題的詳細(xì)內(nèi)容介紹,具有一定的參考價值需要的小伙伴可參考一下
    2022-04-04

最新評論