快捷導(dǎo)航

python實(shí)現(xiàn)simhash算法實(shí)例

更新時(shí)間：2014年04月25日 11:18:56 作者：

這篇文章主要介紹了python實(shí)現(xiàn)simhash算法實(shí)例,需要的朋友可以參考下

Simhash的算法簡(jiǎn)單的來說就是，從海量文本中快速搜索和已知simhash相差小于k位的simhash集合，這里每個(gè)文本都可以用一個(gè)simhash值來代表，一個(gè)simhash有64bit，相似的文本，64bit也相似，論文中k的經(jīng)驗(yàn)值為3。該方法的缺點(diǎn)如優(yōu)點(diǎn)一樣明顯，主要有兩點(diǎn)，對(duì)于短文本，k值很敏感；另一個(gè)是由于算法是以空間換時(shí)間，系統(tǒng)內(nèi)存吃不消。

復(fù)制代碼代碼如下:

#!/usr/bin/python
# coding=utf-8
class simhash:

    #構(gòu)造函數(shù)
    def __init__(self, tokens='', hashbits=128):
        self.hashbits = hashbits
        self.hash = self.simhash(tokens);

    #toString函數(shù)
    def __str__(self):
        return str(self.hash)

    #生成simhash值
    def simhash(self, tokens):
        v = [0] * self.hashbits
        for t in [self._string_hash(x) for x in tokens]: #t為token的普通hash值
            for i in range(self.hashbits):
                bitmask = 1 << i
                if t & bitmask :
                    v[i] += 1 #查看當(dāng)前bit位是否為1,是的話將該位+1
                else:
                    v[i] -= 1 #否則的話,該位-1
        fingerprint = 0
        for i in range(self.hashbits):
            if v[i] >= 0:
                fingerprint += 1 << i
        return fingerprint #整個(gè)文檔的fingerprint為最終各個(gè)位>=0的和

    #求海明距離
    def hamming_distance(self, other):
        x = (self.hash ^ other.hash) & ((1 << self.hashbits) - 1)
        tot = 0;
        while x :
            tot += 1
            x &= x - 1
        return tot

    #求相似度
    def similarity (self, other):
        a = float(self.hash)
        b = float(other.hash)
        if a > b : return b / a
        else: return a / b

    #針對(duì)source生成hash值   (一個(gè)可變長(zhǎng)度版本的Python的內(nèi)置散列)
    def _string_hash(self, source):
        if source == "":
            return 0
        else:
            x = ord(source[0]) << 7
            m = 1000003
            mask = 2 ** self.hashbits - 1
            for c in source:
                x = ((x * m) ^ ord(c)) & mask
            x ^= len(source)
            if x == -1:
                x = -2
            return x

if __name__ == '__main__':
    s = 'This is a test string for testing'
    hash1 = simhash(s.split())

    s = 'This is a test string for testing also'
    hash2 = simhash(s.split())

    s = 'nai nai ge xiong cao'
    hash3 = simhash(s.split())

    print(hash1.hamming_distance(hash2) , "   " , hash1.similarity(hash2))
    print(hash1.hamming_distance(hash3) , "   " , hash1.similarity(hash3))

您可能感興趣的文章: