欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

python文本數(shù)據(jù)相似度的度量

 更新時(shí)間：2018年03月12日 08:32:07   作者：大鄧  
這篇文章主要為大家詳細(xì)介紹了python文本數(shù)據(jù)相似度的度量，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下

編輯距離

編輯距離，又稱為L(zhǎng)evenshtein距離，是用于計(jì)算一個(gè)字符串轉(zhuǎn)換為另一個(gè)字符串時(shí)，插入、刪除和替換的次數(shù)。例如，將'dad'轉(zhuǎn)換為'bad'需要一次替換操作，編輯距離為1。

nltk.metrics.distance.edit_distance函數(shù)實(shí)現(xiàn)了編輯距離。

from nltk.metrics.distance import edit_distance

str1 = 'bad'
str2 = 'dad'
print(edit_distance(str1, str2))

N元語法相似度

n元語法只是簡(jiǎn)單地表示文本中n個(gè)標(biāo)記的所有可能的連續(xù)序列。n元語法具體是這樣的

import nltk

#這里展示2元語法
text1 = 'Chief Executive Officer'

#bigram考慮匹配開頭和結(jié)束，所有使用pad_right和pad_left
ceo_bigrams = nltk.bigrams(text1.split(),pad_right=True,pad_left=True)

print(list(ceo_bigrams))
[(None, 'Chief'), ('Chief', 'Executive'), 
('Executive', 'Officer'), ('Officer', None)]

2元語法相似度計(jì)算

import nltk

#這里展示2元語法
def bigram_distance(text1, text2):
  #bigram考慮匹配開頭和結(jié)束，所以使用pad_right和pad_left
  text1_bigrams = nltk.bigrams(text1.split(),pad_right=True,pad_left=True)
  
  text2_bigrams = nltk.bigrams(text2.split(), pad_right=True, pad_left=True)
  
  #交集的長(zhǎng)度
  distance = len(set(text1_bigrams).intersection(set(text2_bigrams)))
  
  return distance


text1 = 'Chief Executive Officer is manager'

text2 = 'Chief Technology Officer is technology manager'

print(bigram_distance(text1, text2)) #相似度為3

jaccard相似性

jaccard距離度量的兩個(gè)集合的相似度，它是由 （集合1交集合2）/（結(jié)合1交結(jié)合2）計(jì)算而來的。

實(shí)現(xiàn)方式

from nltk.metrics.distance import jaccard_distance

#這里我們以單個(gè)的字符代表文本
set1 = set(['a','b','c','d','a'])
set2 = set(['a','b','e','g','a'])

print(jaccard_distance(set1, set2))

0.6666666666666666

masi距離

masi距離度量是jaccard相似度的加權(quán)版本，當(dāng)集合之間存在部分重疊時(shí)，通過調(diào)整得分來生成小于jaccard距離值。

from nltk.metrics.distance import jaccard_distance,masi_distance

#這里我們以單個(gè)的字符代表文本
set1 = set(['a','b','c','d','a'])
set2 = set(['a','b','e','g','a'])

print(jaccard_distance(set1, set2))
print(masi_distance(set1, set2))

0.6666666666666666
0.22000000000000003

余弦相似度

nltk提供了余弦相似性的實(shí)現(xiàn)方法，比如有一個(gè)詞語空間

word_space = [w1,w2,w3,w4]

text1 = 'w1 w2 w1 w4 w1'
text2 = 'w1 w3 w2'

#按照word_space位置，計(jì)算每個(gè)位置詞語出現(xiàn)的次數(shù)

text1_vector = [3,1,0,1]
text2_vector = [1,1,1,0]

[3,1,0,1]意思是指w1出現(xiàn)了3次，w2出現(xiàn)了1次，w3出現(xiàn)0次，w4出現(xiàn)1次。

好了下面看代碼，計(jì)算text1與text2的余弦相似性

from nltk.cluster.util import cosine_distance

text1_vector = [3,1,0,1]
text2_vector = [1,1,1,0]

print(cosine_distance(text1_vector,text2_vector))

0.303689376177

以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。

相關(guān)文章

最新評(píng)論