欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

python中文文本切詞Kmeans聚類

 更新時間:2022年05月20日 11:00:19   作者:ABCDLEE  
這篇文章主要為大家介紹了python中文文本切詞Kmeans聚類的示例詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪

簡介

查看百度搜索中文文本聚類我失望的發(fā)現(xiàn),網(wǎng)上竟然沒有一個完整的關(guān)于Python實現(xiàn)的中文文本聚類(乃至搜索關(guān)鍵詞python 中文文本聚類也是如此),網(wǎng)上大部分是關(guān)于文本聚類的Kmeans聚類的原理,Java實現(xiàn),R語言實現(xiàn),甚至都有一個C++的實現(xiàn)。

正好我寫的一些文章,我沒能很好的分類,我想能不能通過聚類的方法將一些相似的文章進行聚類,然后我再看每個聚類大概的主題是什么,給每個聚類一個標簽,這樣也是完成了分類。

中文文本聚類主要有一下幾個步驟,下面將分別詳細介紹:

  • 切詞
  • 去除停用詞
  • 構(gòu)建詞袋空間VSM(vector space model)
  • TF-IDF構(gòu)建詞權(quán)重
  • 使用K-means算法

一、 切詞

這里中文切詞使用的是結(jié)巴切詞。github項目主頁上有結(jié)巴切詞的詳細安裝方式,以及示例說明,這里不再詳述,一般情況下,可以使用如下方式安裝。

# pip install jieba

或者

# easy_install jieba

二、 去除停用詞

結(jié)巴分詞雖然有去除停用詞的功能,但是好像只是給jieba.analyse組建使用的,并不給jieba.cut使用,所以這里我們還是要自己構(gòu)建停用詞文件,以及去除停用詞。常見的中文停用詞有: 

1. 中文停用詞表(比較全面,有1208個停用詞) 

2. 最全中文停用詞表整理(1893個)

實現(xiàn)代碼如下(代碼比較水):

def read_from_file(file_name):
    with open(file_name,"r") as fp:
        words = fp.read()
    return words
def stop_words(stop_word_file):
    words = read_from_file(stop_word_file)
    result = jieba.cut(words)
    new_words = []
    for r in result:
        new_words.append(r)
    return set(new_words)
def del_stop_words(words,stop_words_set):
#   words是已經(jīng)切詞但是沒有去除停用詞的文檔。
#   返回的會是去除停用詞后的文檔
    result = jieba.cut(words)
    new_words = []
    for r in result:
        if r not in stop_words_set:
            new_words.append(r)
    return new_words

三、 構(gòu)建詞袋空間VSM(vector space model)

接下來是構(gòu)建詞袋空間,我們的步驟如下

將所有文檔讀入到程序中,再將每個文檔切詞。

去除每個文檔中的停用詞。

統(tǒng)計所有文檔的詞集合(sk-learn有相關(guān)函數(shù),但是我知道能對中文也使用)。

對每個文檔,都將構(gòu)建一個向量,向量的值是詞語在本文檔中出現(xiàn)的次數(shù)。

舉個例子,假設(shè)有兩個文本,

1.我愛上海,我愛中國

2.中國偉大,上海漂亮

那么切詞之后就有一下詞語:我,愛,上海,中國,偉大,漂亮,,(逗號也可能被切詞)。

再假設(shè)停用詞是我 ,,那么去除停用詞后,剩余的詞語就是

愛,上海,中國,偉大,漂亮

然后我們對文檔1和文檔2構(gòu)建向量,那么向量將如下:

文本    愛    上海    中國    偉大    漂亮
文檔1    2    1    1    0    0
文檔2    0    1    1    1    1

代碼如下:

def get_all_vector(file_path,stop_words_set):
    names = [ os.path.join(file_path,f) for f in os.listdir(file_path) ]
    posts = [ open(name).read() for name in names ]
    docs = []
    word_set = set()
    for post in posts:
        doc = del_stop_words(post,stop_words_set)
        docs.append(doc)
        word_set |= set(doc)
        #print len(doc),len(word_set)
    word_set = list(word_set)
    docs_vsm = []
    #for word in word_set[:30]:
        #print word.encode("utf-8"),
    for doc in docs:
        temp_vector = []
        for word in word_set:
            temp_vector.append(doc.count(word) * 1.0)
        #print temp_vector[-30:-1]
        docs_vsm.append(temp_vector)
    docs_matrix = np.array(docs_vsm)

在python中表示可能如下[[2,1,1,0,0],[0,1,1,1,]],我們盡可能將其放入到numpy的array或者matrix中方便下面TF-IDF的計算。

四、 將單詞出現(xiàn)的次數(shù)轉(zhuǎn)化為權(quán)值(TF-IDF)

換句話說,我們的vsm保存的本來已經(jīng)是向量的形式,我們?yōu)槭裁催€需要TF-IDF的形式呢?我認為這就是為了將單詞出現(xiàn)的次數(shù)轉(zhuǎn)化為權(quán)值。

關(guān)于TF-IDF的介紹可以參考網(wǎng)上的文章: 

1. 基本文本聚類方法 

2. TF-IDF百度百科 

3. TF-IDF維基百科英文版(需要FQ)

這里需要注意的是關(guān)于TF(term frequency)的計算,關(guān)于IDF(Inverse document frequency)的計算,我看公式基本上都是一樣的:

逆向文件頻率(inverse document frequency,IDF)是一個詞語普遍重要性的度量。某一特定詞語的IDF,可以由總文件數(shù)目除以包含該詞語之文件的數(shù)目,再將得到的商取對數(shù)得到:本公式用編輯,推薦一個令人驚嘆的網(wǎng)站:Detexify

其中

:語料庫中的文件總數(shù)

:包含詞語的文件數(shù)目(即的文件數(shù)目)如果該詞語不在語料庫中,就會導(dǎo)致分母為零,因此一般情況下使用作為分母。

然而百度百科以及網(wǎng)上大部分關(guān)于TF的介紹其實是有問題的,TF-IDF百度百科中說詞頻(term frequency,TF)指的是某一個給定的詞語在該文件中出現(xiàn)的頻率,那么很明顯這個計算公式就為:

然而這種計算方式常常會導(dǎo)致TF過小,其實TF-IDF并不是只有一種計算方式,而是多種,這個時候就體現(xiàn)出維基百科的威力了,具體的關(guān)于TF-IDF的介紹還是要參照維基百科。

如果不熟悉numpy,可以參考numpy官方文檔

column_sum = [ float(len(np.nonzero(docs_matrix[:,i])[0])) for i in range(docs_matrix.shape[1]) ]
column_sum = np.array(column_sum)
column_sum = docs_matrix.shape[0] / column_sum
idf =  np.log(column_sum)
idf =  np.diag(idf)
# 請仔細想想,根絕IDF的定義,計算詞的IDF并不依賴于某個文檔,所以我們提前計算好。
# 注意一下計算都是矩陣運算,不是單個變量的運算。
for doc_v in docs_matrix:
    if doc_v.sum() == 0:
        doc_v = doc_v / 1
    else:
        doc_v = doc_v / (doc_v.sum())
    tfidf = np.dot(docs_matrix,idf)
    return names,tfidf

現(xiàn)在我們擁有的矩陣的性質(zhì)如下,

列是所有文檔總共的詞的集合。

每行代表一個文檔。

每行是一個向量,向量的每個值是這個詞的權(quán)值。

五、 用K-means算法進行聚類

到這個時候,我們可以使用kmeans算法進行聚類,對kmeans算法來說,它看到已經(jīng)不是文本了,只是矩陣而已,所以我們用的也是通用的kmeans算法就可以了。

關(guān)于kmeans的介紹可以見于如下的文章: 

1. 基本Kmeans算法介紹及其實現(xiàn) 

2. K-means百度百科 

3. 淺談Kmeans聚類

所不同的是,在大部分的文本聚類中,人們通常用余弦距離(很好的介紹文章)而不是歐氏距離進行計算,難道是因為稀疏矩陣的原因,我并不太明白。

下面的代碼來自《機器學(xué)習(xí)實戰(zhàn)》第十章的代碼:

def gen_sim(A,B):
    num = float(np.dot(A,B.T))
    denum = np.linalg.norm(A) * np.linalg.norm(B)
    if denum == 0:
        denum = 1
    cosn = num / denum
    sim = 0.5 + 0.5 * cosn
    return sim
def randCent(dataSet, k):
    n = shape(dataSet)[1]
    centroids = mat(zeros((k,n)))#create centroid mat
    for j in range(n):#create random cluster centers, within bounds of each dimension
        minJ = min(dataSet[:,j]) 
        rangeJ = float(max(dataSet[:,j]) - minJ)
        centroids[:,j] = mat(minJ + rangeJ * random.rand(k,1))
    return centroids
def kMeans(dataSet, k, distMeas=gen_sim, createCent=randCent):
    m = shape(dataSet)[0]
    clusterAssment = mat(zeros((m,2)))#create mat to assign data points 
                                      #to a centroid, also holds SE of each point
    centroids = createCent(dataSet, k)
    clusterChanged = True
    counter = 0
    while counter <= 50:
        counter += 1
        clusterChanged = False
        for i in range(m):#for each data point assign it to the closest centroid
            minDist = inf; 
            minIndex = -1
            for j in range(k):
                distJI = distMeas(centroids[j,:],dataSet[i,:])
                if distJI < minDist:
                    minDist = distJI; 
                    minIndex = j
            if clusterAssment[i,0] != minIndex: 
                clusterChanged = True
            clusterAssment[i,:] = minIndex,minDist**2
        #print centroids
        for cent in range(k):#recalculate centroids
            ptsInClust = dataSet[nonzero(clusterAssment[:,0].A==cent)[0]]#get all the point in this cluster
            centroids[cent,:] = mean(ptsInClust, axis=0) #assign centroid to mean 
    return centroids, clusterAssment

六、 總結(jié)

基本上到這里為止,一個可用的中文文本聚類工具已經(jīng)完成了,github項目地址。其效果到底怎么樣呢?

我自己有一些未分類的文章屬于人生感悟(羞羞臉)類別的共有182篇,在切詞以及去除停用詞之后,共得到13202個詞語,我設(shè)置K=10,嗯,效果并不是太好,當然可能有一下原因:

文檔本身已經(jīng)屬于高度分類的了,基于詞頻的聚類并不能發(fā)現(xiàn)關(guān)于這些文章間的細微的區(qū)別。

算法需要優(yōu)化,可能有些地方可以設(shè)置修改一下。

總之,在學(xué)習(xí)若干天機器學(xué)習(xí)后,第一次實踐之旅算是結(jié)束了。

以上就是python中文文本切詞Kmeans聚類的詳細內(nèi)容,更多關(guān)于python文本切詞Kmeans聚類的資料請關(guān)注腳本之家其它相關(guān)文章!

相關(guān)文章

  • python代數(shù)式括號有效性檢驗示例代碼

    python代數(shù)式括號有效性檢驗示例代碼

    這篇文章主要給大家介紹了關(guān)于python代數(shù)式括號有效性檢驗的相關(guān)資料,文中通過示例代碼介紹的非常詳細,對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2020-10-10
  • 查看已安裝tensorflow版本的方法示例

    查看已安裝tensorflow版本的方法示例

    這篇文章主要介紹了查看已安裝tensorflow版本的方法示例,文中通過示例代碼介紹的非常詳細,對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2020-04-04
  • Python中的time和datetime模塊使用方法詳解

    Python中的time和datetime模塊使用方法詳解

    Python 中的 time 和 datetime 模塊是處理時間和日期的重要工具,它們可以執(zhí)行各種操作,如獲取當前時間、格式化日期、計算時間差等,本文將分享這兩個模塊的使用方法,包括安裝、基本功能、日期時間對象、時間戳、時間間隔、日期時間格式化和示例代碼
    2023-11-11
  • python PyAUtoGUI庫實現(xiàn)自動化控制鼠標鍵盤

    python PyAUtoGUI庫實現(xiàn)自動化控制鼠標鍵盤

    這篇文章主要介紹了python PyAUtoGUI庫實現(xiàn)自動化控制鼠標鍵盤,幫助大家更好的理解和使用python,感興趣的朋友可以了解下
    2020-09-09
  • 通過Python中的CGI接口講解什么是WSGI

    通過Python中的CGI接口講解什么是WSGI

    這篇文章主要為大家通過Python中的CGI接口及應(yīng)用示例講解什么是WSGI,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪
    2022-04-04
  • Python利用Turtle繪制Technoblade的示例代碼

    Python利用Turtle繪制Technoblade的示例代碼

    國外一位在YouTube擁有上千萬粉絲的我的世界游戲主播Technoblade因癌癥與世長辭,為了紀念他,特地寫了這篇文章,教大家用Turtle繪制出Technoblade,快跟隨小編一起學(xué)習(xí)一下吧
    2023-01-01
  • Python內(nèi)置函數(shù)dir詳解

    Python內(nèi)置函數(shù)dir詳解

    這篇文章主要介紹了Python內(nèi)置函數(shù)dir詳解,本文講解了命令介紹、使用實例、使用dir查找module下的所有類、如何找到當前模塊下的類等內(nèi)容,需要的朋友可以參考下
    2015-04-04
  • M1 mac安裝PyTorch的實現(xiàn)步驟

    M1 mac安裝PyTorch的實現(xiàn)步驟

    本文將介紹如何在M1機器上本地安裝和運行PyTorch。你使用的M1機型(Air、Pro、Mini或iMac)沒有區(qū)別。感興趣的可以了解一下
    2021-08-08
  • 樹莓派用python中的OpenCV輸出USB攝像頭畫面

    樹莓派用python中的OpenCV輸出USB攝像頭畫面

    這篇文章主要為大家詳細介紹了樹莓派用python中的OpenCV輸出USB攝像頭畫面,具有一定的參考價值,感興趣的小伙伴們可以參考一下
    2019-06-06
  • Numpy?三維數(shù)組索引與切片的實現(xiàn)

    Numpy?三維數(shù)組索引與切片的實現(xiàn)

    本文主要介紹了Numpy?三維數(shù)組索引與切片,文中通過示例代碼介紹的非常詳細,對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2023-03-03

最新評論