欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Python?jieba分詞添加自定義詞和去除不需要長尾詞的操作方法

 更新時間：2023年03月02日 10:19:41   作者：虛壞叔叔  
這篇文章主要介紹了Python?jieba分詞如何添加自定義詞和去除不需要長尾詞,主要介紹jieba的基礎(chǔ)用法，本文給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，需要的朋友可以參考下

Python jieba分詞如何添加自定義詞和去除不需要長尾詞

[外鏈圖片轉(zhuǎn)存失敗,源站可能有防盜鏈機(jī)制,建議將圖片保存下來直接上傳(img-ZbGUd57b-1677564707180)(2007.assets/1-1677564619771.png)]

通過如下代碼，讀取一個txt的高頻詞匯：

            # 找到高頻詞匯
            tmp_content = self.getContent(tmp_path)
            keyword_list = tmp_content.split('\n')
            word_count = dict()
            for keyword in keyword_list:
                for word,flag in jp.cut(keyword):
                    if word in word_count:
                        word_count[word] = word_count[word] +1
                    else:
                        word_count[word] =1
            for word, count in word_count.items():
                print('%s\t%s' % (word,count))

很多情況下 jieba它不知道一些詞匯，比如說獲得的詞匯如下

建立 和 可視化 是2個獨(dú)立的單詞

[外鏈圖片轉(zhuǎn)存失敗,源站可能有防盜鏈機(jī)制,建議將圖片保存下來直接上傳(img-hGFRlmcz-1677564707182)(2007.assets/image-20230228140647773.png)]

一、添加自定義詞

通過添加自定義詞

import jieba
import jieba.posseg as jp
jieba.load_userdict(r'jieba_dict.txt')

[外鏈圖片轉(zhuǎn)存失敗,源站可能有防盜鏈機(jī)制,建議將圖片保存下來直接上傳(img-Ljn92rgA-1677564707182)(2007.assets/image-20230228140134068.png)]

就可以看到，統(tǒng)計出來的詞是這個自定義詞

[外鏈圖片轉(zhuǎn)存失敗,源站可能有防盜鏈機(jī)制,建議將圖片保存下來直接上傳(img-uphMFIPd-1677564707182)(2007.assets/image-20230228140339267.png)]

二、去除不需要長尾詞

有時 統(tǒng)計出來的某些詞匯jieba認(rèn)為是一個詞匯 但是此時 我想讓他變?yōu)槎鄠€詞匯 ，可以通過如下代碼實(shí)現(xiàn)：

import jieba
import jieba.posseg as jp
jieba.del_word('創(chuàng)建活動')

此時 jieba 就會不認(rèn)定 創(chuàng)建活動 是一個詞，它會將它們分開統(tǒng)計

[外鏈圖片轉(zhuǎn)存失敗,源站可能有防盜鏈機(jī)制,建議將圖片保存下來直接上傳(img-QX0aqeZ8-1677564707183)(2007.assets/image-20230228140926854.png)]

總結(jié)

  • 本文主要介紹jieba的基礎(chǔ)用法。

到此這篇關(guān)于Python jieba分詞如何添加自定義詞和去除不需要長尾詞的文章就介紹到這了,更多相關(guān)Python jieba分詞內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

相關(guān)文章

最新評論