Python中文分詞庫jieba(結(jié)巴分詞)詳細使用介紹
更新時間：2022年04月07日 14:36:08 作者：TFATS
這篇文章主要介紹了Python中文分詞庫jieba(結(jié)巴分詞)提取詞,加載詞,修改詞頻,定義詞庫詳細使用介紹,需要的朋友可以參考下
一，jieba的介紹
jieba 是目前表現(xiàn)較為不錯的 Python 中文分詞組件，它主要有以下特性：
支持四種分詞模式：
- 精確模式
- 全模式
- 搜索引擎模式
- paddle模式
支持繁體分詞
支持自定義詞典
MIT 授權(quán)協(xié)議
二，安裝和使用
1，安裝
pip3 install jieba
2，使用
import jieba
三，主要分詞功能
1，jieba.cut 和jieba.lcut
lcut 將返回的對象轉(zhuǎn)化為list對象返回
傳入?yún)?shù)解析：
def cut(self, sentence, cut_all=False, HMM=True, use_paddle=False): # sentence: 需要分詞的字符串; # cut_all: 參數(shù)用來控制是否采用全模式； # HMM: 參數(shù)用來控制是否使用 HMM 模型; # use_paddle: 參數(shù)用來控制是否使用paddle模式下的分詞模式，paddle模式采用延遲加載方式，通過enable_paddle接口安裝paddlepaddle-tiny
1）精準模式（默認）:
試圖將句子最精確地切開，適合文本分析
seg_list = jieba.cut("我來到北京清華大學", cut_all=False)
print("精準模式: " + "/ ".join(seg_list)) # 精確模式
# -----output-----
精準模式: 我/ 來到/ 北京/ 清華大學
2）全模式:
把句子中所有的可以成詞的詞語都掃描出來, 速度非?？?，但是不能解決歧義；
seg_list = jieba.cut("我來到北京清華大學", cut_all=True)
print("全模式: " + "/ ".join(seg_list)) # 全模式
# -----output-----
全模式: 我/ 來到/ 北京/ 清華/ 清華大學/ 華大/ 大學
3）paddle模式
利用PaddlePaddle深度學習框架，訓練序列標注（雙向GRU）網(wǎng)絡(luò)模型實現(xiàn)分詞。同時支持詞性標注。
paddle模式使用需安裝paddlepaddle-tiny，pip install paddlepaddle-tiny==1.6.1。
目前paddle模式支持jieba v0.40及以上版本。
jieba v0.40以下版本，請升級jieba，pip installjieba --upgrade。 PaddlePaddle官網(wǎng)
import jieba
# 通過enable_paddle接口安裝paddlepaddle-tiny，并且import相關(guān)代碼；
jieba.enable_paddle() # 初次使用可以自動安裝并導入代碼
seg_list = jieba.cut(str, use_paddle=True)
print('Paddle模式: ' + '/'.join(list(seg_list)))
# -----output-----
Paddle enabled successfully......
Paddle模式: 我/來到/北京清華大學
2，jieba.cut_for_search 和 jieba.lcut_for_search
搜索引擎模式
在精確模式的基礎(chǔ)上，對長詞再次切分，提高召回率，適合用于搜索引擎分詞
seg_list = jieba.cut_for_search("小明碩士畢業(yè)于中國科學院計算所，后在日本京都大學深造") # 搜索引擎模式
print(", ".join(seg_list))
# -----output-----
小明, 碩士, 畢業(yè), 于, 中國, 科學, 學院, 科學院, 中國科學院, 計算, 計算所, ，, 后, 在, 日本, 京都, 大學, 日本京都大學, 深造
3，jieba.Tokenizer(dictionary=DEFAULT_DICT)
新建自定義分詞器，可用于同時使用不同詞典。jieba.dt 為默認分詞器，所有全局分詞相關(guān)函數(shù)都是該分詞器的映射。
import jieba
test_sent = "永和服裝飾品有限公司"
result = jieba.tokenize(test_sent) ##Tokenize：返回詞語在原文的起始位置
print(result)
for tk in result:
# print ("word %s\t\t start: %d \t\t end:%d" % (tk[0],tk[1],tk[2]) )
print (tk)
# -----output-----
<generator object Tokenizer.tokenize at 0x7f6b68a69d58>
('永和', 0, 2)
('服裝', 2, 4)
('飾品', 4, 6)
('有限公司', 6, 10)
四，添加自定義詞典
開發(fā)者可以指定自己自定義的詞典，以便包含 jieba 詞庫里沒有的詞。雖然 jieba有新詞識別能力，但是自行添加新詞可以保證更高的正確率。
1，添加詞典用法：
jieba.load_userdict(dict_path) # dict_path為文件類對象或自定義詞典的路徑。
2，其中自定義字典舉例如下：
一個詞占一行；每一行分三部分：詞語、詞頻（可省略）、詞性（可省略），用空格隔開，順序不可顛倒。
創(chuàng)新辦 3 i 云計算 5 凱特琳 nz 中信建投 投資公司
3，使用自定義詞典示例：
1）使用自定義詞典文件
import jieba
test_sent = "中信建投投資公司投資了一款游戲,中信也投資了一個游戲公司"
jieba.load_userdict("userdict.txt")
words = jieba.cut(test_sent)
print(list(words))
#-----output------
['中信建投', '投資公司', '投資', '了', '一款', '游戲', ',', '中信', '也', '投資', '了', '一個', '游戲', '公司']
2）使用 jieba 在程序中動態(tài)修改詞典
import jieba
# 定義示例句子
test_sent = "中信建投投資公司投資了一款游戲,中信也投資了一個游戲公司"
#添加詞
jieba.add_word('中信建投')
jieba.add_word('投資公司')
# 刪除詞
jieba.del_word('中信建投')
words = jieba.cut(test_sent)
print(list(words))
#-----output------
['中信', '建投', '投資公司', '投資', '了', '一款', '游戲', ',', '中信', '也', '投資', '了', '一個', '游戲', '公司']
五，關(guān)鍵詞提取
1，基于TF-IDF算法的關(guān)鍵詞提取
1）TF-IDF接口和示例
import jieba.analyse
- jieba.analyse.extract_tags(sentence, topK=20, withWeight=False,allowPOS=())
其中需要說明的是：- 1.sentence 為待提取的文本
- 2.topK 為返回幾個 TF/IDF 權(quán)重最大的關(guān)鍵詞，默認值為 20
- 3.withWeight 為是否一并返回關(guān)鍵詞權(quán)重值，默認值為 False
- 4.allowPOS 僅包括指定詞性的詞，默認值為空，即不篩選
- jieba.analyse.TFIDF(idf_path=None) 新建 TFIDF 實例，idf_path 為 IDF 頻率文件
import jieba
import jieba.analyse
#讀取文件,返回一個字符串，使用utf-8編碼方式讀取，該文檔位于此python同以及目錄下
content = open('data.txt','r',encoding='utf-8').read()
tags = jieba.analyse.extract_tags(content,topK=10,withWeight=True,allowPOS=("nr"))
print(tags)
# ----output-------
[('虛竹', 0.20382572423643955), ('丐幫', 0.07839419568792882), ('什么', 0.07287469641815765), ('自己', 0.05838617200768695), ('師父', 0.05459680087740782), ('內(nèi)力', 0.05353758008018405), ('大理', 0.04885277765801372), ('咱們', 0.04458784837687502), ('星宿', 0.04412126568280158), ('少林', 0.04207588649463058)]
2）關(guān)鍵詞提取所使用逆向文件頻率（IDF）文本語料庫可以切換成自定義語料庫的路徑
用法：jieba.analyse.set_idf_path(file_name) # file_name為自定義語料庫的路徑
自定義語料庫示例：
勞動防護 13.900677652 勞動防護 13.900677652 生化學 13.900677652 生化學 13.900677652 奧薩貝爾 13.900677652 奧薩貝爾 13.900677652 考察隊員 13.900677652 考察隊員 13.900677652 崗上 11.5027823792 崗上 11.5027823792 倒車檔 12.2912397395 倒車檔 12.2912397395 編譯 9.21854642485 編譯 9.21854642485 蝶泳 11.1926274509 外委 11.8212361103
3）關(guān)鍵詞提取所使用停止詞（Stop Words）文本語料庫可以切換成自定義語料庫的路徑
- 用法： jieba.analyse.set_stop_words(file_name) # file_name為自定義語料庫的路徑
- 自定義語料庫示例：
import jieba
import jieba.analyse
#讀取文件,返回一個字符串，使用utf-8編碼方式讀取，該文檔位于此python同以及目錄下
content = open(u'data.txt','r',encoding='utf-8').read()
jieba.analyse.set_stop_words("stopwords.txt")
tags = jieba.analyse.extract_tags(content, topK=10)
print(",".join(tags))
4）關(guān)鍵詞一并返回關(guān)鍵詞權(quán)重值示例
import jieba
import jieba.analyse
#讀取文件,返回一個字符串，使用utf-8編碼方式讀取，該文檔位于此python同以及目錄下
content = open(u'data.txt','r',encoding='utf-8').read()
jieba.analyse.set_stop_words("stopwords.txt")
tags = jieba.analyse.extract_tags(content, topK=10,withWeight=True)
print(tags)
2，詞性標注
- jieba.posseg.POSTokenizer(tokenizer=None) 新建自定義分詞器，tokenizer參數(shù)可指定內(nèi)部使用的 jieba.Tokenizer 分詞器。 jieba.posseg.dt 為默認詞性標注分詞器。
- 標注句子分詞后每個詞的詞性，采用和 ictclas 兼容的標記法。
- 用法示例
import jieba.posseg as pseg
words = pseg.cut("我愛北京天安門")
for word, flag in words:
print('%s %s' % (word, flag))
# ----output--------
我 r
愛 v
北京 ns
天安門 ns
詞性對照表
3，并行分詞
將目標文本按行分隔后，把各行文本分配到多個 Python 進程并行分詞，然后歸并結(jié)果，從而獲得分詞速度的可觀提升。用法：
- jieba.enable_parallel(4)：開啟并行分詞模式，參數(shù)為并行進程數(shù)
- jieba.disable_parallel() ：關(guān)閉并行分詞模式
可參考 test_file.py
注意：基于 python 自帶的 multiprocessing 模塊，目前暫不支持 Windows
4，Tokenize：返回詞語在原文的起止位置
1）默認模式
注意，輸入?yún)?shù)只接受 unicode
import jieba
import jieba.analyse
result = jieba.tokenize(u'永和服裝飾品有限公司')
for tk in result:
print("word %s\t\t start: %d \t\t end:%d" % (tk[0],tk[1],tk[2]))
# ----output-------
word 永和 start: 0 end:2
word 服裝 start: 2 end:4
word 飾品 start: 4 end:6
word 有限公司 start: 6 end:10
2）搜索模式
import jieba
import jieba.analyse
result = jieba.tokenize(u'永和服裝飾品有限公司', mode='search')
for tk in result:
print("word %s\t\t start: %d \t\t end:%d" % (tk[0],tk[1],tk[2]))
# ----output-------
word 永和 start: 0 end:2
word 服裝 start: 2 end:4
word 飾品 start: 4 end:6
word 有限 start: 6 end:8
word 公司 start: 8 end:10
word 有限公司 start: 6 end:10
5，搜索引擎ChineseAnalyzer for Whoosh
使用 jieba 和 whoosh 可以實現(xiàn)搜索引擎功能。
whoosh 是由python實現(xiàn)的一款全文搜索工具包，可以使用 pip 安裝它：
pip install whoosh
介紹 jieba + whoosh 實現(xiàn)搜索之前，你可以先看下文 whoosh 的簡單介紹。
下面看一個簡單的搜索引擎的例子：
import os
import shutil
from whoosh.fields import *
from whoosh.index import create_in
from whoosh.qparser import QueryParser
from jieba.analyse import ChineseAnalyzer
analyzer = ChineseAnalyzer()
schema = Schema(title=TEXT(stored=True),
path=ID(stored=True),
content=TEXT(stored=True,
analyzer=analyzer))
if not os.path.exists("test"):
os.mkdir("test")
else:
# 遞歸刪除目錄
shutil.rmtree("test")
os.mkdir("test")
idx = create_in("test", schema)
writer = idx.writer()
writer.add_document(
title=u"document1",
path="/tmp1",
content=u"Tracy McGrady is a famous basketball player, the elegant basketball style of him attract me")
writer.add_document(
title=u"document2",
path="/tmp2",
content=u"Kobe Bryant is a famous basketball player too , the tenacious spirit of him also attract me")
writer.add_document(
title=u"document3",
path="/tmp3",
content=u"LeBron James is the player i do not like")
writer.commit()
searcher = idx.searcher()
parser = QueryParser("content", schema=idx.schema)
for keyword in ("basketball", "elegant"):
print("searched keyword ",keyword)
query= parser.parse(keyword)
print(query,'------')
results = searcher.search(query)
for hit in results:
print(hit.highlights("content"))
print("="*50)
六，延遲加載
ieba 采用延遲加載，import jieba 和 jieba.Tokenizer() 不會立即觸發(fā)詞典的加載，一旦有必要才開始加載詞典構(gòu)建前綴字典。如果你想手工初始 jieba，也可以手動初始化。
import jieba jieba.initialize() # 手動初始化（可選）
上面代碼中，使用 add_document() 把一個文檔添加到了 index 中。在這些文檔中，搜索含有 “basketball”和 “elegant” 的文檔。
七，其他詞典
1，占用內(nèi)存較小的詞典文件 https://github.com/fxsjy/jieba/raw/master/extra_dict/dict.txt.small
2，支持繁體分詞更好的詞典文件 https://github.com/fxsjy/jieba/raw/master/extra_dict/dict.txt.big
下載你所需要的詞典，然后覆蓋 jieba/dict.txt 即可；或者用
jieba.set_dictionary('data/dict.txt.big')
更多關(guān)于Python中文分詞的文章請查看下面的相關(guān)鏈接
相關(guān)文章
python中fastapi設(shè)置查詢參數(shù)可選或必選
這篇文章主要介紹了python中fastapi設(shè)置查詢參數(shù)可選或必選，文圍繞主題展開詳細的內(nèi)容介紹，具有一定的參考價值需要的小伙伴可以參考一下2022-06-06
requests是一個很實用的Python HTTP客戶端庫，爬蟲和測試服務(wù)器響應(yīng)數(shù)據(jù)時經(jīng)常會用到，requests是Python語言的第三方的庫，專門用于發(fā)送HTTP請求，使用起來比urllib簡潔很多，這篇文章主要介紹requests的基礎(chǔ)用法2023-04-04
這篇文章主要介紹了python使用nb_log模塊捕獲日志,文中給大家介紹了nb_log模塊的使用方式，本文給大家介紹的非常詳細，需要的朋友可以參考下2021-12-12
這篇文章主要介紹了對python中return與yield的區(qū)別詳解，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-03-03
今天小編就為大家分享一篇Python3單行定義多個變量或賦值方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-07-07
python歐拉角和旋轉(zhuǎn)矩陣變換的實現(xiàn)示例
在計算機圖形學中,歐拉角和旋轉(zhuǎn)矩陣是描述物體旋轉(zhuǎn)的常用方法,本文主要介紹了python歐拉角和旋轉(zhuǎn)矩陣變換的實現(xiàn)示例,具有一定的參考價值,感興趣的可以了解一下2024-03-03
今天小編就為大家分享一篇用Python實現(xiàn)校園通知更新提醒功能，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-11-11
這篇文章主要介紹了python快速查找算法,是一個比較經(jīng)典的算法應(yīng)用,有一定的借鑒價值,需要的朋友可以參考下2014-09-09
Python3.5 Pandas模塊之Series用法實例分析
這篇文章主要介紹了Python3.5 Pandas模塊之Series用法,結(jié)合實例形式分析了Python3.5中Pandas模塊的Series結(jié)構(gòu)原理、創(chuàng)建、獲取、運算等相關(guān)操作技巧與注意事項,需要的朋友可以參考下2019-04-04
今天小編就為大家分享一篇django重新生成數(shù)據(jù)庫中的某張表方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-08-08