欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

簡述python四種分詞工具,盤點哪個更好用?

 更新時間:2021年04月13日 14:18:33   作者:劉志軍  
這篇文章主要介紹了python四種分詞工具的相關(guān)資料,幫助大家更好的理解和學習使用python,感興趣的朋友可以了解下

大家好,我是安果!

分詞在自然語言處理中有著常見的場景,比如從一篇文章自動提取關(guān)鍵詞就需要用到分詞工具,中文搜索領(lǐng)域同樣離不開分詞

Python 中有很多開源的分詞工具,下面給大家介紹幾款常見的分詞依賴庫

1. jieba 分詞

“結(jié)巴” 分詞,GitHub 最受歡迎的分詞工具,立志做最好的 Python 中文分詞組件,支持多種分詞模式,支持自定義詞典

github star:26k

代碼示例

import jieba

strs=["我來到北京清華大學","乒乓球拍賣完了","中國科學技術(shù)大學"]

for str in strs:
    seg_list = jieba.cut(str,use_paddle=True) # 使用paddle模式
    print("Paddle Mode: " + '/'.join(list(seg_list)))

seg_list = jieba.cut("我來到北京清華大學", cut_all=True)
print("全模式: " + "/ ".join(seg_list))  # 全模式

seg_list = jieba.cut("我來到北京清華大學", cut_all=False)
print("精確模式: " + "/ ".join(seg_list))  # 精確模式

seg_list = jieba.cut("他來到了網(wǎng)易杭研大廈")  # 默認是精確模式
print("新詞識別:", ",".join(seg_list))

seg_list = jieba.cut_for_search("小明碩士畢業(yè)于中國科學院計算所,后在日本京都大學深造")  # 搜索引擎模式
print("搜索引擎模式:", ".join(seg_list))

輸出:

【全模式】: 我/ 來到/ 北京/ 清華/ 清華大學/ 華大/ 大學

【精確模式】: 我/ 來到/ 北京/ 清華大學

【新詞識別】:他, 來到, 了, 網(wǎng)易, 杭研, 大廈    (此處,“杭研”并沒有在詞典中,但是也被Viterbi算法識別出來了)

【搜索引擎模式】: 小明, 碩士, 畢業(yè), 于, 中國, 科學, 學院, 科學院, 中國科學院, 計算, 計算所, 后, 在, 日本, 京都, 大學, 日本京都大學, 深造

項目地址:

https://github.com/fxsjy/jieba

2. pkuseg 分詞

pkuseg 是北大語言計算與機器學習研究組開源的一款分詞工具

它的特點是支持多領(lǐng)域分詞,目前支持新聞領(lǐng)域,網(wǎng)絡(luò)領(lǐng)域,醫(yī)藥領(lǐng)域,旅游領(lǐng)域,以及混合領(lǐng)域的分詞預(yù)訓練模型,用戶可以自由地選擇不同的模型

相比通用分詞工具,它的分詞準確率更高 

github star:5.4k

代碼示例

import pkuseg

seg = pkuseg.pkuseg()           # 以默認配置加載模型
text = seg.cut('python是一門很棒的語言')  # 進行分詞
print(text)

輸出

['python', '是', '一', '門', '很', '棒', '的', '語言']

項目地址:

https://github.com/lancopku/pkuseg-python

3. FoolNLTK 分詞

基于 BiLSTM 模型訓練而成,據(jù)說可能是最準的開源中文分詞,同樣支持用戶自定義詞典

GitHub  star: 1.6k

代碼示例

import fool

text = "一個傻子在北京"
print(fool.cut(text))
# ['一個', '傻子', '在', '北京']

項目地址:

https://github.com/rockyzhengwu/FoolNLTK

4. THULAC

THULAC 由清華大學自然語言處理與社會人文計算實驗室研制推出的一套中文詞法分析工具包

具有詞性標注功能,能分析出某個詞是名詞還是動詞或者形容詞

github star:1.5k

代碼示例

 import thulac  

 thu1 = thulac.thulac()  #默認模式
 text = thu1.cut("我愛北京天安門", text=True)  #進行一句話分詞
 print(text) # 我_r 愛_v 北京_ns 天安門_ns
 代碼示例2
 thu1 = thulac.thulac(seg_only=True)  #只進行分詞,不進行詞性標注
 thu1.cut_f("input.txt", "output.txt")  #對input.txt文件內(nèi)容進行分詞,輸出到output.txt

項目地址:

https://github.com/thunlp/THULAC-Python

目前我在用的還是結(jié)巴分詞,配合用戶自定義詞典,解決常見的網(wǎng)絡(luò)詞語

你在用什么分詞工具,歡迎留下你的意見

以上就是簡述python四種分詞工具,盤點哪個更好用?的詳細內(nèi)容,更多關(guān)于python 分詞工具的資料請關(guān)注腳本之家其它相關(guān)文章!

相關(guān)文章

  • Django JWT Token RestfulAPI用戶認證詳解

    Django JWT Token RestfulAPI用戶認證詳解

    這篇文章主要介紹了Django JWT Token RestfulAPI用戶認證詳解,小編覺得挺不錯的,現(xiàn)在分享給大家,也給大家做個參考。一起跟隨小編過來看看吧
    2019-01-01
  • numpy數(shù)組坐標軸問題解決

    numpy數(shù)組坐標軸問題解決

    本文主要介紹了numpy數(shù)組坐標軸問題解決,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧
    2023-03-03
  • Opencv判斷顏色相似的圖片示例代碼

    Opencv判斷顏色相似的圖片示例代碼

    這篇文章主要介紹了Opencv判斷顏色相似的圖片示例代碼,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧
    2021-03-03
  • 如何利用pyinstaller打包Python程序為exe可執(zhí)行文件

    如何利用pyinstaller打包Python程序為exe可執(zhí)行文件

    這篇文章主要給大家介紹了關(guān)于如何利用pyinstaller打包Python程序為exe可執(zhí)行文件的相關(guān)資料,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧
    2021-04-04
  • Python全棧之遞歸函數(shù)

    Python全棧之遞歸函數(shù)

    這篇文章主要為大家介紹了Python遞歸函數(shù),具有一定的參考價值,感興趣的小伙伴們可以參考一下,希望能夠給你帶來幫助
    2021-11-11
  • flask/django 動態(tài)查詢表結(jié)構(gòu)相同表名不同數(shù)據(jù)的Model實現(xiàn)方法

    flask/django 動態(tài)查詢表結(jié)構(gòu)相同表名不同數(shù)據(jù)的Model實現(xiàn)方法

    今天小編就為大家分享一篇flask/django 動態(tài)查詢表結(jié)構(gòu)相同表名不同數(shù)據(jù)的Model實現(xiàn)方法,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2019-08-08
  • 跟老齊學Python之開始真正編程

    跟老齊學Python之開始真正編程

    通過對四則運算的學習,已經(jīng)初步接觸了Python中內(nèi)容,但是到目前為止,還不能算編程,只能算會用一些指令(或者叫做命令)來做點簡單的工作。列位稍安勿躁,下面我們就學習如何編寫一個真正的程序。
    2014-09-09
  • Django添加KindEditor富文本編輯器的使用

    Django添加KindEditor富文本編輯器的使用

    今天小編就為大家分享一篇關(guān)于Django添加KindEditor富文本編輯器的使用,小編覺得內(nèi)容挺不錯的,現(xiàn)在分享給大家,具有很好的參考價值,需要的朋友一起跟隨小編來看看吧
    2018-10-10
  • python實現(xiàn)快速排序的示例(二分法思想)

    python實現(xiàn)快速排序的示例(二分法思想)

    本篇文章主要介紹了python實現(xiàn)快速排序的示例(二分法思想),小編覺得挺不錯的,現(xiàn)在分享給大家,也給大家做個參考。一起跟隨小編過來看看吧
    2018-03-03
  • Python基于生成器迭代實現(xiàn)的八皇后問題示例

    Python基于生成器迭代實現(xiàn)的八皇后問題示例

    這篇文章主要介紹了Python基于生成器迭代實現(xiàn)的八皇后問題,簡單描述了八皇后問題,并結(jié)合實例形式分析了Python基于生成器迭代解決八皇后問題的相關(guān)操作技巧,需要的朋友可以參考下
    2018-05-05

最新評論