快捷導(dǎo)航

Python jieba 中文分詞與詞頻統(tǒng)計(jì)的操作

更新時(shí)間：2021年03月09日 08:37:31 作者：方工

這篇文章主要介紹了Python jieba 中文分詞與詞頻統(tǒng)計(jì)的操作，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧

我就廢話不多說(shuō)了，大家還是直接看代碼吧~

#! python3
# -*- coding: utf-8 -*-
import os, codecs
import jieba
from collections import Counter
 
def get_words(txt):
 seg_list = jieba.cut(txt)
 c = Counter()
 for x in seg_list:
  if len(x)>1 and x != '\r\n':
   c[x] += 1
 print('常用詞頻度統(tǒng)計(jì)結(jié)果')
 for (k,v) in c.most_common(100):
  print('%s%s %s %d' % (' '*(5-len(k)), k, '*'*int(v/3), v))
 
if __name__ == '__main__':
 with codecs.open('19d.txt', 'r', 'utf8') as f:
  txt = f.read()
 get_words(txt)

樣本：十九/大報(bào)告全文

常用詞頻度統(tǒng)計(jì)結(jié)果
  發(fā)展 ********************************************************************** 212
  中國(guó) ******************************************************** 168
  人民 **************************************************** 157
  建設(shè) ************************************************* 148
 社會(huì)主義 ************************************************ 146
  堅(jiān)持 ******************************************* 130
  國(guó)家 ****************************** 90
  全面 ***************************** 88
  制度 *************************** 83
  實(shí)現(xiàn) *************************** 83
  推進(jìn) *************************** 81
  政治 ************************** 80
  社會(huì) ************************** 80
  特色 ************************** 79
  加強(qiáng) *********************** 71
  體系 ********************** 68
  文化 ********************** 66
  我們 ********************* 64
  時(shí)代 ********************* 63
  必須 ******************** 61
  經(jīng)濟(jì) ******************* 59
  偉大 ******************* 58
  完善 ***************** 51
  我國(guó) **************** 50
  推動(dòng) *************** 47
 現(xiàn)代化 *************** 47
  安全 *************** 46
  更加 ************** 44
  民主 ************** 44

補(bǔ)充：jieba讀取txt文檔并進(jìn)行分詞、詞頻統(tǒng)計(jì)，輸出詞云圖

代碼實(shí)現(xiàn)

# 庫(kù)的引用
import jieba
import matplotlib as mpl
import matplotlib.pyplot as plt
from wordcloud import WordCloud
#定義一個(gè)空字符串
final = ""
#文件夾位置
filename = r"D:\python\pra\推薦系統(tǒng)1-500.txt"
 
#打開(kāi)文件夾，讀取內(nèi)容，并進(jìn)行分詞
with open(filename,'r',encoding = 'utf-8') as f:
  for line in f.readlines():
    word = jieba.cut(line)
    for i in word:
      final = final + i +" "

運(yùn)行結(jié)果

# 圖云打印
word_pic = WordCloud(font_path = r'C:\Windows\Fonts\simkai.ttf',width = 2000,height = 1000).generate(final)
plt.imshow(word_pic)
#去掉坐標(biāo)軸
plt.axis('off')
#保存圖片到相應(yīng)文件夾
plt.savefig(r'D:\python\pra\6.png')

圖云輸出圖