快捷導(dǎo)航

python利用多種方式來(lái)統(tǒng)計(jì)詞頻（單詞個(gè)數(shù)）

更新時(shí)間：2019年05月27日 15:02:50 作者：Sinte-Beuve

這篇文章主要介紹了python利用多種方式來(lái)統(tǒng)計(jì)詞頻（單詞個(gè)數(shù)），小編覺(jué)得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧

python的思維就是讓我們用盡可能少的代碼來(lái)解決問(wèn)題。對(duì)于詞頻的統(tǒng)計(jì)，就代碼層面而言，實(shí)現(xiàn)的方式也是有很多種的。之所以單獨(dú)談到統(tǒng)計(jì)詞頻這個(gè)問(wèn)題，是因?yàn)樗诮y(tǒng)計(jì)和數(shù)據(jù)挖掘方面經(jīng)常會(huì)用到，尤其是處理分類(lèi)問(wèn)題上。故在此做個(gè)簡(jiǎn)單的記錄。

統(tǒng)計(jì)的材料如下：

document = [
  'look', 'into', 'my', 'eyes', 'look', 'into', 'my', 'eyes',
 'the', 'eyes', 'the', 'eyes', 'the', 'eyes', 'not', 'around', 'the',
 'eyes', "don't", 'look', 'around', 'the', 'eyes', 'look', 'into',
 'my', 'eyes', "you're", 'under']

直接使用dict來(lái)進(jìn)行統(tǒng)計(jì)（遍歷+循環(huán)）

word_count = {}
for word in document:
  if word in word_count:
    word_count[word] += 1
 else:
    word_count[word] = 1

更優(yōu)雅的實(shí)現(xiàn)方式

#假如字典中不存在給定的鍵，則返回參數(shù)中提供的默認(rèn)值；反之，則返回字典中保存的值。
for word in document:
  previous_count = word_count.get(word, 0)
  word_count[word] = previous_count + 1
#可以合并成一行
for word in document:
 word_count[word] = word_count.setdefault(word, 0) + 1

使用defalutdict來(lái)實(shí)現(xiàn)

# 使用collections中的defalutdict來(lái)實(shí)現(xiàn)，defalutdict是一種值可以默認(rèn)設(shè)置的dict
from collections import defaultdict
word_count = defaultdict(int)
for word in document:
  word_count[word] += 1

使用Counter

word_counter = Counter(document)

Counter既然是一個(gè)計(jì)數(shù)器，那么它本身也就具有很多統(tǒng)計(jì)的方法。例如，最常見(jiàn)的詞頻統(tǒng)計(jì)的排序，可以獲得前n個(gè)最高的詞頻。

# 返回前n個(gè)最高詞頻，以字典的形式
word_counter.most_common(n)

顯然，使用defalutdict和Counter代碼最簡(jiǎn)潔，更能符合python開(kāi)發(fā)之道。

以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。

您可能感興趣的文章:

相關(guān)文章

Python文件操作中進(jìn)行字符串替換的方法（保存到新文件/當(dāng)前文件）
這篇文章主要介紹了Python文件操作中進(jìn)行字符串替換的方法（保存到新文件/當(dāng)前文件） ,本文給大家介紹兩種方法，每種方法給大家介紹的非常詳細(xì)，具有一定的參考借鑒價(jià)值，需要的朋友可以參考下
2019-06-06
深入淺析Python中的yield關(guān)鍵字
python中有一個(gè)非常有用的語(yǔ)法叫做生成器，所利用到的關(guān)鍵字就是yield。接下來(lái)腳本之家小編給大家?guī)?lái)了Python中的yield關(guān)鍵字詳細(xì)解析，感興趣的朋友參考下吧
2018-01-01
基于Django?websocket實(shí)現(xiàn)視頻畫(huà)面的實(shí)時(shí)傳輸功能(最新推薦)
Django?Channels?是一個(gè)用于在?Django框架中實(shí)現(xiàn)實(shí)時(shí)、異步通信的擴(kuò)展庫(kù)，本文給大家介紹基于Django?websocket實(shí)現(xiàn)視頻畫(huà)面的實(shí)時(shí)傳輸案例,本案例是基于B/S架構(gòu)的視頻監(jiān)控畫(huà)面的實(shí)時(shí)傳輸，使用django作為服務(wù)端的開(kāi)發(fā)框架，需要的朋友可以參考下
2023-06-06
python Kmeans算法原理深入解析
這篇文章主要介紹了python Kmeans算法深入解析,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
2019-08-08
Python3 字典dictionary入門(mén)基礎(chǔ)附實(shí)例
Python字典是另一種可變?nèi)萜髂Ｐ?，且可存?chǔ)任意類(lèi)型對(duì)象，如字符串、數(shù)字、元組等其他容器模型，字典由鍵和對(duì)應(yīng)值成對(duì)組成，字典也被稱(chēng)作關(guān)聯(lián)數(shù)組或哈希表
2020-02-02
python繪制條形圖方法代碼詳解
這篇文章主要介紹了python繪制條形圖方法代碼詳解，具有一定借鑒價(jià)值，需要的朋友可以參考下。
2017-12-12
python中的scapy抓取http報(bào)文內(nèi)容
這篇文章主要介紹了python中的scapy抓取http報(bào)文內(nèi)容方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
2023-08-08
Python2和Python3中urllib庫(kù)中urlencode的使用注意事項(xiàng)
這篇文章主要介紹了Python2和Python3中urllib庫(kù)中urlencode的使用注意事項(xiàng),非常不錯(cuò)，具有一定的參考借鑒價(jià)值，需要的朋友可以參考下
2018-11-11
Python使用擴(kuò)展庫(kù)pywin32實(shí)現(xiàn)批量文檔打印實(shí)例
這篇文章主要介紹了Python使用擴(kuò)展庫(kù)pywin32實(shí)現(xiàn)批量文檔打印實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
2020-04-04
python 竊取攝像頭照片的實(shí)現(xiàn)示例
這篇文章主要介紹了python:竊取攝像頭照片的實(shí)現(xiàn)示例，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
2021-01-01