Python英文詞頻統(tǒng)計(哈姆雷特)程序示例代碼

更新時間：2023年06月15日 09:05:57 作者：永遠是少年啊

在文本處理方面,Python也有著得天獨厚的優(yōu)勢,不僅提供了多種字符串操作函數(shù),而且還可以使用各種開源庫來處理文本,下面這篇文章主要給大家介紹了關于Python英文詞頻統(tǒng)計(哈姆雷特)程序示例的相關資料,需要的朋友可以參考下

一、英文文本詞頻統(tǒng)計思路

想要對《哈姆雷特》進行英文單詞詞頻統(tǒng)計，那么我們首先需要拿到《哈姆雷特》的原文，將之存儲為本地的txt文檔，然后使用Python打開該文件，讀取里面的信息。

在讀取《哈姆雷特》內容后，我們首先需要將文件內容進行預處理，比如刪除文件中的特殊符號，以及對文件內容進行全部小寫的歸一化操作等等。除此之外，我們還需要刪除文檔中所有的標點符號。之后，我們可以將文檔使用split()函數(shù)，根據(jù)空格進行分隔，形成一個列表。

之后，我們逐個取出列表中的元素，然后統(tǒng)計列表中單詞的個數(shù)。為了進行詞頻統(tǒng)計，我們需要創(chuàng)建一個字典變量，以單詞為鍵，以統(tǒng)計出的單詞個數(shù)為值，在遍歷列表時不斷更新該字典，就可以最終得到一個含有所有《哈姆雷特》內容單詞詞頻的字典了。

最后，我們按照該字典轉化為一個新的列表，就可以對值的大小對該字典進行排序，得到《哈姆雷特》詞頻從大到小的順序了。

二、英文文本詞頻統(tǒng)計程序編寫

根據(jù)上述思路，我們可以來編寫英文文本詞頻統(tǒng)計程序了。

打開文件及讀取文件內容程序代碼如下所示：

f=open("C:\\Users\\Administrator\\Desktop\\哈姆雷特原文.txt","rt",encoding="utf-8")
Hamlet=f.read()
f.close()

對文件內容進行預處理代碼如下所示：

Hamlet=Hamlet.lower()
for char in "!@#$%^&*()_+~`,./;'[]\<>?:\"{}|":
    Hamlet=Hamlet.replace(char,"")

對文件單詞進行統(tǒng)計代碼如下所示：

counts=dict()
for word in words:
    counts[word]=counts.get(word,0)+1

對字典生成新的列表，并進行排序，代碼如下所示：

sequence=list(counts.items())
sequence.sort(key=lambda x:x[1],reverse=True)

篩選出單詞出現(xiàn)頻率最高的10個單詞，并進行輸出，代碼如下所示：

for i in range(10):
    word,count=sequence[i]
    print("單詞{}在Hamlet中出現(xiàn)次數(shù)為第{}，出現(xiàn)了{}次".format(word,i+1,count))

最終代碼如下所示：

f=open("C:\\Users\\Administrator\\Desktop\\哈姆雷特原文.txt","rt",encoding="utf-8")
Hamlet=f.read()
f.close()
Hamlet=Hamlet.lower()
for char in "!@#$%^&*()_+~`,./;'[]\<>?:\"{}|":
    Hamlet=Hamlet.replace(char,"")
words=Hamlet.split()
counts=dict()
for word in words:
    counts[word]=counts.get(word,0)+1
sequence=list(counts.items())
sequence.sort(key=lambda x:x[1],reverse=True)
for i in range(10):
    word,count=sequence[i]
    print("單詞{}在Hamlet中出現(xiàn)次數(shù)為第{}，出現(xiàn)了{}次".format(word,i+1,count))