快捷導(dǎo)航

Python英文詞頻統(tǒng)計(jì)(哈姆雷特)程序示例代碼

更新時(shí)間：2023年06月15日 09:05:57 作者：永遠(yuǎn)是少年啊

在文本處理方面,Python也有著得天獨(dú)厚的優(yōu)勢(shì),不僅提供了多種字符串操作函數(shù),而且還可以使用各種開源庫(kù)來處理文本,下面這篇文章主要給大家介紹了關(guān)于Python英文詞頻統(tǒng)計(jì)(哈姆雷特)程序示例的相關(guān)資料,需要的朋友可以參考下

一、英文文本詞頻統(tǒng)計(jì)思路

想要對(duì)《哈姆雷特》進(jìn)行英文單詞詞頻統(tǒng)計(jì)，那么我們首先需要拿到《哈姆雷特》的原文，將之存儲(chǔ)為本地的txt文檔，然后使用Python打開該文件，讀取里面的信息。

在讀取《哈姆雷特》內(nèi)容后，我們首先需要將文件內(nèi)容進(jìn)行預(yù)處理，比如刪除文件中的特殊符號(hào)，以及對(duì)文件內(nèi)容進(jìn)行全部小寫的歸一化操作等等。除此之外，我們還需要?jiǎng)h除文檔中所有的標(biāo)點(diǎn)符號(hào)。之后，我們可以將文檔使用split()函數(shù)，根據(jù)空格進(jìn)行分隔，形成一個(gè)列表。

之后，我們逐個(gè)取出列表中的元素，然后統(tǒng)計(jì)列表中單詞的個(gè)數(shù)。為了進(jìn)行詞頻統(tǒng)計(jì)，我們需要?jiǎng)?chuàng)建一個(gè)字典變量，以單詞為鍵，以統(tǒng)計(jì)出的單詞個(gè)數(shù)為值，在遍歷列表時(shí)不斷更新該字典，就可以最終得到一個(gè)含有所有《哈姆雷特》內(nèi)容單詞詞頻的字典了。

最后，我們按照該字典轉(zhuǎn)化為一個(gè)新的列表，就可以對(duì)值的大小對(duì)該字典進(jìn)行排序，得到《哈姆雷特》詞頻從大到小的順序了。

二、英文文本詞頻統(tǒng)計(jì)程序編寫

根據(jù)上述思路，我們可以來編寫英文文本詞頻統(tǒng)計(jì)程序了。

打開文件及讀取文件內(nèi)容程序代碼如下所示：

f=open("C:\\Users\\Administrator\\Desktop\\哈姆雷特原文.txt","rt",encoding="utf-8")
Hamlet=f.read()
f.close()

對(duì)文件內(nèi)容進(jìn)行預(yù)處理代碼如下所示：

Hamlet=Hamlet.lower()
for char in "!@#$%^&*()_+~`,./;'[]\<>?:\"{}|":
    Hamlet=Hamlet.replace(char,"")

對(duì)文件單詞進(jìn)行統(tǒng)計(jì)代碼如下所示：

counts=dict()
for word in words:
    counts[word]=counts.get(word,0)+1

對(duì)字典生成新的列表，并進(jìn)行排序，代碼如下所示：

sequence=list(counts.items())
sequence.sort(key=lambda x:x[1],reverse=True)

篩選出單詞出現(xiàn)頻率最高的10個(gè)單詞，并進(jìn)行輸出，代碼如下所示：

for i in range(10):
    word,count=sequence[i]
    print("單詞{}在Hamlet中出現(xiàn)次數(shù)為第{}，出現(xiàn)了{(lán)}次".format(word,i+1,count))

最終代碼如下所示：

f=open("C:\\Users\\Administrator\\Desktop\\哈姆雷特原文.txt","rt",encoding="utf-8")
Hamlet=f.read()
f.close()
Hamlet=Hamlet.lower()
for char in "!@#$%^&*()_+~`,./;'[]\<>?:\"{}|":
    Hamlet=Hamlet.replace(char,"")
words=Hamlet.split()
counts=dict()
for word in words:
    counts[word]=counts.get(word,0)+1
sequence=list(counts.items())
sequence.sort(key=lambda x:x[1],reverse=True)
for i in range(10):
    word,count=sequence[i]
    print("單詞{}在Hamlet中出現(xiàn)次數(shù)為第{}，出現(xiàn)了{(lán)}次".format(word,i+1,count))