結合Python工具使用TfidfVectorizer進行文本特征提取方式

更新時間：2024年10月07日 09:22:08 作者：超哥同學

在自然語言處理中,TF-IDF是一種重要的特征提取方法,本文介紹了如何使用Python的sklearn庫中的TfidfVectorizer進行文本特征提取,首先,需要安裝sklearn庫,TfidfVectorizer能將文本文檔集合轉換為TF-IDF特征矩陣

如何使用Python的TfidfVectorizer進行文本特征提取

在自然語言處理（NLP）中，特征提取是將原始文本數據轉換為可以被機器學習算法處理的數值型特征的過程。

TF-IDF（Term Frequency-Inverse Document Frequency）是一種廣泛使用的特征提取方法，它能夠反映詞語在文檔集合中的重要性。

在Python中，我們可以使用sklearn庫中的TfidfVectorizer來實現TF-IDF特征提取。

本文將介紹如何使用TfidfVectorizer進行文本特征提取。

安裝`sklearn`

如果你還沒有安裝sklearn庫，可以通過以下命令進行安裝：

pip install scikit-learn

基本使用

TfidfVectorizer是sklearn.feature_extraction.text模塊中的一個類，它可以將文本文檔集合轉換為TF-IDF特征矩陣。

示例代碼

from sklearn.feature_extraction.text import TfidfVectorizer

# 定義一組文檔
documents = [
    "I have a pen",
    "I have an apple",
    "Apple pen, Apple pen",
    "Pen Pineapple, Apple Pen"
]

# 創(chuàng)建TfidfVectorizer對象
tfidf_vectorizer = TfidfVectorizer()

# 訓練TfidfVectorizer對象，并將文檔轉換為TF-IDF特征矩陣
tfidf_matrix = tfidf_vectorizer.fit_transform(documents)

# 查看特征詞匯
print(tfidf_vectorizer.get_feature_names_out())

# 查看TF-IDF矩陣
print(tfidf_matrix.toarray())

參數詳解

TfidfVectorizer有許多參數可以定制，以下是一些常用的參數：

stop_words: 停用詞集合，用于過濾掉無意義的常見詞。
max_df: 過濾掉在超過指定比例的文檔中出現的詞匯。
min_df: 過濾掉在少于指定比例的文檔中出現的詞匯。
ngram_range: 設定詞匯的n-gram范圍，例如(1, 2)表示提取單字和雙字詞組。
token_pattern: 用于分詞的正則表達式。

示例：使用參數

# 定義一組文檔
documents = [
    "I have a pen",
    "I have an apple",
    "Apple pen, Apple pen",
    "Pen Pineapple, Apple Pen"
]

# 創(chuàng)建TfidfVectorizer對象，并設置參數
tfidf_vectorizer = TfidfVectorizer(stop_words='english', max_df=0.5, min_df=2, ngram_range=(1, 2))

# 訓練TfidfVectorizer對象，并將文檔轉換為TF-IDF特征矩陣
tfidf_matrix = tfidf_vectorizer.fit_transform(documents)

# 查看特征詞匯
print(tfidf_vectorizer.get_feature_names_out())

# 查看TF-IDF矩陣
print(tfidf_matrix.toarray())