Python sklearn CountVectorizer使用詳解
簡介
將一個文檔集合向量化為為一個計數(shù)矩陣。
如果不提供一個先驗字典,不使用分析器做某種特征選擇,那么特征的數(shù)量將等于通過分析數(shù)據(jù)發(fā)現(xiàn)的詞匯量。
數(shù)據(jù)預處理
兩種方法:1.可以不分詞直接投入模型;2.可以先將中文文本進行分詞。
兩種方法產(chǎn)生的詞匯會非常不同。在后面會具體給出示范。
import jieba import re from sklearn.feature_extraction.text import CountVectorizer #原始數(shù)據(jù) text = ['很少在公眾場合手機外放', '大部分人都還是很認真去學習的', '他們會用行動來', '無論你現(xiàn)在有多頹廢,振作起來', '只需要一點點地改變', '你的外在和內(nèi)在都能煥然一新'] #提取中文 text = [' '.join(re.findall('[\u4e00-\u9fa5]+',tt,re.S)) for tt in text] #分詞 text = [' '.join(jieba.lcut(tt)) for tt in text] text
構(gòu)建模型
訓練模型
#構(gòu)建模型 vectorizer = CountVectorizer() #訓練模型 X = vectorizer.fit_transform(text)
所有詞匯:model.get_feature_names()
#所有文檔匯集后生成的詞匯 feature_names = vectorizer.get_feature_names() print(feature_names)
不分詞生成的詞匯
分詞后生成的詞匯
計數(shù)矩陣:X.toarray()
#每個文檔相對詞匯量出現(xiàn)次數(shù)形成的矩陣 matrix = X.toarray() print(matrix)
#計數(shù)矩陣轉(zhuǎn)化為DataFrame df = pd.DataFrame(matrix, columns=feature_names) df
詞匯索引:model.vocabulary_
print(vectorizer.vocabulary_)
到此這篇關(guān)于Python_sklearn_CountVectorizer使用詳解的文章就介紹到這了,更多相關(guān)Python_sklearn_CountVectorizer使用內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
Pycharm使用Conda激活環(huán)境失敗的問題解決
本文主要介紹了Pycharm使用Conda激活環(huán)境失敗的問題解決,文中主要介紹了兩種問題的解決,具有一定的參考價值,感興趣的可以了解一下2023-09-09Python?Asyncio中Coroutines,Tasks,Future可等待對象的關(guān)系及作用
這篇文章主要介紹了Python?Asyncio中Coroutines,Tasks,Future可等待對象的關(guān)系及作用,文章圍繞主題展開詳細的內(nèi)容介紹,需要的小伙伴可以參考一下2022-06-06tensorflow 利用expand_dims和squeeze擴展和壓縮tensor維度方式
今天小編就為大家分享一篇tensorflow 利用expand_dims和squeeze擴展和壓縮tensor維度方式,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2020-02-02