對(duì)Python中g(shù)ensim庫(kù)word2vec的使用詳解
pip install gensim安裝好庫(kù)后，即可導(dǎo)入使用：
1、訓(xùn)練模型定義
from gensim.models import Word2Vec model = Word2Vec(sentences, sg=1, size=100, window=5, min_count=5, negative=3, sample=0.001, hs=1, workers=4)
參數(shù)解釋?zhuān)?/strong>
1.sg=1是skip-gram算法，對(duì)低頻詞敏感；默認(rèn)sg=0為CBOW算法。
2.size是輸出詞向量的維數(shù)，值太小會(huì)導(dǎo)致詞映射因?yàn)闆_突而影響結(jié)果，值太大則會(huì)耗內(nèi)存并使算法計(jì)算變慢，一般值取為100到200之間。
3.window是句子中當(dāng)前詞與目標(biāo)詞之間的最大距離，3表示在目標(biāo)詞前看3-b個(gè)詞，后面看b個(gè)詞（b在0-3之間隨機(jī)）。
4.min_count是對(duì)詞進(jìn)行過(guò)濾，頻率小于min-count的單詞則會(huì)被忽視，默認(rèn)值為5。
5.negative和sample可根據(jù)訓(xùn)練結(jié)果進(jìn)行微調(diào)，sample表示更高頻率的詞被隨機(jī)下采樣到所設(shè)置的閾值，默認(rèn)值為1e-3。
6.hs=1表示層級(jí)softmax將會(huì)被使用，默認(rèn)hs=0且negative不為0，則負(fù)采樣將會(huì)被選擇使用。
7.workers控制訓(xùn)練的并行，此參數(shù)只有在安裝了Cpython后才有效，否則只能使用單核。
詳細(xì)參數(shù)說(shuō)明可查看word2vec源代碼。
2、訓(xùn)練后的模型保存與加載
model.save(fname) model = Word2Vec.load(fname)
3、模型使用（詞語(yǔ)相似度計(jì)算等）
model.most_similar(positive=['woman', 'king'], negative=['man'])
#輸出[('queen', 0.50882536), ...]
model.doesnt_match("breakfast cereal dinner lunch".split())
#輸出'cereal'
model.similarity('woman', 'man')
#輸出0.73723527
model['computer'] # raw numpy vector of a word
#輸出array([-0.00449447, -0.00310097, 0.02421786, ...], dtype=float32)
其它內(nèi)容不再贅述，詳細(xì)請(qǐng)參考gensim的word2vec的官方說(shuō)明，里面講的很詳細(xì)。
以上這篇對(duì)Python中g(shù)ensim庫(kù)word2vec的使用詳解就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
- Python word2vec訓(xùn)練詞向量實(shí)例分析講解
- Python機(jī)器學(xué)習(xí)NLP自然語(yǔ)言處理Word2vec電影影評(píng)建模
- python使用Word2Vec進(jìn)行情感分析解析
- python初步實(shí)現(xiàn)word2vec操作
- 在python下實(shí)現(xiàn)word2vec詞向量訓(xùn)練與加載實(shí)例
- Python實(shí)現(xiàn)word2Vec model過(guò)程解析
- python gensim使用word2vec詞向量處理中文語(yǔ)料的方法
- python+Word2Vec實(shí)現(xiàn)中文聊天機(jī)器人的示例代碼
相關(guān)文章
這篇文章主要介紹了Python代碼注釋規(guī)范代碼實(shí)例解析,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-08-08
tensorflow模型文件(ckpt)轉(zhuǎn)pb文件的方法（不知道輸出節(jié)點(diǎn)名）
這篇文章主要介紹了tensorflow模型文件(ckpt)轉(zhuǎn)pb文件（不知道輸出節(jié)點(diǎn)名），本文通過(guò)實(shí)例代碼給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2020-04-04
python字典中g(shù)et()函數(shù)的基本用法實(shí)例
在字典內(nèi)置的方法中,想說(shuō)的方法為get,這個(gè)方法是通過(guò)鍵來(lái)獲取相應(yīng)的值,但是如果相應(yīng)的鍵不存在則返回None,這篇文章主要給大家介紹了關(guān)于python字典中g(shù)et()函數(shù)的基本用法,需要的朋友可以參考下2022-03-03
Python和Java進(jìn)行DES加密和解密的實(shí)例
下面小編就為大家分享一篇Python和Java進(jìn)行DES加密和解密的實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2018-01-01
python安裝和pycharm環(huán)境搭建設(shè)置方法
這篇文章主要介紹了python安裝和pycharm環(huán)境搭建和設(shè)置方法，本文通過(guò)圖文并茂的形式給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下 ，2020-05-05
這篇文章主要介紹了深入理解Python的jieba模塊,英語(yǔ)單詞之間是通過(guò)空格分隔的,但是中文卻不存在空格的概念,因此需要一個(gè)模塊來(lái)解決中文的分詞問(wèn)題,jieba模塊是一個(gè)python第三方中文分詞模塊,可以用于將語(yǔ)句中的中文詞語(yǔ)分離出來(lái),需要的朋友可以參考下2023-11-11
200 行python 代碼實(shí)現(xiàn) 2048 游戲
2048這個(gè)小游戲大家都不陌生，應(yīng)該都玩過(guò)，之前已經(jīng)在網(wǎng)上見(jiàn)過(guò)各個(gè)版本的2048實(shí)現(xiàn)了，有JAVA、HTML5等，今天我就給大家來(lái)一個(gè)我200 行python 代碼實(shí)現(xiàn)的2048 游戲，感興趣的朋友一起看看吧2018-01-01
這篇文章主要為大家詳細(xì)介紹了python做量化投資系列之比特幣初始配置，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2018-01-01
Python技法之如何用re模塊實(shí)現(xiàn)簡(jiǎn)易tokenizer
當(dāng)我們?cè)赑ython中開(kāi)始新的東西時(shí),我通常首先看一些模塊或庫(kù)來(lái)使用,下面這篇文章主要給大家介紹了關(guān)于Python技法之如何用re模塊實(shí)現(xiàn)簡(jiǎn)易tokenizer的相關(guān)資料,需要的朋友可以參考下2022-05-05
這篇文章主要為大家介紹了Python 馬氏距離求取函數(shù)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下，希望能夠給你帶來(lái)幫助2021-11-11