前言

本文主要是用 cpu 版本的 tensorflow 2.1 搭建深度學(xué)習(xí)模型，完成對(duì)電影評(píng)論的情感分類任務(wù)。 本次實(shí)踐的數(shù)據(jù)來(lái)源于IMDB 數(shù)據(jù)集，里面的包含的是電影的影評(píng)，每條影評(píng)評(píng)論文本分為積極類型或消極類型。數(shù)據(jù)集總共包含 50000 條影評(píng)文本，取該數(shù)據(jù)集的 25000 條影評(píng)數(shù)據(jù)作為訓(xùn)練集，另外 25000 條作為測(cè)試集，訓(xùn)練集與測(cè)試集中包含相等數(shù)量的積極和消極影評(píng)，保證數(shù)據(jù)質(zhì)量的平衡。

實(shí)現(xiàn)過(guò)程和思路解析

下載影評(píng)數(shù)據(jù)并進(jìn)行 padding 處理

（1）這里主要是通過(guò) tf 內(nèi)置的接口從網(wǎng)絡(luò)上下載 imdb 數(shù)據(jù)，該數(shù)據(jù)是已經(jīng)經(jīng)過(guò)處理的，每一條評(píng)論中的每個(gè)單詞都是用對(duì)應(yīng)的整數(shù)表示的，所以每一條評(píng)論都是一個(gè)整數(shù)列表。而對(duì)應(yīng)的每條影評(píng)的標(biāo)簽是一個(gè) 0 或 1 的整數(shù)， 0 代表的是消極評(píng)論，1 代表的是積極評(píng)論。

（2）這里的 num_words=6000 表示我們只需要保留了訓(xùn)練數(shù)據(jù)中出現(xiàn)頻率最高的 6000 個(gè)常用單詞，低頻詞會(huì)被全部棄用，因?yàn)橐环矫孢@些低頻詞可能是些符號(hào)或者停用詞，對(duì)影評(píng)情感分類沒(méi)有意義，另一方面如果低頻詞太多，需要構(gòu)造的詞典太過(guò)龐大，嚴(yán)重影響計(jì)算效率，且消耗大量?jī)?nèi)存。

import tensorflow as tf
from tensorflow import keras
imdb = keras.datasets.imdb
num_words = 6000
(train_data, train_labels), (test_data, test_labels) = imdb.load_data(num_words=num_words)

（3）這里主要是建立整數(shù)與單詞之間的映射關(guān)系，并建立了一個(gè)函數(shù) decode_review 可以將影評(píng)數(shù)據(jù)從數(shù)字序列轉(zhuǎn)換回單詞序列。

word_index = imdb.get_word_index()
word_index = {k:(v+3) for k,v in word_index.items()}
word_index["<PAD>"] = 0
word_index["<START>"] = 1
word_index["<UNK>"] = 2  # unknown
word_index["<UNUSED>"] = 3
index_word = dict([(value, key) for (key, value) in word_index.items()])
def decode_review(text):
    return ' '.join([index_word.get(i, '?') for i in text])

（4）這里主要是對(duì)影評(píng)數(shù)據(jù)進(jìn)行填充，因?yàn)槊織l數(shù)據(jù)的長(zhǎng)度（數(shù)字序列的長(zhǎng)度）是不一致的，而要進(jìn)行深度學(xué)習(xí)模型的輸入必須要保證每條影評(píng)數(shù)據(jù)的長(zhǎng)度相等，所以我們要進(jìn)行填充操作，指定了最大的影評(píng)長(zhǎng)度 maxlen 為 256 ，如果超過(guò) 256 則進(jìn)行截?cái)?，如果不?256 則用 0 （也就是<PAD>對(duì)應(yīng)的整數(shù)）在末尾進(jìn)行填充。這里的 maxlen 可以隨意指定，但是其長(zhǎng)度會(huì)影響模型的效果，需要在實(shí)踐中不斷調(diào)整折中。

train_data = keras.preprocessing.sequence.pad_sequences(train_data, value=word_index["<PAD>"], padding='post', maxlen=256)
val_data = keras.preprocessing.sequence.pad_sequences(val_data, value=word_index["<PAD>"], padding='post', maxlen=256)
test_data = keras.preprocessing.sequence.pad_sequences(test_data, value=word_index["<PAD>"], padding='post', maxlen=256)

創(chuàng)建驗(yàn)證集數(shù)據(jù)

這里主要是創(chuàng)建驗(yàn)證集，那么有了訓(xùn)練集為什么要?jiǎng)?chuàng)建驗(yàn)證集呢？首先我們要知道訓(xùn)練集數(shù)據(jù)是用來(lái)開發(fā)和調(diào)整模型的，而檢查模型的準(zhǔn)確率指標(biāo)只能是用未見(jiàn)過(guò)的數(shù)據(jù)進(jìn)行評(píng)測(cè)，所以我們從原始的訓(xùn)練數(shù)據(jù)中抽取出 10000 個(gè)樣本來(lái)創(chuàng)建驗(yàn)證集，此時(shí)訓(xùn)練樣本只有 15000 個(gè)，我們結(jié)合使用訓(xùn)練集和驗(yàn)證集共同調(diào)整和開發(fā)模型，當(dāng)模型定型之后，最后需要使用一次測(cè)試集評(píng)估模型的實(shí)際使用效果即可。

val_data = train_data[:10000]
val_labels = train_labels[:10000]
train_data = train_data[10000:]
train_labels = train_labels[10000:]

搭建簡(jiǎn)單的深度學(xué)習(xí)模型

（1）第一層是 Embedding 層，它將輸入的每一個(gè)單詞轉(zhuǎn)換為一個(gè) 32 維的向量，所以每一個(gè)樣本輸入就從一維的 (sequence) 變成了二維的 (sequence, 32)

（2）第二層主要是使用了平均池化操作 GlobalAveragePooling1D ， 此操作可以將每個(gè)樣本的二維維度向量 (sequence, 32) 又壓縮成一維向量 (32) ，上一步中的 32 維向量表示的是每個(gè)單詞向量，但是這里的 32 維向量表示的是一個(gè)影評(píng)樣本向量。

（3）第三層是一個(gè)通過(guò) relu 激活函數(shù)將輸入轉(zhuǎn)換成輸出為 16 維度向量的全連接層操作

（4）第四層是一個(gè)通過(guò) sigmoid 激活函數(shù)將輸入轉(zhuǎn)換成輸出為 1 維度向量的全連接層操作，也就是最后輸出一個(gè)介于 0 與 1 之間的浮點(diǎn)數(shù)，它表示了概率，常規(guī)情況下如果概率大于等于 0.5 則說(shuō)明該樣本預(yù)測(cè)類別為 1 ，否則說(shuō)明該樣本預(yù)測(cè)類別為 0

model = keras.Sequential()
model.add(keras.layers.Embedding(num_words, 32))
model.add(keras.layers.GlobalAveragePooling1D())
model.add(keras.layers.Dense(16 , activation='relu'))
model.add(keras.layers.Dense(1, activation='sigmoid'))
model.summary()

配置并編譯模型

（1）我們選擇了常用的 Adam 優(yōu)化器，你也可以自行選擇其他優(yōu)化器。

（2）因?yàn)檫@是一個(gè)二分類問(wèn)題且模型會(huì)輸出一個(gè)概率值，我們選擇了常見(jiàn)的 binary_crossentropy 損失函數(shù)。

（3）評(píng)估指標(biāo)我們選擇了最容易理解的準(zhǔn)確率 accuracy 。

model.compile(optimizer='adam', loss='binary_crossentropy', metrics=['accuracy'])

訓(xùn)練模型

這里主要是使用訓(xùn)練數(shù)據(jù)進(jìn)行模型的訓(xùn)練，使用訓(xùn)練集反復(fù)進(jìn)行 40 次模型訓(xùn)練，并且在訓(xùn)練過(guò)程中，使用驗(yàn)證集的 10000 個(gè)樣本來(lái)評(píng)估模型上的損失值（loss）和準(zhǔn)確率（accuracy）。

model.fit(train_data, train_labels, epochs=40, batch_size=512, validation_data=(val_data, val_labels), verbose=1)

輸出如下所示：

Train on 15000 samples, validate on 10000 samples
Epoch 1/40
15000/15000 [==============================] - 3s 169us/sample - loss: 0.6913 - accuracy: 0.5465 - val_loss: 0.6881 - val_accuracy: 0.6872
Epoch 2/40
15000/15000 [==============================] - 1s 88us/sample - loss: 0.6815 - accuracy: 0.7043 - val_loss: 0.6732 - val_accuracy: 0.7427
Epoch 3/40
...
Epoch 38/40
15000/15000 [==============================] - 1s 79us/sample - loss: 0.1045 - accuracy: 0.9707 - val_loss: 0.3431 - val_accuracy: 0.8738
Epoch 39/40
15000/15000 [==============================] - 1s 76us/sample - loss: 0.1022 - accuracy: 0.9712 - val_loss: 0.3470 - val_accuracy: 0.8737
Epoch 40/40
15000/15000 [==============================] - 1s 77us/sample - loss: 0.0985 - accuracy: 0.9735 - val_loss: 0.3526 - val_accuracy: 0.8725

評(píng)估模型

這里主要是使用測(cè)試數(shù)據(jù)對(duì)模型進(jìn)行評(píng)估，由于當(dāng)前模型較為簡(jiǎn)單，如果使用復(fù)雜的模型和更好的訓(xùn)練方法，準(zhǔn)確率應(yīng)該能達(dá)到 98% 以上.

model.evaluate(test_data,  test_labels, verbose=2)

結(jié)果輸出為，損失為 0.368 ，準(zhǔn)確率為 0.86488 ：

[0.368153291721344, 0.86488]

以上就是Tensorflow2.1實(shí)現(xiàn)文本中情感分類實(shí)現(xiàn)解析的詳細(xì)內(nèi)容，更多關(guān)于Tensorflow2.1文本情感分類的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章！

最新評(píng)論