欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

python神經(jīng)網(wǎng)絡(luò)Keras實(shí)現(xiàn)LSTM及其參數(shù)量詳解

 更新時(shí)間：2022年05月07日 10:20:24   作者：Bubbliiiing  
這篇文章主要為大家介紹了python神經(jīng)網(wǎng)絡(luò)Keras實(shí)現(xiàn)LSTM及其參數(shù)量詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪

什么是LSTM

1、LSTM的結(jié)構(gòu)

我們可以看出，在n時(shí)刻，LSTM的輸入有三個(gè)：

  • 當(dāng)前時(shí)刻網(wǎng)絡(luò)的輸入值Xt；
  • 上一時(shí)刻LSTM的輸出值ht-1；
  • 上一時(shí)刻的單元狀態(tài)Ct-1。

LSTM的輸出有兩個(gè)：

  • 當(dāng)前時(shí)刻LSTM輸出值ht；
  • 當(dāng)前時(shí)刻的單元狀態(tài)Ct。

2、LSTM獨(dú)特的門結(jié)構(gòu)

LSTM用兩個(gè)門來控制單元狀態(tài)cn的內(nèi)容：

  • 遺忘門（forget gate），它決定了上一時(shí)刻的單元狀態(tài)cn-1有多少保留到當(dāng)前時(shí)刻；
  • 輸入門（input gate），它決定了當(dāng)前時(shí)刻網(wǎng)絡(luò)的輸入c’n有多少保存到新的單元狀態(tài)cn中。

LSTM用一個(gè)門來控制當(dāng)前輸出值hn的內(nèi)容：

輸出門（output gate），它利用當(dāng)前時(shí)刻單元狀態(tài)cn對hn的輸出進(jìn)行控制。

3、LSTM參數(shù)量計(jì)算

a、遺忘門

遺忘門這里需要結(jié)合ht-1和Xt來決定上一時(shí)刻的單元狀態(tài)cn-1有多少保留到當(dāng)前時(shí)刻；

由圖我們可以得到，我們在這一環(huán)節(jié)需要計(jì)一個(gè)參數(shù)ft。

b、輸入門

輸入門這里需要結(jié)合ht-1和Xt來決定當(dāng)前時(shí)刻網(wǎng)絡(luò)的輸入c’n有多少保存到單元狀態(tài)cn中。

由圖我們可以得到，我們在這一環(huán)節(jié)需要計(jì)算兩個(gè)參數(shù)，分別是it。

和C’t

里面需要訓(xùn)練的參數(shù)分別是Wi、bi、WC和bC。

在定義LSTM的時(shí)候我們會使用到一個(gè)參數(shù)叫做units，其實(shí)就是神經(jīng)元的個(gè)數(shù)，也就是LSTM的輸出——ht的維度。

所以：

c、輸出門

輸出門利用當(dāng)前時(shí)刻單元狀態(tài)cn對hn的輸出進(jìn)行控制；

由圖我們可以得到，我們在這一環(huán)節(jié)需要計(jì)一個(gè)參數(shù)ot。

里面需要訓(xùn)練的參數(shù)分別是Wo和bo。在定義LSTM的時(shí)候我們會使用到一個(gè)參數(shù)叫做units，其實(shí)就是神經(jīng)元的個(gè)數(shù)，也就是LSTM的輸出——ht的維度。所以：

d、全部參數(shù)量

所以所有的門總參數(shù)量為：

在Keras中實(shí)現(xiàn)LSTM

LSTM一般需要輸入兩個(gè)參數(shù)。

一個(gè)是unit、一個(gè)是input_shape。

LSTM(CELL_SIZE, input_shape = (TIME_STEPS,INPUT_SIZE))

unit用于指定神經(jīng)元的數(shù)量。

input_shape用于指定輸入的shape，分別指定TIME_STEPS和INPUT_SIZE。

實(shí)現(xiàn)代碼

import numpy as np
from keras.models import Sequential
from keras.layers import Input,Activation,Dense
from keras.models import Model
from keras.datasets import mnist
from keras.layers.recurrent import LSTM
from keras.utils import np_utils
from keras.optimizers import Adam
TIME_STEPS = 28
INPUT_SIZE = 28
BATCH_SIZE = 50
index_start = 0
OUTPUT_SIZE = 10
CELL_SIZE = 75
LR = 1e-3
(X_train,Y_train),(X_test,Y_test) = mnist.load_data()
X_train = X_train.reshape(-1,28,28)/255
X_test = X_test.reshape(-1,28,28)/255
Y_train = np_utils.to_categorical(Y_train,num_classes= 10)
Y_test = np_utils.to_categorical(Y_test,num_classes= 10)
inputs = Input(shape=[TIME_STEPS,INPUT_SIZE])
x = LSTM(CELL_SIZE, input_shape = (TIME_STEPS,INPUT_SIZE))(inputs)
x = Dense(OUTPUT_SIZE)(x)
x = Activation("softmax")(x)
model = Model(inputs,x)
adam = Adam(LR)
model.summary()
model.compile(loss = 'categorical_crossentropy',optimizer = adam,metrics = ['accuracy'])
for i in range(50000):
    X_batch = X_train[index_start:index_start + BATCH_SIZE,:,:]
    Y_batch = Y_train[index_start:index_start + BATCH_SIZE,:]
    index_start += BATCH_SIZE
    cost = model.train_on_batch(X_batch,Y_batch)
    if index_start >= X_train.shape[0]:
        index_start = 0
    if i%100 == 0:
        cost,accuracy = model.evaluate(X_test,Y_test,batch_size=50)
        print("accuracy:",accuracy)

實(shí)現(xiàn)效果：

10000/10000 [==============================] - 3s 340us/step
accuracy: 0.14040000014007092
10000/10000 [==============================] - 3s 310us/step
accuracy: 0.6507000041007995
10000/10000 [==============================] - 3s 320us/step
accuracy: 0.7740999992191792
10000/10000 [==============================] - 3s 305us/step
accuracy: 0.8516999959945679
10000/10000 [==============================] - 3s 322us/step
accuracy: 0.8669999945163727
10000/10000 [==============================] - 3s 324us/step
accuracy: 0.889699995815754
10000/10000 [==============================] - 3s 307us/step

以上就是python神經(jīng)網(wǎng)絡(luò)Keras實(shí)現(xiàn)LSTM及其參數(shù)量詳解的詳細(xì)內(nèi)容，更多關(guān)于Keras實(shí)現(xiàn)LSTM參數(shù)量的資料請關(guān)注腳本之家其它相關(guān)文章！

相關(guān)文章

最新評論