欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

變長雙向rnn的正確使用姿勢教學

 更新時間:2021年05月31日 17:07:51   作者:代碼醫(yī)生  
這篇文章主要介紹了變長雙向rnn的正確使用姿勢,具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教

如何使用雙向RNN

在《深度學習之TensorFlow入門、原理與進階實戰(zhàn)》一書的9.4.2中的第4小節(jié)中,介紹過變長動態(tài)RNN的實現(xiàn)。

這里在來延伸的講解一下雙向動態(tài)rnn在處理變長序列時的應用。其實雙向RNN的使用中,有一個隱含的注意事項,非常容易犯錯。

本文就在介紹下雙向RNN的常用函數(shù)、用法及注意事項。

動態(tài)雙向rnn有兩個函數(shù):

stack_bidirectional_dynamic_rnn
bidirectional_dynamic_rnn

二者的實現(xiàn)上大同小異,放置的位置也不一樣,前者放在contrib下面,而后者顯得更加根紅苗正,放在了tf的核心庫下面。在使用時二者的返回值也有所區(qū)別。下面就來一一介紹。

示例代碼

先以GRU的cell代碼為例:

import tensorflow as tf
import numpy as np
tf.reset_default_graph()
# 創(chuàng)建輸入數(shù)據(jù)
X = np.random.randn(2, 4, 5)# 批次 、序列長度、樣本維度
# 第二個樣本長度為3
X[1,2:] = 0
seq_lengths = [4, 2]
Gstacked_rnn = []
Gstacked_bw_rnn = []
for i in range(3):
    Gstacked_rnn.append(tf.contrib.rnn.GRUCell(3))
    Gstacked_bw_rnn.append(tf.contrib.rnn.GRUCell(3))
#建立前向和后向的三層RNN
Gmcell = tf.contrib.rnn.MultiRNNCell(Gstacked_rnn)
Gmcell_bw = tf.contrib.rnn.MultiRNNCell(Gstacked_bw_rnn)
sGbioutputs, sGoutput_state_fw, sGoutput_state_bw = tf.contrib.rnn.stack_bidirectional_dynamic_rnn([Gmcell],[Gmcell_bw], X,sequence_length=seq_lengths,                                           dtype=tf.float64)
Gbioutputs, Goutput_state_fw = tf.nn.bidirectional_dynamic_rnn(Gmcell,Gmcell_bw, X,sequence_length=seq_lengths,dtype=tf.float64)

上面例子中是創(chuàng)建雙向RNN的方法示例??梢钥吹綆в衧tack的雙向RNN會輸出3個返回值,而不帶有stack的雙向RNN會輸出2個返回值。

這里面還要注意的是,在沒有未cell初始化時必須要將dtype參數(shù)賦值。不然會報錯。

代碼:BiRNN輸出

下面添加代碼,將輸出的值打印出來,看一下,這兩個函數(shù)到底是輸出的是啥?

#建立一個會話
sess = tf.InteractiveSession()
sess.run(tf.global_variables_initializer())
sgbresult,sgstate_fw,sgstate_bw=sess.run([sGbioutputs,sGoutput_state_fw,sGoutput_state_bw])
print("全序列:\n", sgbresult[0])
print("短序列:\n", sgbresult[1])
print('Gru的狀態(tài):',len(sgstate_fw[0]),'\n',sgstate_fw[0][0],'\n',sgstate_fw[0][1],'\n',sgstate_fw[0][2])
print('Gru的狀態(tài):',len(sgstate_bw[0]),'\n',sgstate_bw[0][0],'\n',sgstate_bw[0][1],'\n',sgstate_bw[0][2])

先看一下帶有stack的雙向RNN輸出的內容:

這里寫圖片描述

我們輸入的數(shù)據(jù)的批次是2,第一個序列長度是4,第二個序列長度是2.

圖中共有4部分輸出,可以看到,第一部分(全序列)就是序列長度為4的結果,第二部分(短序列)就是序列長度為2的結果。由于沒一層都是由3個RNN的GRU cell組成,所以每個序列的輸出都為3.很顯然,對于這樣的結果輸出,必須要將短序列后面的0去掉才可以用。

好在該函數(shù)還有第二個輸出值,GRU的狀態(tài)??梢灾苯邮褂脿顟B(tài)里的值,而不需要對原始結果進行去0的變化。

由于單個GRU本來就是沒有狀態(tài)的。所以該函數(shù)將最后的輸出作為狀態(tài)返回。該函數(shù)有兩個狀態(tài)返回,分別代表前向和后向。每一個方向的狀態(tài)都會返回3個元素。這是因為每個方向的網(wǎng)絡都有3層GRU組成。在使用時,一般都會取最后一個狀態(tài)。圖中紅色部分為前向中,兩個樣本對應的輸出,這個很好理解。

重點要看藍色的部分,即反向的狀態(tài)值對應的是原始數(shù)據(jù)中最其實的序列輸入。因為是反向RNN,在反向循環(huán)時,是會把序列中最后的放在最前面,所以反向網(wǎng)絡的生成結果就會與最開始的序列相對應。

對于特征提取任務處理時,正向與反向的最后值都為該序列的特征,需要合并起來統(tǒng)一處理。但是對于下一個序列預測任務時,建議直接使用正向的RNN網(wǎng)絡就可以了。

如果要獲取雙向RNN的結果,尤其是變長情況下,通過狀態(tài)拿到值直接拼接起來才是正確的做法。即便不是變長。直接使用輸出值來拼接,會損失掉反向的一部分特征結果。這是需要值得注意的地方。

代碼:BiRNN輸出

好了。在接著看下不帶stack的函數(shù)輸出是什么樣子的

gbresult,state_fw=sess.run([Gbioutputs,Goutput_state_fw])
print("正向:\n", gbresult[0])
print("反向:\n", gbresult[1])
print('狀態(tài):',len(state_fw),'\n',state_fw[0],'\n',state_fw[1])  #state_fw[0]:【層,批次,cell個數(shù)】 重頭到最后一個序列
print(state_fw[0][-1],state_fw[1][-1])
out  = np.concatenate((state_fw[0][-1],state_fw[1][-1]),axis = 1)
print("拼接",out)

這次,在輸出基本內容基礎上,直接將結果拼接起來。上面代碼運行后會輸出如下內容。

這里寫圖片描述

同樣正向用紅色,反向用藍色。改函數(shù)返回的輸出值,沒有將正反向拼接。輸出的狀態(tài)雖然是一個值,但是里面有兩個元素,一個代表正向狀態(tài),一個代表反向狀態(tài).

從輸出中可以看到,最后一行實現(xiàn)了最終結果的真正拼接。在使用雙向rnn時可以按照上面的例子代碼將其狀態(tài)拼接成一條完整輸出,然后在進行處理。

代碼:LSTM的雙向RNN

類似的如果想使用LSTM cell。將前面的GRU部分替換即可,代碼如下:

stacked_rnn = []
stacked_bw_rnn = []
for i in range(3):
    stacked_rnn.append(tf.contrib.rnn.LSTMCell(3))
    stacked_bw_rnn.append(tf.contrib.rnn.LSTMCell(3))
mcell = tf.contrib.rnn.MultiRNNCell(stacked_rnn)
mcell_bw = tf.contrib.rnn.MultiRNNCell(stacked_bw_rnn)    
bioutputs, output_state_fw, output_state_bw = tf.contrib.rnn.stack_bidirectional_dynamic_rnn([mcell],[mcell_bw], X,sequence_length=seq_lengths,
                                              dtype=tf.float64)
bioutputs, output_state_fw = tf.nn.bidirectional_dynamic_rnn(mcell,mcell_bw, X,sequence_length=seq_lengths,
                                              dtype=tf.float64)

至于輸出的內容是什么,可以按照前面GRU的輸出部分顯示出來自己觀察。如何拼接,也可以參照GRU的例子來做。

通過將正反向的狀態(tài)拼接起來才可以獲得雙向RNN的最終輸出特征。千萬不要直接拿著輸出不加處理的來進行后續(xù)的運算,這會損失一大部分的運算特征。

該部分內容屬于《深度學習之TensorFlow入門、原理與進階實戰(zhàn)》一書的內容補充。關于RNN的更多介紹可以參看書中第九章的詳細內容。

我對雙向RNN 的理解

1、雙向RNN使用的場景:有些情況下,當前的輸出不只依賴于之前的序列元素,還可能依賴之后的序列元素; 比如做完形填空,機器翻譯等應用。

2、Tensorflow 中實現(xiàn)雙向RNN 的API是:bidirectional_dynamic_rnn; 其本質主要是做了兩次reverse:

第一次reverse:將輸入序列進行reverse,然后送入dynamic_rnn做一次運算.

第二次reverse:將上面dynamic_rnn返回的outputs進行reverse,保證正向和反向輸出的time是對上的.

以上為個人經(jīng)驗,希望能給大家一個參考,也希望大家多多支持腳本之家。

相關文章

  • Python自動化辦公之讀取Excel數(shù)據(jù)的實現(xiàn)

    Python自動化辦公之讀取Excel數(shù)據(jù)的實現(xiàn)

    這篇文章主要為大家詳細介紹了如何通過Python實現(xiàn)Excel數(shù)據(jù)的讀取,文中的示例代碼講解詳細,對我們學習有一定幫助,需要的可以參考一下
    2022-05-05
  • python3.6+opencv3.4實現(xiàn)鼠標交互查看圖片像素

    python3.6+opencv3.4實現(xiàn)鼠標交互查看圖片像素

    這篇文章主要為大家詳細介紹了python3.6+opencv3.4實現(xiàn)鼠標交互查看圖片像素,具有一定的參考價值,感興趣的小伙伴們可以參考一下
    2018-02-02
  • Python基礎教程之控制結構詳解

    Python基礎教程之控制結構詳解

    Python中有三大控制結構,分別是順序結構、分支結構(選擇結構)以及循環(huán)結構,任何一個項目或者算法都可以使用這三種結構來設計完成,這篇文章主要給大家介紹了關于Python基礎教程之控制結構的相關資料,需要的朋友可以參考下
    2021-11-11
  • Python+selenium實現(xiàn)瀏覽器基本操作詳解

    Python+selenium實現(xiàn)瀏覽器基本操作詳解

    這篇文章主要為大家詳細介紹了如何通過python腳本實現(xiàn)瀏覽器的一些基本操作,如:瀏覽器的前進后退、頁面刷新等,感興趣的可以學習一下
    2022-06-06
  • Python 數(shù)據(jù)處理庫 pandas進階教程

    Python 數(shù)據(jù)處理庫 pandas進階教程

    在前面一篇文章中,我們對pandas做了一些入門介紹。本文是它的進階篇。在這篇文章中,我們會講解一些更深入的知識
    2018-04-04
  • python裝飾器初探(推薦)

    python裝飾器初探(推薦)

    下面小編就為大家?guī)硪黄猵ython裝飾器初探(推薦)。小編覺得挺不錯的,現(xiàn)在就分享給大家,也給大家做個參考。一起跟隨小編過來看看吧
    2016-07-07
  • pycharm之英文輸入法變成全角字符無法輸入問題

    pycharm之英文輸入法變成全角字符無法輸入問題

    這篇文章主要介紹了pycharm之英文輸入法變成全角字符無法輸入問題及解決方案,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教
    2023-11-11
  • python實現(xiàn)俄羅斯方塊小游戲

    python實現(xiàn)俄羅斯方塊小游戲

    這篇文章主要為大家詳細介紹了python實現(xiàn)俄羅斯方塊小游戲,文中示例代碼介紹的非常詳細,具有一定的參考價值,感興趣的小伙伴們可以參考一下
    2020-04-04
  • Python中的數(shù)據(jù)標準化與反標準化全面指南

    Python中的數(shù)據(jù)標準化與反標準化全面指南

    在數(shù)據(jù)處理和機器學習中,數(shù)據(jù)標準化是一項至關重要的預處理步驟,標準化能夠將不同尺度和范圍的數(shù)據(jù)轉換為相同的標準,有助于提高模型的性能和穩(wěn)定性,Python提供了多種庫和函數(shù)來執(zhí)行數(shù)據(jù)標準化和反標準化,如Scikit-learn和TensorFlow
    2024-01-01
  • 學生如何免費使用Pycharm專業(yè)版學生認證教程

    學生如何免費使用Pycharm專業(yè)版學生認證教程

    這篇文章主要介紹了學生如何免費使用Pycharm專業(yè)版,學生認證教程,有了這個教程在校期間就可以免費使用Pycharm,簡直是學生黨的福音,快來一起看看吧
    2023-03-03

最新評論