Python人工智能深度學(xué)習(xí)RNN模型結(jié)構(gòu)流程
1.RNN基礎(chǔ)模型
RNN主要特點(diǎn)是，在DNN隱藏層的輸出內(nèi)容會(huì)被存儲(chǔ)，并且可以作為輸入給到下一個(gè)神經(jīng)元。
如下圖所示，當(dāng)“臺(tái)北”這個(gè)詞被輸入的時(shí)候，前面的詞有可能是“離開“，有可能是”到達(dá)“，如果把上一次輸入的”離開“，所得的隱藏層內(nèi)容，輸入給下一層，這樣就有可能區(qū)分開是”離開臺(tái)北“，還是”到達(dá)臺(tái)北“。
如果隱藏層存儲(chǔ)的內(nèi)容并給下次使用，叫做Elman Network
如果最終的輸出內(nèi)容給下次使用，叫做Jordan Network
雙向RNN：從正向輸入的內(nèi)容，得到的存儲(chǔ)內(nèi)容，以及反向輸入內(nèi)容得到的存儲(chǔ)內(nèi)容，同時(shí)輸入給模型。
2.LSTM
Long Short-term Memory，其實(shí)當(dāng)人們說到使用RNN的時(shí)候，通常都是使用的LSTM。對(duì)于LSTM的每一個(gè)單元，除了輸入的數(shù)據(jù)之外，還有另外三個(gè)“門”來控制輸入，輸出，存儲(chǔ)。如下圖所示，如此一來，每一個(gè)LSTM單元共有4個(gè)輸入，以及1個(gè)輸出。
這些控制的門都是向量，并且輸入之后都需要進(jìn)行一個(gè)sigmoid函數(shù)轉(zhuǎn)換，因此輸入和門進(jìn)行計(jì)算之后，得到的輸出是位于0-1之間的數(shù)據(jù)，這樣就可以實(shí)現(xiàn)對(duì)輸入、輸出、存儲(chǔ)與否的把控。而門的參數(shù)都需要由RNN學(xué)習(xí)得到。
3.流程結(jié)構(gòu)
如下圖，假如輸入的是z，經(jīng)過函數(shù)轉(zhuǎn)換，得到g(z)，輸入門的數(shù)據(jù)z(i)，經(jīng)過一個(gè)sigmoid函數(shù)轉(zhuǎn)換，將其相乘，得到g(z) * f(z(i))
同樣的，當(dāng)控制存儲(chǔ)數(shù)的門得到的結(jié)果是1的時(shí)候，那么以前的數(shù)據(jù)就會(huì)和1相乘，并于前面算的結(jié)果相加，這樣就實(shí)現(xiàn)了對(duì)上次存儲(chǔ)數(shù)據(jù)的利用。是0的時(shí)候就會(huì)刪除上次的數(shù)據(jù)，實(shí)現(xiàn)存儲(chǔ)數(shù)據(jù)的格式化。
最終得到的輸出是h(c)，但如果輸出門輸入z0后計(jì)算的結(jié)果是0，則該輸出就無法輸出，是1的時(shí)候才可以輸出。
LSTM和DNN的區(qū)別，就是把神經(jīng)元換成了LSTM單元，輸入的數(shù)據(jù)乘上權(quán)重之后，來控制各個(gè)門。因此參數(shù)變成平常DNN參數(shù)的4倍。
將整個(gè)流程簡化來表示，如下。
實(shí)際中，LSTM不只是一個(gè)，它是多個(gè)組合，并且每一個(gè)的輸出，以及存儲(chǔ)的內(nèi)容也會(huì)添加到下一次的輸入當(dāng)中。如下圖所示：
以上便是LSTM的整體結(jié)構(gòu)。
Python人工智能深度學(xué)習(xí)RNN模型流程結(jié)構(gòu)的詳細(xì)內(nèi)容今天就為大家講解到這里了，更多關(guān)于RNN模型流程結(jié)構(gòu)的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章！
相關(guān)文章
今天教大家如何使用Python selenium,本文會(huì)以藝龍旅游網(wǎng)為對(duì)象,進(jìn)行selenium的學(xué)習(xí),目的：爬取藝龍網(wǎng)中南陽市唐河縣的酒店信息,包括：名字,電話,標(biāo)間價(jià)格,地址,介紹,圖片,需要的朋友可以參考下2021-06-06
這篇文章主要介紹了Python上傳package到Pypi(代碼簡單)的相關(guān)資料,需要的朋友可以參考下2016-02-02
這篇文章主要給大家介紹了關(guān)于Python通過命令提示符安裝matplotlib的相關(guān)資料,文中還介紹了離線安裝這一種方法,對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2021-11-11
Python運(yùn)行第一個(gè)PySide2的窗體程序
本文主要介紹了Python運(yùn)行第一個(gè)PySide2的窗體程序，文中通過示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2021-07-07
Python關(guān)鍵字之global與nonlocal
這篇文章主要為大家詳細(xì)介紹了Python關(guān)鍵字之global與nonlocal，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下，希望能夠給你帶來幫助2022-03-03
基于Python中單例模式的幾種實(shí)現(xiàn)方式及優(yōu)化詳解
下面小編就為大家分享一篇基于Python中單例模式的幾種實(shí)現(xiàn)方式及優(yōu)化詳解，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2018-01-01
這篇文章主要為大家詳細(xì)介紹了Python集合set()使用的方法，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下，希望能夠給你帶來幫助2022-03-03
這篇文章主要介紹了使用Python腳本生成隨機(jī)IP的簡單方法,并且可以自己設(shè)定IP數(shù)值范圍,需要的朋友可以參考下2015-07-07
這篇文章主要為大家詳細(xì)介紹了Windows下python3.7安裝教程，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2018-07-07
在 Python 中,變量是用于存儲(chǔ)數(shù)據(jù)的名稱,它可以保存不同類型的數(shù)據(jù),在Python中,有兩種類型的注釋：單行注釋和多行注釋,本文就給大家詳細(xì)的介紹一下python中的變量與注釋,需要的朋友可以參考下2023-08-08