使用Python建立RNN實現(xiàn)二進(jìn)制加法的示例代碼
只有一百行左右代碼，應(yīng)該還是比較好理解的。
首先看一下結(jié)果，
The end error is:[0.05344101]
發(fā)現(xiàn)還是不錯的。如果不想看講解，就直接跳到文末，有所有的代碼，安裝numpy庫就能夠跑。
二進(jìn)制加法
這個沒啥好說的，就是逢二進(jìn)一，不知道的就看看計算機(jī)組成原理的相關(guān)內(nèi)容吧。
RNN主要學(xué)兩件事，一個是前一位的進(jìn)位，一個是當(dāng)前位的加法操作。只告訴當(dāng)前階段和前一階段的計算結(jié)果，讓網(wǎng)絡(luò)自己學(xué)習(xí)加法和進(jìn)位操作。
具體代碼
既然是神經(jīng)網(wǎng)絡(luò)，肯定就非線性的，首先是sigmoid函數(shù)，這個要是不清楚，就看看相關(guān)博客了解一下。
反向傳播的時候需要sigmoid函數(shù)的導(dǎo)數(shù)值，所以把兩個函數(shù)就直接貼在下面了。
# 前向傳播 def sigmoid(in_x): output = 1 / (1 + np.exp(-in_x)) return output # 反向傳播 def sigmoid_output_to_derivative(output): return output * (1 - output)
定義一個字典，因為待會兒要進(jìn)行十進(jìn)制和二進(jìn)制之間的轉(zhuǎn)換，我們用字典進(jìn)行存儲他們之間的對應(yīng)關(guān)系。
（在這里我們只選用八位二進(jìn)制）
int2binary = {}
binary_dim = 8
largest_number = pow(2, binary_dim)
binary = np.unpackbits(
np.array([range(largest_number)], dtype=np.uint8).T, axis=1)
for i in range(largest_number):
int2binary[i] = binary[i]
再接著就是對我們的RNN進(jìn)行初始化操作。
alpha = 0.1 input_dim = 2 hidden_dim = 16 output_dim = 1
接著是生成神經(jīng)網(wǎng)絡(luò)各層的權(quán)重值以及反向傳播時對權(quán)值矩陣進(jìn)行更新的存儲。
# 生成神經(jīng)網(wǎng)絡(luò)各層的權(quán)重值（在0，1之間） synapse_0 = 2 * np.random.random((input_dim, hidden_dim)) - 1 synapse_1 = 2 * np.random.random((hidden_dim, output_dim)) - 1 synapse_h = 2 * np.random.random((hidden_dim, hidden_dim)) - 1 # 反向傳播對權(quán)重值的矩陣進(jìn)行更新 synapse_0_update = np.zeros_like(synapse_0) synapse_1_update = np.zeros_like(synapse_1) synapse_h_update = np.zeros_like(synapse_h)
RNN
我們進(jìn)行10萬次的迭代訓(xùn)練。
我們進(jìn)行的是加法，所以需要將值找到。最大取八位，所以a, b, c都不能超過，因為a+b=c，所以a, b不能超過最大的一半。其中l(wèi)argest_number表示8位二進(jìn)制數(shù)對應(yīng)的最大的十進(jìn)制數(shù)值。
# 最大取八位，所以a, b, c都不能超過，因為a+b=c，所以a, b不能超過最大的一半 a_int = np.random.randint(largest_number / 2) a = int2binary[a_int] b_int = np.random.randint(largest_number / 2) b = int2binary[b_int] c_int = a_int + b_int c = int2binary[c_int]
我們定義一個d來存儲我們的預(yù)測值與實際值c進(jìn)行比較，判斷網(wǎng)絡(luò)的能力。并且定義一個overallError來存儲error值，并將初值設(shè)為0。
d = np.zeros_like(c) overallError = 0
最后我們在進(jìn)行反向傳播的時候，會計算一個loss值，在訓(xùn)練網(wǎng)絡(luò)的過程中，我們需要計算w1,w2分別對這個loss值的影響。
layer_2_deltas = list() layer_1_values = list() # 因為第一次迭代會用到l1的值，所以我們需要將列表用0來填充 layer_1_values.append(np.zeros(hidden_dim)) future_layer_1_delta = np.zeros(hidden_dim)
我們需要先進(jìn)行前向傳播，再進(jìn)行反向傳播。
在進(jìn)行前向傳播的過程中，我們需要將兩個二進(jìn)制傳入，從最后一位開始，一層一層地通過sigmoid函數(shù)，得到預(yù)測值。然后通過預(yù)測值與準(zhǔn)確值之間的差值設(shè)為l2層的loss值。有了這個loss值，我們就可以算出剛剛定義的layer_2_deltas（l2 層的權(quán)重參數(shù)）
for position in range(binary_dim): X = np.array([[a[binary_dim - position - 1], b[binary_dim - position - 1]]]) y = np.array([[c[binary_dim - position - 1]]]).T layer_1 = sigmoid(np.dot(X, synapse_0) + np.dot(layer_1_values[-1], synapse_h)) layer_2 = sigmoid(np.dot(layer_1, synapse_1)) layer_2_error = y - layer_2 layer_2_deltas.append((layer_2_error) * sigmoid_output_to_derivative(layer_2)) overallError += np.abs(layer_2_error[0]) d[binary_dim - position - 1] = np.round(layer_2[0][0]) layer_1_values.append(copy.deepcopy(layer_1))
然后進(jìn)行反向傳播，也就是從最高位往后走。（具體的解釋放在代碼的注釋中了）
for position in range(binary_dim): X = np.array([[a[position], b[position]]]) # 從參數(shù)列表中反向依次取值 layer_1 = layer_1_values[-position - 1] # 因為要進(jìn)行反向傳播，所以還需要取到l1層的前一位的value prev_layer_1 = layer_1_values[-position - 2] # l2也是如此，delta列表中反向依次取值 layer_2_delta = layer_2_deltas[-position - 1] # 通過公式進(jìn)行計算l1的delta值 layer_1_delta = (future_layer_1_delta.dot(synapse_h.T) + layer_2_delta.dot(synapse_1.T)) * sigmoid_output_to_derivative(layer_1) # 然后分別對w0, w1和wh進(jìn)行更新 synapse_1_update += np.atleast_2d(layer_1).T.dot(layer_2_delta) synapse_h_update += np.atleast_2d(prev_layer_1).T.dot(layer_1_delta) synapse_0_update += X.T.dot(layer_1_delta) future_layer_1_delta = layer_1_delta
然后再前向傳播和反向傳播結(jié)束之后，引入α \alphaα值進(jìn)行參數(shù)的更新，并將updata重新置為0，以方便下一次循環(huán)使用。
synapse_0 += synapse_0_update * alpha synapse_1 += synapse_1_update * alpha synapse_h += synapse_h_update * alpha synapse_0_update *= 0 synapse_1_update *= 0 synapse_h_update *= 0
最后就是打印訓(xùn)練結(jié)果了，因為訓(xùn)練次數(shù)過多，所以這邊設(shè)計每訓(xùn)練1萬次打印一次結(jié)果。
if j % 10000 == 0:
print(str(j) + "/100000 :The error is:" + str(overallError))
運行結(jié)果
0/100000 :The error is:[3.45638663]
10000/100000 :The error is:[0.3231264]
20000/100000 :The error is:[0.27153112]
30000/100000 :The error is:[0.1603061]
40000/100000 :The error is:[0.10004929]
50000/100000 :The error is:[0.11245508]
60000/100000 :The error is:[0.11951541]
70000/100000 :The error is:[0.07859761]
80000/100000 :The error is:[0.06742156]
90000/100000 :The error is:[0.08218885]
The end error is:[0.05344101]
最終代碼
import copy
import numpy as np
np.random.seed(0)
def sigmoid(in_x):
output = 1 / (1 + np.exp(-in_x))
return output
def sigmoid_output_to_derivative(output):
return output * (1 - output)
int2binary = {}
binary_dim = 8
largest_number = pow(2, binary_dim)
binary = np.unpackbits(
np.array([range(largest_number)], dtype=np.uint8).T, axis=1)
for i in range(largest_number):
int2binary[i] = binary[i]
alpha = 0.1
input_dim = 2
hidden_dim = 16
output_dim = 1
# 生成神經(jīng)網(wǎng)絡(luò)各層的權(quán)重值（在0，1之間）
synapse_0 = 2 * np.random.random((input_dim, hidden_dim)) - 1
synapse_1 = 2 * np.random.random((hidden_dim, output_dim)) - 1
synapse_h = 2 * np.random.random((hidden_dim, hidden_dim)) - 1
# 反向傳播對權(quán)重值的矩陣進(jìn)行更新
synapse_0_update = np.zeros_like(synapse_0)
synapse_1_update = np.zeros_like(synapse_1)
synapse_h_update = np.zeros_like(synapse_h)
for j in range(100000):
# 最大取八位，所以a, b, c都不能超過，因為a+b=c，所以a, b不能超過最大的一半
a_int = np.random.randint(largest_number / 2)
a = int2binary[a_int]
b_int = np.random.randint(largest_number / 2)
b = int2binary[b_int]
c_int = a_int + b_int
c = int2binary[c_int]
d = np.zeros_like(c)
overallError = 0
layer_2_deltas = list()
layer_1_values = list()
# 因為第一次迭代會用到l1的值，所以我們需要將列表用0來填充
layer_1_values.append(np.zeros(hidden_dim))
future_layer_1_delta = np.zeros(hidden_dim)
for position in range(binary_dim):
X = np.array([[a[binary_dim - position - 1], b[binary_dim - position - 1]]])
y = np.array([[c[binary_dim - position - 1]]]).T
layer_1 = sigmoid(np.dot(X, synapse_0) + np.dot(layer_1_values[-1], synapse_h))
layer_2 = sigmoid(np.dot(layer_1, synapse_1))
layer_2_error = y - layer_2
layer_2_deltas.append((layer_2_error) * sigmoid_output_to_derivative(layer_2))
overallError += np.abs(layer_2_error[0])
d[binary_dim - position - 1] = np.round(layer_2[0][0])
layer_1_values.append(copy.deepcopy(layer_1))
for position in range(binary_dim):
X = np.array([[a[position], b[position]]])
layer_1 = layer_1_values[-position - 1]
prev_layer_1 = layer_1_values[-position - 2]
layer_2_delta = layer_2_deltas[-position - 1]
layer_1_delta = (future_layer_1_delta.dot(synapse_h.T) + layer_2_delta.dot(
synapse_1.T)) * sigmoid_output_to_derivative(layer_1)
synapse_1_update += np.atleast_2d(layer_1).T.dot(layer_2_delta)
synapse_h_update += np.atleast_2d(prev_layer_1).T.dot(layer_1_delta)
synapse_0_update += X.T.dot(layer_1_delta)
future_layer_1_delta = layer_1_delta
synapse_0 += synapse_0_update * alpha
synapse_1 += synapse_1_update * alpha
synapse_h += synapse_h_update * alpha
synapse_0_update *= 0
synapse_1_update *= 0
synapse_h_update *= 0
if j % 10000 == 0:
print(str(j) + "/100000 :The error is:" + str(overallError))
print("The end error is:" + str(overallError))
到此這篇關(guān)于使用Python建立RNN實現(xiàn)二進(jìn)制加法的示例代碼的文章就介紹到這了,更多相關(guān)Python RNN二進(jìn)制加法內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
Pandas格式化DataFrame的浮點數(shù)列的實現(xiàn)
本文主要介紹了Pandas格式化DataFrame的浮點數(shù)列的實現(xiàn),文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2024-05-05
這篇文章主要介紹了如何基于Python實現(xiàn)自動掃雷,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2020-01-01
Python?Pandas學(xué)習(xí)之series的二元運算詳解
二元運算是指由兩個元素形成第三個元素的一種規(guī)則，例如數(shù)的加法及乘法;更一般地,由兩個集合形成第三個集合的產(chǎn)生方法或構(gòu)成規(guī)則稱為二次運算。本文將詳細(xì)講講Pandas中series的二元運算，感興趣的可以了解一下2022-09-09
這篇文章主要介紹了使用DataFrame實現(xiàn)兩表連接方式,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2023-08-08
解決python錯誤提示:TypeError: expected string or&nb
這篇文章主要介紹了解決python錯誤提示:TypeError: expected string or bytes-lik問題,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2024-01-01
Python雖然也提供了array模塊,但其只支持一維數(shù)組,不支持多維數(shù)組,也沒有各種運算函數(shù),因而不適合數(shù)值運算,NumPy的出現(xiàn)彌補(bǔ)了這些不足,這篇文章主要給大家介紹了關(guān)于python中NumPy的安裝與基本操作的相關(guān)資料,需要的朋友可以參考下2022-03-03
這篇文章主要教大家怎樣實現(xiàn)一個Python小程序，爬取今日新聞，文中給出了詳細(xì)的示例代碼，拿走就能用，有需要的朋友可以借鑒參考下，希望能夠有所幫助2021-09-09
通過實例解析python subprocess模塊原理及用法
這篇文章主要介紹了通過實例解析python subprocess模塊原理及用法,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2020-10-10
本篇文章主要介紹了Python使用PDFMiner解析PDF代碼實例，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2017-03-03
在Pandas中,describe()能夠為數(shù)據(jù)框中的數(shù)值列提供統(tǒng)計摘要信息,本文主要介紹了Pandas Describe函數(shù)的具體使用,具有一定的參考價值,感興趣的可以了解一下2024-02-02