python 使用Tensorflow訓(xùn)練BP神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)鳶尾花分類
Hello,兄弟們,開始搞深度學(xué)習(xí)了,今天出第一篇博客,小白一枚,如果發(fā)現(xiàn)錯(cuò)誤請及時(shí)指正,萬分感謝。
使用軟件
Python 3.8,Tensorflow2.0
問題描述
鳶尾花主要分為狗尾草鳶尾(0)、雜色鳶尾(1)、弗吉尼亞鳶尾(2)。
人們發(fā)現(xiàn)通過計(jì)算鳶尾花的花萼長、花萼寬、花瓣長、花瓣寬可以將鳶尾花分類。
所以只要給出足夠多的鳶尾花花萼、花瓣數(shù)據(jù),以及對應(yīng)種類,使用合適的神經(jīng)網(wǎng)絡(luò)訓(xùn)練,就可以實(shí)現(xiàn)鳶尾花分類。
搭建神經(jīng)網(wǎng)絡(luò)
輸入數(shù)據(jù)是花萼長、花萼寬、花瓣長、花瓣寬,是n行四列的矩陣。
而輸出的是每個(gè)種類的概率,是n行三列的矩陣。
我們采用BP神經(jīng)網(wǎng)絡(luò),設(shè)X為輸入數(shù)據(jù),Y為輸出數(shù)據(jù),W為權(quán)重,B偏置。有
y=x∗w+b
因?yàn)閤為n行四列的矩陣,y為n行三列的矩陣,所以w必須為四行三列的矩陣,每個(gè)神經(jīng)元對應(yīng)一個(gè)b,所以b為一行三列的的矩陣。
神經(jīng)網(wǎng)絡(luò)如下圖。
所以,只要找到合適的w和b,就能準(zhǔn)確判斷鳶尾花的種類。
下面就開始對這兩個(gè)參數(shù)進(jìn)行訓(xùn)練。
訓(xùn)練參數(shù)
損失函數(shù)
損失函數(shù)表達(dá)的是預(yù)測值(y*)和真實(shí)值(y)的差距,我們采用均方誤差公式作為損失函數(shù)。
損失函數(shù)值越小,說明預(yù)測值和真實(shí)值越接近,w和b就越合適。
如果人來一組一組試,那肯定是不行的。所以我們采用梯度下降算法來找到損失函數(shù)最小值。
梯度:對函數(shù)求偏導(dǎo)的向量。梯度下降的方向就是函數(shù)減少的方向。
其中a為學(xué)習(xí)率,即梯度下降的步長,如果a太大,就可能錯(cuò)過最優(yōu)值,如果a太小,則就需要更多步才能找到最優(yōu)值。所以選擇合適的學(xué)習(xí)率很關(guān)鍵。
參數(shù)優(yōu)化
通過反向傳播來優(yōu)化參數(shù)。
反向傳播:從后向前,逐層求損失函數(shù)對每層神經(jīng)元參數(shù)的偏導(dǎo)數(shù),迭代更新所有參數(shù)。
比如
可以看到w會(huì)逐漸趨向于loss的最小值0。
以上就是我們訓(xùn)練的全部關(guān)鍵點(diǎn)。
代碼
數(shù)據(jù)集
我們使用sklearn包提供的鳶尾花數(shù)據(jù)集。共150組數(shù)據(jù)。
打亂保證數(shù)據(jù)的隨機(jī)性,取前120個(gè)為訓(xùn)練集,后30個(gè)為測試集。
# 導(dǎo)入數(shù)據(jù),分別為輸入特征和標(biāo)簽 x_data = datasets.load_iris().data ## 存花萼、花瓣特征數(shù)據(jù) y_data = datasets.load_iris().target # 存對應(yīng)種類 # 隨機(jī)打亂數(shù)據(jù)(因?yàn)樵紨?shù)據(jù)是順序的,順序不打亂會(huì)影響準(zhǔn)確率) # seed: 隨機(jī)數(shù)種子,是一個(gè)整數(shù),當(dāng)設(shè)置之后,每次生成的隨機(jī)數(shù)都一樣(為方便教學(xué),以保每位同學(xué)結(jié)果一致) np.random.seed(116) # 使用相同的seed,保證輸入特征和標(biāo)簽一一對應(yīng) np.random.shuffle(x_data) np.random.seed(116) np.random.shuffle(y_data) tf.random.set_seed(116) # 將打亂后的數(shù)據(jù)集分割為訓(xùn)練集和測試集,訓(xùn)練集為前120行,測試集為后30行 x_train = x_data[:-30] y_train = y_data[:-30] x_test = x_data[-30:] y_test = y_data[-30:] # 轉(zhuǎn)換x的數(shù)據(jù)類型,否則后面矩陣相乘時(shí)會(huì)因數(shù)據(jù)類型不一致報(bào)錯(cuò) x_train = tf.cast(x_train, tf.float32) x_test = tf.cast(x_test, tf.float32) # from_tensor_slices函數(shù)使輸入特征和標(biāo)簽值一一對應(yīng)。(把數(shù)據(jù)集分批次,每個(gè)批次batch組數(shù)據(jù)) train_db = tf.data.Dataset.from_tensor_slices((x_train, y_train)).batch(32) test_db = tf.data.Dataset.from_tensor_slices((x_test, y_test)).batch(32)
參數(shù)
# 生成神經(jīng)網(wǎng)絡(luò)的參數(shù),4個(gè)輸入特征故,輸入層為4個(gè)輸入節(jié)點(diǎn);因?yàn)?分類,故輸出層為3個(gè)神經(jīng)元 # 用tf.Variable()標(biāo)記參數(shù)可訓(xùn)練 w1 = tf.Variable(tf.random.truncated_normal([4, 3], stddev=0.1)) # 四行三列,方差為0.1 b1 = tf.Variable(tf.random.truncated_normal([3], stddev=0.1)) # 一行三列,方差為0.1
訓(xùn)練
a = 0.1 # 學(xué)習(xí)率為0.1 epoch = 500 # 循環(huán)500輪 # 訓(xùn)練部分 for epoch in range(epoch): # 數(shù)據(jù)集級別的循環(huán),每個(gè)epoch循環(huán)一次數(shù)據(jù)集 for step, (x_train, y_train) in enumerate(train_db): # batch級別的循環(huán) ,每個(gè)step循環(huán)一個(gè)batch with tf.GradientTape() as tape: # with結(jié)構(gòu)記錄梯度信息 y = tf.matmul(x_train, w1) + b1 # 神經(jīng)網(wǎng)絡(luò)乘加運(yùn)算 y = tf.nn.softmax(y) # 使輸出y符合概率分布 y_ = tf.one_hot(y_train, depth=3) # 將標(biāo)簽值轉(zhuǎn)換為獨(dú)熱碼格式,方便計(jì)算loss loss = tf.reduce_mean(tf.square(y_ - y)) # 采用均方誤差損失函數(shù)mse = mean(sum(y-y*)^2) # 計(jì)算loss對w, b的梯度 grads = tape.gradient(loss, [w1, b1]) # 實(shí)現(xiàn)梯度更新 w1 = w1 - lr * w1_grad b = b - lr * b_grad w1.assign_sub(a * grads[0]) # 參數(shù)w1自更新 b1.assign_sub(a * grads[1]) # 參數(shù)b自更新
測試
# 測試部分 total_correct, total_number = 0, 0 for x_test, y_test in test_db: # 前向傳播求概率 y = tf.matmul(x_test, w1) + b1 y = tf.nn.softmax(y) predict = tf.argmax(y, axis=1) # 返回y中最大值的索引,即預(yù)測的分類 # 將predict轉(zhuǎn)換為y_test的數(shù)據(jù)類型 predict = tf.cast(predict, dtype=y_test.dtype) # 若分類正確,則correct=1,否則為0,將bool型的結(jié)果轉(zhuǎn)換為int型 correct = tf.cast(tf.equal(predict, y_test), dtype=tf.int32) # 將每個(gè)batch的correct數(shù)加起來 correct = tf.reduce_sum(correct) # 將所有batch中的correct數(shù)加起來 total_correct += int(correct) # total_number為測試的總樣本數(shù),也就是x_test的行數(shù),shape[0]返回變量的行數(shù) total_number += x_test.shape[0] # 總的準(zhǔn)確率等于total_correct/total_number acc = total_correct / total_number print("測試準(zhǔn)確率 = %.2f %%" % (acc * 100.0)) my_test = np.array([[5.9, 3.0, 5.1, 1.8]]) print("輸入 5.9 3.0 5.1 1.8") my_test = tf.convert_to_tensor(my_test) my_test = tf.cast(my_test, tf.float32) y = tf.matmul(my_test, w1) + b1 y = tf.nn.softmax(y) species = {0: "狗尾鳶尾", 1: "雜色鳶尾", 2: "弗吉尼亞鳶尾"} predict = np.array(tf.argmax(y, axis=1))[0] # 返回y中最大值的索引,即預(yù)測的分類 print("該鳶尾花為:" + species.get(predict))
結(jié)果:
結(jié)語
以上就是全部內(nèi)容,鳶尾花分類作為經(jīng)典案例,應(yīng)該重點(diǎn)掌握理解。有一起學(xué)習(xí)的伙伴可以把想法打在評論區(qū),大家多多交流,我也會(huì)及時(shí)回復(fù)的!
以上就是python 使用Tensorflow訓(xùn)練BP神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)鳶尾花分類的詳細(xì)內(nèi)容,更多關(guān)于python 訓(xùn)練BP神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)鳶尾花分類的資料請關(guān)注腳本之家其它相關(guān)文章!
相關(guān)文章
python os.path.isfile 的使用誤區(qū)詳解
今天小編就為大家分享一篇python os.path.isfile 的使用誤區(qū)詳解,具有很好的參考價(jià)值,希望對大家有所幫助。一起跟隨小編過來看看吧2019-11-11Python 操作SQLite數(shù)據(jù)庫的示例
這篇文章主要介紹了Python 操作SQLite數(shù)據(jù)庫的示例,幫助大家更好的利用python操作數(shù)據(jù)庫處理數(shù)據(jù),感興趣的朋友可以了解下2020-10-10卷積神經(jīng)網(wǎng)絡(luò)(CNN)基于SqueezeNet的眼疾識(shí)別功能
SqueezeNet是一種輕量且高效的CNN模型,它參數(shù)比AlexNet少50倍,但模型性能(accuracy)與AlexNet接近,這篇文章主要介紹了卷積神經(jīng)網(wǎng)絡(luò)(CNN)基于SqueezeNet的眼疾識(shí)別,需要的朋友可以參考下2023-08-08Python Pandas數(shù)據(jù)分析之iloc和loc的用法詳解
Pandas 是一個(gè)開放源碼、BSD 許可的庫,提供高性能、易于使用的數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)分析工具,它是一個(gè)強(qiáng)大的分析結(jié)構(gòu)化數(shù)據(jù)的工具集,基礎(chǔ)是 Numpy2021-11-11Django?事務(wù)回滾的具體實(shí)現(xiàn)
本文主要介紹了Django?事務(wù)回滾的具體實(shí)現(xiàn),文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2023-02-02將不規(guī)則的Python多維數(shù)組拉平到一維的方法實(shí)現(xiàn)
這篇文章主要介紹了將不規(guī)則的Python多維數(shù)組拉平到一維的方法實(shí)現(xiàn),文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-01-01Python&Matla實(shí)現(xiàn)模擬退火法的示例代碼
模擬退火和蒙特卡洛實(shí)驗(yàn)一樣,本文主要介紹了Python&Matla實(shí)現(xiàn)模擬退火法的示例代碼,文中通過示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2022-03-03Python使用Gradio實(shí)現(xiàn)免費(fèi)的內(nèi)網(wǎng)穿透
內(nèi)網(wǎng)穿透是一種將內(nèi)部網(wǎng)絡(luò)服務(wù)暴露到公共網(wǎng)絡(luò)的技術(shù),可以讓外部用戶訪問內(nèi)部網(wǎng)絡(luò)上的服務(wù),本文將介紹如何使用Gradio實(shí)現(xiàn)免費(fèi)的內(nèi)網(wǎng)穿透,需要的可以參考下2024-03-03