keras之權(quán)重初始化方式
在神經(jīng)網(wǎng)絡(luò)訓(xùn)練中，好的權(quán)重 初始化會加速訓(xùn)練過程。
下面說一下kernel_initializer 權(quán)重初始化的方法。
不同的層可能使用不同的關(guān)鍵字來傳遞初始化方法，一般來說指定初始化方法的關(guān)鍵字是kernel_initializer 和 bias_initializer
model.add(Dense(64, kernel_initializer=initializers.random_normal(stddev=0.01))) # also works; will use the default parameters. model.add(Dense(64, kernel_initializer='random_normal'))
幾種初始化方法
keras.initializers.Zeros()#全0 keras.initializers.Ones()#全1 keras.initializers.RandomNormal(mean=0.0, stddev=0.05, seed=None))#指定均值和方差的正態(tài)分布初始化 keras.initializers.RandomUniform(minval=-0.05, maxval=0.05, seed=None)#指定下邊界和上邊界的均勻分布初始化 keras.initializers.TruncatedNormal(mean=0.0, stddev=0.05, seed=None)#截尾高斯分布初始化，位于均值兩個標(biāo)準(zhǔn)差以外的數(shù)據(jù)將會被丟棄并重新生成，形成截尾分布
自定義初始化
def my_init(shape, dtype=None): return K.random_normal(shape, dtype=dtype) model.add(Dense(64, init=my_init))
補(bǔ)充知識：Keras中權(quán)重weight的初始化
Keras 的原始構(gòu)造模塊是模型，最簡單的模型稱為序貫?zāi)Ｐ停?Keras 的序貫?zāi)Ｐ褪巧窠?jīng)網(wǎng)絡(luò)層的線性管道 （ 堆棧） 。
以下代碼段定義了 一個包含 12 個人工神經(jīng)元的單層 網(wǎng)絡(luò)，它預(yù)計(jì)有 8 個輸入變量 （ 也稱為特征）：
from keras.models import Sequential model =Sequential() model.add(12,input_dim=8,kernel_initializer='random_uniform')
每個神經(jīng)元可以用特定的權(quán)重進(jìn)行初始化 。 Keras 提供了 幾個選擇 ， 其中最常用的選擇如下所示。
random_unifrom：權(quán)重被初始化為（-0.5，0.5）之間的均勻隨機(jī)的微小數(shù)值，換句話說，給定區(qū)間里的任何值都可能作為權(quán)重 。
random_normal：根據(jù)高斯分布初始化權(quán)重，其中均值為0，標(biāo)準(zhǔn)差為0.05。
zero：所有權(quán)重被初始化為0。
以上這篇keras之權(quán)重初始化方式就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關(guān)文章
python根據(jù)完整路徑獲得盤名/路徑名/文件名/文件擴(kuò)展名的方法
這篇文章主要介紹了python根據(jù)完整路徑獲得盤名，路徑名，文件名，文件擴(kuò)展名的代碼，本文通過實(shí)例代碼給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下2020-04-04
本篇文章主要介紹了深入理解Python分布式爬蟲原理，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2017-11-11
Python?pandas中apply函數(shù)簡介以及用法詳解
apply()函數(shù)是pandas里面所有函數(shù)中自由度最高的函數(shù), apply()函數(shù)的參數(shù)是一個函數(shù)指針,這里可以使用lambda表達(dá)式幫助簡化代碼,下面這篇文章主要給大家介紹了關(guān)于Python?pandas中apply函數(shù)簡介以及用法的相關(guān)資料,需要的朋友可以參考下2022-09-09
Pygame實(shí)戰(zhàn)之迷宮游戲的實(shí)現(xiàn)
玩迷宮游戲長大的我們，欣慰地看到，下一代仍熱愛著這個經(jīng)典游戲。本文將通過Python中的Pygame庫制作這一經(jīng)典的游戲，需要的可以參考一下2022-02-02
這篇文章主要介紹了Python可視化神器pyecharts繪制?；鶊D，即?；芰糠至鲌D，也叫?；芰科胶鈭D，更多相關(guān)介紹具有一定的參考價值，需要的朋友可以參考一下2022-07-07
今天小編就為大家分享一篇python write無法寫入文件的解決方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-01-01
python之如何使用openpyxl設(shè)置單元格樣式
這篇文章主要介紹了python之如何使用openpyxl設(shè)置單元格樣式，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2023-06-06
這篇文章主要介紹了python--pip--安裝超時的解決方案，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2023-02-02
這篇文章主要介紹了python-圖像處理（映射變換），文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-03-03
Python字典刪除鍵值對和元素的四種方法(小結(jié))
刪除列表或者字符串元素的方法不止一種，同樣，刪除字典元素的方法也不止一種，本文主要介紹python中刪除字典元素的四種方法：1、使用del語句；2、使用clear()；3、使用pop()；4、使用popitem()。感興趣的可以了解一下2021-12-12