Tensorflow中的dropout的使用方法
Hinton在論文《Improving neural networks by preventing co-adaptation of feature detectors》中提出了Dropout。Dropout用來防止神經(jīng)網(wǎng)絡(luò)的過擬合。Tensorflow中可以通過如下3中方式實(shí)現(xiàn)dropout。
tf.nn.dropout
def dropout(x, keep_prob, noise_shape=None, seed=None, name=None):
其中,x為浮點(diǎn)類型的tensor,keep_prob為浮點(diǎn)類型的scalar,范圍在(0,1]之間,表示x中的元素被保留下來的概率,noise_shape為一維的tensor(int32類型),表示標(biāo)記張量的形狀(representing the shape for randomly generated keep/drop flags),并且noise_shape指定的形狀必須對x的形狀是可廣播的。如果x的形狀是[k, l, m, n],并且noise_shape為[k, l, m, n],那么x中的每一個(gè)元素是否保留都是獨(dú)立,但如果x的形狀是[k, l, m, n],并且noise_shape為[k, 1, 1, n],則x中的元素沿著第0個(gè)維度第3個(gè)維度以相互獨(dú)立的概率保留或者丟棄,而元素沿著第1個(gè)維度和第2個(gè)維度要么同時(shí)保留,要么同時(shí)丟棄。
關(guān)于Tensorflow中的廣播機(jī)制,可以參考《TensorFlow 和 NumPy 的 Broadcasting 機(jī)制探秘》
最終,會輸出一個(gè)與x形狀相同的張量ret,如果x中的元素被丟棄,則在ret中的對應(yīng)位置元素為0,如果x中的元素被保留,則在ret中對應(yīng)位置上的值為,這么做是為了使得ret中的元素之和等于x中的元素之和。
tf.layers.dropout
def dropout(inputs, rate=0.5, noise_shape=None, seed=None, training=False, name=None):
參數(shù)inputs為輸入的張量,與tf.nn.dropout的參數(shù)keep_prob不同,rate指定元素被丟棄的概率,如果rate=0.1,則inputs中10%的元素將被丟棄,noise_shape與tf.nn.dropout的noise_shape一致,training參數(shù)用來指示當(dāng)前階段是出于訓(xùn)練階段還是測試階段,如果training為true(即訓(xùn)練階段),則會進(jìn)行dropout,否則不進(jìn)行dropout,直接返回inputs。
自定義稀疏張量的dropout
上述的兩種方法都是針對dense tensor的dropout,但有的時(shí)候,輸入可能是稀疏張量,仿照tf.nn.dropout和tf.layers.dropout的內(nèi)部實(shí)現(xiàn)原理,自定義稀疏張量的dropout。
def sparse_dropout(x, keep_prob, noise_shape): keep_tensor = keep_prob + tf.random_uniform(noise_shape) drop_mask = tf.cast(tf.floor(keep_tensor), dtype=tf.bool) out = tf.sparse_retain(x, drop_mask) return out * (1.0/keep_prob)
其中,參數(shù)x和keep_prob與tf.nn.dropout一致,noise_shape為x中非空元素的個(gè)數(shù),如果x中有4個(gè)非空值,則noise_shape為[4],keep_tensor的元素為[keep_prob, 1.0 + keep_prob)的均勻分布,通過tf.floor向下取整得到標(biāo)記張量drop_mask,tf.sparse_retain用于在一個(gè) SparseTensor 中保留指定的非空值。
案例
def nn_dropout(x, keep_prob, noise_shape): out = tf.nn.dropout(x, keep_prob, noise_shape) return out def layers_dropout(x, keep_prob, noise_shape, training=False): out = tf.layers.dropout(x, keep_prob, noise_shape, training=training) return out def sparse_dropout(x, keep_prob, noise_shape): keep_tensor = keep_prob + tf.random_uniform(noise_shape) drop_mask = tf.cast(tf.floor(keep_tensor), dtype=tf.bool) out = tf.sparse_retain(x, drop_mask) return out * (1.0/keep_prob) if __name__ == '__main__': inputs1 = tf.SparseTensor(indices=[[0, 0], [0, 2], [1, 1], [1, 2]], values=[1.0, 2.0, 3.0, 4.0], dense_shape=[2, 3]) inputs2 = tf.sparse_tensor_to_dense(inputs1) nn_d_out = nn_dropout(inputs2, 0.5, [2, 3]) layers_d_out = layers_dropout(inputs2, 0.5, [2, 3], training=True) sparse_d_out = sparse_dropout(inputs1, 0.5, [4]) with tf.Session() as sess: sess.run(tf.global_variables_initializer()) (in1, in2) = sess.run([inputs1, inputs2]) print(in1) print(in2) (out1, out2, out3) = sess.run([nn_d_out, layers_d_out, sparse_d_out]) print(out1) print(out2) print(out3)
tensorflow中,稀疏張量為SparseTensor,稀疏張量的值為SparseTensorValue。3種dropout的輸出如下,
SparseTensorValue(indices=array([[0, 0], [0, 2], [1, 1], [1, 2]], dtype=int64), values=array([ 1., 2., 3., 4.], dtype=float32), dense_shape=array([2, 3], dtype=int64)) [[ 1. 0. 2.] [ 0. 3. 4.]] [[ 2. 0. 0.] [ 0. 0. 0.]] [[ 0. 0. 4.] [ 0. 0. 0.]] SparseTensorValue(indices=array([], shape=(0, 2), dtype=int64), values=array([], dtype=float32), dense_shape=array([2, 3], dtype=int64))
到此這篇關(guān)于Tensorflow中的dropout的使用方法的文章就介紹到這了,更多相關(guān)Tensorflow dropout內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
在前女友婚禮上,用Python破解了現(xiàn)場的WIFI還把名稱改成了
今日重點(diǎn):① python暴力拿下WiFi密碼,②python拿下路由器管理頁面,文中有非常詳細(xì)的代碼示例,干貨滿滿,,需要的朋友可以參考下2021-05-05Linux-ubuntu16.04 Python3.5配置OpenCV3.2的方法
下面小編就為大家分享一篇Linux-ubuntu16.04 Python3.5配置OpenCV3.2的方法,具有很好的參考價(jià)值,希望對大家有所幫助。一起跟隨小編過來看看吧2018-04-04python遞歸函數(shù)求n的階乘,優(yōu)缺點(diǎn)及遞歸次數(shù)設(shè)置方式
這篇文章主要介紹了python遞歸函數(shù)求n的階乘,優(yōu)缺點(diǎn)及遞歸次數(shù)設(shè)置方式,具有很好的參考價(jià)值,希望對大家有所幫助。一起跟隨小編過來看看吧2020-04-04PyCharm如何導(dǎo)入python項(xiàng)目的方法
這篇文章主要介紹了PyCharm如何導(dǎo)入python項(xiàng)目的方法,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-02-02python實(shí)現(xiàn)動(dòng)態(tài)創(chuàng)建類的方法分析
這篇文章主要介紹了python實(shí)現(xiàn)動(dòng)態(tài)創(chuàng)建類的方法,結(jié)合實(shí)例形式分析了Python動(dòng)態(tài)創(chuàng)建類的原理、實(shí)現(xiàn)方法及相關(guān)操作技巧,需要的朋友可以參考下2019-06-06