TensorFlow實現(xiàn)批量歸一化操作的示例

更新時間：2020年04月22日 14:15:07 作者：Baby-Lily

這篇文章主要介紹了TensorFlow實現(xiàn)批量歸一化操作的示例，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧

批量歸一化

在對神經(jīng)網(wǎng)絡的優(yōu)化方法中，有一種使用十分廣泛的方法——批量歸一化，使得神經(jīng)網(wǎng)絡的識別準確度得到了極大的提升。

在網(wǎng)絡的前向計算過程中，當輸出的數(shù)據(jù)不再同一分布時，可能會使得loss的值非常大，使得網(wǎng)絡無法進行計算。產(chǎn)生梯度爆炸的原因是因為網(wǎng)絡的內部協(xié)變量轉移，即正向傳播的不同層參數(shù)會將反向訓練計算時參照的數(shù)據(jù)樣本分布改變。批量歸一化的目的，就是要最大限度地保證每次的正向傳播輸出在同一分布上，這樣反向計算時參照的數(shù)據(jù)樣本分布就會與正向計算時的數(shù)據(jù)分布一樣了，保證分布的統(tǒng)一。

了解了原理，批量正則化的做法就會變得簡單，即將每一層運算出來的數(shù)據(jù)都歸一化成均值為0方差為1的標準高斯分布。這樣就會在保留樣本分布特征的同時，又消除層與層間的分布差異。在實際的應用中，批量歸一化的收斂非?？欤⑶矣泻軓姷姆夯芰?，在一些情況下，完全可以代替前面的正則化，dropout。

批量歸一化的定義

在TensorFlow中有自帶的BN函數(shù)定義：

tf.nn.batch_normalization(x,
             maen,
             variance,
             offset,
             scale,
             variance_epsilon)

各個參數(shù)的含義如下：

x：代表輸入

mean：代表樣本的均值

variance：代表方差

offset：代表偏移量，即相加一個轉化值，通常是用激活函數(shù)來做。

scale：代表縮放，即乘以一個轉化值，同理，一般是1

variance_epsilon：為了避免分母是0的情況，給分母加一個極小值。

要使用這個函數(shù)，還需要另外的一個函數(shù)的配合：tf.nn.moments()，由此函數(shù)來計算均值和方差，然后就可以使用BN了，給函數(shù)的定義如下：

tf.nn.moments(x, axes, name, keep_dims=False)，axes指定那個軸求均值和方差。

為了更好的效果，我們使用平滑指數(shù)衰減的方法來優(yōu)化每次的均值和方差，這里可以使用

tf.train.ExponentialMovingAverage()函數(shù)，它的作用是讓上一次的值對本次的值有一個衰減后的影響，從而使的每次的值連起來后會相對平滑一下。

批量歸一化的簡單用法

下面介紹具體的用法，在使用的時候需要引入頭文件。

from tensorflow.contrib.layers.python.layers import batch_norm

函數(shù)的定義如下：

batch_norm(inputs,
      decay,
      center,
      scale,
      epsilon,
      activation_fn,
      param_initializers=None,
      param_regularizers=None,
      updates_collections=ops.GraphKeys.UPDATE_OPS,
      is_training=True,
      reuse=None,
      variables_collections=None,
      outputs_collections=None,
      trainable=True,
      batch_weights=None,
      fused=False,
      data_format=DATA_FORMAT_NHWC,
      zero_debias_moving_mean=False,
      scope=None,
      renorm=False,
      renorm_clipping=None,
      renorm_decay=0.99)

各參數(shù)的具體含義如下：

inputs：輸入

decay：移動平均值的衰減速度，使用的是平滑指數(shù)衰減的方法更新均值方差，一般會設置0.9，值太小會導致更新太快，值太大會導致幾乎沒有衰減，容易出現(xiàn)過擬合。

scale：是否進行變換，通過乘以一個gamma值進行縮放，我們常習慣在BN后面接一個線性變化，如relu。

epsilon：為了避免分母為0，給分母加上一個極小值，一般默認。

is_training：當為True時，代表訓練過程，這時會不斷更新樣本集的均值和方差，當測試時，要設置為False，這樣就會使用訓練樣本的均值和方差。

updates_collections：在訓練時，提供一種內置的均值方差更新機制，即通過圖中的tf.GraphKeys.UPDATE_OPS變量來更新。但它是在每次當前批次訓練完成后才更新均值和方差，這樣導致當前數(shù)據(jù)總是使用前一次的均值和方差，沒有得到最新的值，所以一般設置為None，讓均值和方差及時更新，但在性能上稍慢。

reuse：支持變量共享。

具體的代碼如下：

x = tf.placeholder(dtype=tf.float32, shape=[None, 32, 32, 3])
y = tf.placeholder(dtype=tf.float32, shape=[None, 10])
train = tf.Variable(tf.constant(False))

x_images = tf.reshape(x, [-1, 32, 32, 3])


def batch_norm_layer(value, train=False, name='batch_norm'):
  if train is not False:
    return batch_norm(value, decay=0.9, updates_collections=None, is_training=True)
  else:
    return batch_norm(value, decay=0.9, updates_collections=None, is_training=False)


w_conv1 = init_cnn.weight_variable([3, 3, 3, 64]) # [-1, 32, 32, 3]
b_conv1 = init_cnn.bias_variable([64])
h_conv1 = tf.nn.relu(batch_norm_layer((init_cnn.conv2d(x_images, w_conv1) + b_conv1), train))
h_pool1 = init_cnn.max_pool_2x2(h_conv1)


w_conv2 = init_cnn.weight_variable([3, 3, 64, 64]) # [-1, 16, 16, 64]
b_conv2 = init_cnn.bias_variable([64])
h_conv2 = tf.nn.relu(batch_norm_layer((init_cnn.conv2d(h_pool1, w_conv2) + b_conv2), train))
h_pool2 = init_cnn.max_pool_2x2(h_conv2)


w_conv3 = init_cnn.weight_variable([3, 3, 64, 32]) # [-1, 18, 8, 32]
b_conv3 = init_cnn.bias_variable([32])
h_conv3 = tf.nn.relu(batch_norm_layer((init_cnn.conv2d(h_pool2, w_conv3) + b_conv3), train))
h_pool3 = init_cnn.max_pool_2x2(h_conv3)

w_conv4 = init_cnn.weight_variable([3, 3, 32, 16]) # [-1, 18, 8, 32]
b_conv4 = init_cnn.bias_variable([16])
h_conv4 = tf.nn.relu(batch_norm_layer((init_cnn.conv2d(h_pool3, w_conv4) + b_conv4), train))
h_pool4 = init_cnn.max_pool_2x2(h_conv4)


w_conv5 = init_cnn.weight_variable([3, 3, 16, 10]) # [-1, 4, 4, 16]
b_conv5 = init_cnn.bias_variable([10])
h_conv5 = tf.nn.relu(batch_norm_layer((init_cnn.conv2d(h_pool4, w_conv5) + b_conv5), train))
h_pool5 = init_cnn.avg_pool_4x4(h_conv5)         # [-1, 4, 4, 10]

y_pool = tf.reshape(h_pool5, shape=[-1, 10])


cross_entropy = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=y, logits=y_pool))

optimizer = tf.train.AdamOptimizer(learning_rate).minimize(cross_entropy)

加上了BN層之后，識別的準確率顯著的得到了提升，并且計算速度也是飛起。

到此這篇關于TensorFlow實現(xiàn)批量歸一化操作的示例的文章就介紹到這了,更多相關TensorFlow 批量歸一化操作內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: