快捷導(dǎo)航

Tensorflow 卷積的梯度反向傳播過(guò)程

更新時(shí)間：2020年02月10日 08:42:06 作者：LQ6H

今天小編就為大家分享一篇Tensorflow 卷積的梯度反向傳播過(guò)程，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧

一. valid卷積的梯度

我們分兩種不同的情況討論valid卷積的梯度：第一種情況，在已知卷積核的情況下，對(duì)未知張量求導(dǎo)(即對(duì)張量中每一個(gè)變量求導(dǎo))；第二種情況，在已知張量的情況下，對(duì)未知卷積核求導(dǎo)(即對(duì)卷積核中每一個(gè)變量求導(dǎo))

1.已知卷積核，對(duì)未知張量求導(dǎo)

我們用一個(gè)簡(jiǎn)單的例子理解valid卷積的梯度反向傳播。假設(shè)有一個(gè)3x3的未知張量x，以及已知的2x2的卷積核K

Tensorflow提供函數(shù)tf.nn.conv2d_backprop_input實(shí)現(xiàn)了valid卷積中對(duì)未知變量的求導(dǎo)，以上示例對(duì)應(yīng)的代碼如下：

import tensorflow as tf

# 卷積核
kernel=tf.constant(
  [
    [[[3]],[[4]]],
    [[[5]],[[6]]]
  ]
  ,tf.float32
)

# 某一函數(shù)針對(duì)sigma的導(dǎo)數(shù)
out=tf.constant(
  [
    [
      [[-1],[1]],
      [[2],[-2]]
    ]
  ]
  ,tf.float32
)


# 針對(duì)未知變量的導(dǎo)數(shù)的方向計(jì)算
inputValue=tf.nn.conv2d_backprop_input((1,3,3,1),kernel,out,[1,1,1,1],'VALID')

session=tf.Session()

print(session.run(inputValue))
[[[[ -3.]
  [ -1.]
  [ 4.]]

 [[ 1.]
  [ 1.]
  [ -2.]]

 [[ 10.]
  [ 2.]
  [-12.]]]]

2.已知輸入張量，對(duì)未知卷積核求導(dǎo)

假設(shè)已知3行3列的張量x和未知的2行2列的卷積核K

Tensorflow提供函數(shù)tf.nn.conv2d_backprop_filter實(shí)現(xiàn)valid卷積對(duì)未知卷積核的求導(dǎo)，以上示例的代碼如下：

import tensorflow as tf

# 輸入張量
x=tf.constant(
  [
    [
      [[1],[2],[3]],
      [[4],[5],[6]],
      [[7],[8],[9]]
    ]
  ]
  ,tf.float32
)

# 某一個(gè)函數(shù)F對(duì)sigma的導(dǎo)數(shù)
partial_sigma=tf.constant(
  [
    [
      [[-1],[-2]],
      [[-3],[-4]]
    ]
  ]
  ,tf.float32
)

# 某一個(gè)函數(shù)F對(duì)卷積核k的導(dǎo)數(shù)
partial_sigma_k=tf.nn.conv2d_backprop_filter(x,(2,2,1,1),partial_sigma,[1,1,1,1],'VALID')

session=tf.Session()

print(session.run(partial_sigma_k))
[[[[-37.]]

 [[-47.]]]


 [[[-67.]]

 [[-77.]]]]

二. same卷積的梯度

1.已知卷積核，對(duì)輸入張量求導(dǎo)

假設(shè)有3行3列的已知張量x，2行2列的未知卷積核K

import tensorflow as tf

# 卷積核
kernel=tf.constant(
  [
    [[[3]],[[4]]],
    [[[5]],[[6]]]
  ]
  ,tf.float32
)

# 某一函數(shù)針對(duì)sigma的導(dǎo)數(shù)
partial_sigma=tf.constant(
  [
    [
      [[-1],[1],[3]],
      [[2],[-2],[-4]],
      [[-3],[4],[1]]
    ]
  ]
  ,tf.float32
)


# 針對(duì)未知變量的導(dǎo)數(shù)的方向計(jì)算
partial_x=tf.nn.conv2d_backprop_input((1,3,3,1),kernel,partial_sigma,[1,1,1,1],'SAME')

session=tf.Session()

print(session.run(inputValue))
[[[[ -3.]
  [ -1.]
  [ 4.]]

 [[ 1.]
  [ 1.]
  [ -2.]]

 [[ 10.]
  [ 2.]
  [-12.]]]]

2.已知輸入張量，對(duì)未知卷積核求導(dǎo)

假設(shè)已知3行3列的張量x和未知的2行2列的卷積核K

import tensorflow as tf

# 卷積核
x=tf.constant(
  [
    [
      [[1],[2],[3]],
      [[4],[5],[6]],
      [[7],[8],[9]]
    ]
  ]
  ,tf.float32
)

# 某一函數(shù)針對(duì)sigma的導(dǎo)數(shù)
partial_sigma=tf.constant(
  [
    [
      [[-1],[-2],[1]],
      [[-3],[-4],[2]],
      [[-2],[1],[3]]
    ]
  ]
  ,tf.float32
)


# 針對(duì)未知變量的導(dǎo)數(shù)的方向計(jì)算
partial_sigma_k=tf.nn.conv2d_backprop_filter(x,(2,2,1,1),partial_sigma,[1,1,1,1],'SAME')

session=tf.Session()

print(session.run(partial_sigma_k))
[[[[ -1.]]

 [[-54.]]]


 [[[-43.]]

 [[-77.]]]]

以上這篇Tensorflow 卷積的梯度反向傳播過(guò)程就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。

您可能感興趣的文章: