1、Autograd 求導(dǎo)機(jī)制

我們?cè)谟蒙窠?jīng)網(wǎng)絡(luò)求解PDE時(shí)， 經(jīng)常要用到輸出值對(duì)輸入變量（不是Weights和Biases）求導(dǎo)；

例如在訓(xùn)練WGAN-GP 時(shí)， 也會(huì)用到網(wǎng)絡(luò)對(duì)輸入變量的求導(dǎo)，pytorch中通過(guò) Autograd 方法進(jìn)行求導(dǎo)

其求導(dǎo)規(guī)則如下：

1.1當(dāng)x為向量，y為一標(biāo)量時(shí)

通過(guò)autograd 計(jì)算的梯度為：

1.2先假設(shè)x,y為一維向量

其對(duì)應(yīng)的jacobi(雅可比）矩陣為

grad_outputs 是一個(gè)與因變量 y 的shape 一致的向量

在給定grad_outputs 后，通過(guò)Autograd 方法 計(jì)算的梯度如下:

1.3當(dāng) x 為1維向量，Y為2維向量

給出grad_outputs與Y的shape一致

Y 與x的jacobi矩陣

則 Y 對(duì) x 的梯度:

1.4當(dāng) X ，Y均為2維向量時(shí)

???????

1.5當(dāng)XY為更高維度時(shí)

可以按照上述辦法轉(zhuǎn)化為低維度的求導(dǎo)

值得注意的是：

求導(dǎo)后的梯度shape總與自變量X保持一致對(duì)自變量求導(dǎo)的順序并不會(huì)影響結(jié)果，某自變量的梯度值會(huì)放到該自變量原來(lái)相同位置梯度是由每個(gè)自變量的導(dǎo)數(shù)值組成的向量，既有大小又有方向grad_outputs 與 因變量Y的shape一致，每一個(gè)參數(shù)相當(dāng)于對(duì)因變量中相同位置的y進(jìn)行一個(gè)加權(quán)。

2、pytorch求導(dǎo)方法

2.1在求導(dǎo)前需要對(duì)需要求導(dǎo)的自變量進(jìn)行聲明

2.2torch.autograd.gard()

grad =? autograd.grad( outputs, inputs, grad_outputs=None, retain_graph=None, ???create_graph=False, only_inputs=True, allow_unused=False )

參數(shù)解釋：

• outputs:求導(dǎo)的因變量 Y
• inputs : 求導(dǎo)自變量 X
• grad_outputs:

當(dāng)outputs為標(biāo)量時(shí)，grad_outputs=None , 不需要寫，當(dāng)outputs 為向量，需要為其聲明一個(gè)與outputs相同shape的參數(shù)矩陣，該矩陣中的每個(gè)參數(shù)的作用是，對(duì)outputs中相同位置的y進(jìn)行一個(gè)加權(quán)。

不然會(huì)報(bào)錯(cuò)

autograd.grad()返回的是元組數(shù)據(jù)類型，元組的長(zhǎng)度與inputs長(zhǎng)度相同，元組中每個(gè)單位的shape與相同位置的inputs相同

retain_graph:

1、當(dāng)求完一次梯度后默認(rèn)會(huì)把圖信息釋放掉，都會(huì)free掉計(jì)算圖中所有緩存的buffers，當(dāng)要連續(xù)進(jìn)行幾次求導(dǎo)時(shí)，可能會(huì)因?yàn)榍懊鎎uffers不存在而報(bào)錯(cuò)。

因?yàn)榈诙€(gè)梯度計(jì)算z對(duì)x的導(dǎo)數(shù)，需要y對(duì)x的計(jì)算導(dǎo)數(shù)的緩存信息，但是在計(jì)算grad1后，保存信息被釋放，找不到了，因此報(bào)錯(cuò)。

修改如下：

2、一般計(jì)算的最后一個(gè)梯度可以不需要保存計(jì)算圖信息，這樣在計(jì)算后可以及時(shí)釋放掉占用的內(nèi)存。

3、在pytorch中連續(xù)多次調(diào)用backward()也會(huì)出現(xiàn)這樣的問(wèn)題,對(duì)中間的backwad()，需要保持計(jì)算圖信息

create_graph: 若要計(jì)算高階導(dǎo)數(shù)，則必須選為True

求二階導(dǎo)方法如下：

allow_unused: 允許輸入變量不進(jìn)入計(jì)算

2.3torch.backward()

def backward(
??????????? ????????????gradient: Optional[Tensor] = None,
??????????? ????????????retain_graph: Any = None,
??????????? ????????????create_graph: Any = False,
??????????? ????????????inputs: Any = None) -> Any
??????????????????????????????????????????????? )

如果需要計(jì)算導(dǎo)數(shù)，可以在tensor上直接調(diào)用.backward(),會(huì)返回該tensor所有自變量的導(dǎo)數(shù)。

通過(guò)name(自變量名).grad 可以獲得該自變量的梯度如果tensor是標(biāo)量，則backward()不需要指定任何參數(shù)如果tensor是向量，則backward()需要指定gradient一個(gè)與tensorshape相同的參數(shù)矩陣，即這里的gradient 同 grad_outputs 作用和形式完全一樣。

總結(jié)

以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。

最新評(píng)論