一、卷積神經(jīng)網(wǎng)絡(luò)的概述

卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeural Network，CNN）最初是為解決圖像識別等問題設(shè)計的，CNN現(xiàn)在的應(yīng)用已經(jīng)不限于圖像和視頻，也可用于時間序列信號，比如音頻信號和文本數(shù)據(jù)等。CNN作為一個深度學(xué)習(xí)架構(gòu)被提出的最初訴求是降低對圖像數(shù)據(jù)預(yù)處理的要求，避免復(fù)雜的特征工程。在卷積神經(jīng)網(wǎng)絡(luò)中，第一個卷積層會直接接受圖像像素級的輸入，每一層卷積（濾波器）都會提取數(shù)據(jù)中最有效的特征，這種方法可以提取到圖像中最基礎(chǔ)的特征，而后再進行組合和抽象形成更高階的特征，因此CNN在理論上具有對圖像縮放、平移和旋轉(zhuǎn)的不變性。

卷積神經(jīng)網(wǎng)絡(luò)CNN的要點就是局部連接（LocalConnection）、權(quán)值共享（Weights Sharing）和池化層（Pooling）中的降采樣（Down-Sampling）。其中，局部連接和權(quán)值共享降低了參數(shù)量，使訓(xùn)練復(fù)雜度大大下降并減輕了過擬合。同時權(quán)值共享還賦予了卷積網(wǎng)絡(luò)對平移的容忍性，池化層降采樣則進一步降低了輸出參數(shù)量并賦予模型對輕度形變的容忍性，提高了模型的泛化能力?？梢园丫矸e層卷積操作理解為用少量參數(shù)在圖像的多個位置上提取相似特征的過程。

卷積層的空間排列：上文講解了卷積層中每個神經(jīng)元與輸入數(shù)據(jù)體之間的連接方式，但是尚未討論輸出數(shù)據(jù)體中神經(jīng)元的數(shù)量，以及它們的排列方式。3個超參數(shù)控制著輸出數(shù)據(jù)體的尺寸：深度（depth），步長（stride）和零填充（zero-padding）。首先，輸出數(shù)據(jù)體的深度是一個超參數(shù)：它和使用的濾波器的數(shù)量一致，而每個濾波器在輸入數(shù)據(jù)中尋找一些不同的東西。其次，在滑動濾波器的時候，必須指定步長。有時候?qū)⑤斎霐?shù)據(jù)體用0在邊緣處進行填充是很方便的。這個零填充（zero-padding）的尺寸是一個超參數(shù)。零填充有一個良好性質(zhì)，即可以控制輸出數(shù)據(jù)體的空間尺寸（最常用的是用來保持輸入數(shù)據(jù)體在空間上的尺寸，這樣輸入和輸出的寬高都相等）。輸出數(shù)據(jù)體在空間上的尺寸可以通過輸入數(shù)據(jù)體尺寸（W），卷積層中神經(jīng)元的感受野尺寸（F），步長（S）和零填充的數(shù)量（P）的函數(shù)來計算。（這里假設(shè)輸入數(shù)組的空間形狀是正方形，即高度和寬度相等）輸出數(shù)據(jù)體的空間尺寸為(W-F +2P)/S+1，在計算上，輸入數(shù)據(jù)體的長和寬按照該公式計算，深度依賴于濾波器的數(shù)量。步長的限制：注意這些空間排列的超參數(shù)之間是相互限制的。舉例說來，當(dāng)輸入尺寸W=10，不使用零填充則P=0，濾波器尺寸F=3，這樣步長S=2就行不通，結(jié)果4.5不是整數(shù)，這就是說神經(jīng)元不能整齊對稱地滑過輸入數(shù)據(jù)體。

匯聚層使用MAX操作，對輸入數(shù)據(jù)體的每一個深度切片獨立進行操作，改變它的空間尺寸。最常見的形式是匯聚層使用尺寸2x2的濾波器，以步長為2來對每個深度切片進行降采樣，將其中75%的激活信息都丟掉。每個MAX操作是從4個數(shù)字中取最大值（也就是在深度切片中某個2x2的區(qū)域）。深度保持不變。

二、卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)

卷積神經(jīng)網(wǎng)絡(luò)通常是由三種層構(gòu)成：卷積層，匯聚層（除非特別說明，一般就是最大值匯聚）和全連接層（fully-connected簡稱FC）。ReLU激活函數(shù)也應(yīng)該算是是一層，它逐元素地進行激活函數(shù)操作。

卷積神經(jīng)網(wǎng)絡(luò)最常見的形式就是將一些卷積層和ReLU層放在一起，其后緊跟匯聚層，然后重復(fù)如此直到圖像在空間上被縮小到一個足夠小的尺寸，在某個地方過渡成成全連接層也較為常見。最后的全連接層得到輸出，比如分類評分等。

最常見的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如下：

INPUT -> [[CONV -> RELU]*N ->POOL?]*M -> [FC -> RELU]*K -> FC

其中*指的是重復(fù)次數(shù)，POOL?指的是一個可選的匯聚層。其中N >=0,通常N<=3,M>=0,K>=0,通常K<3。

幾個小濾波器卷積層的組合比一個大濾波器卷積層好。直觀說來，最好選擇帶有小濾波器的卷積層組合，而不是用一個帶有大的濾波器的卷積層。前者可以表達(dá)出輸入數(shù)據(jù)中更多個強力特征，使用的參數(shù)也更少。唯一的不足是，在進行反向傳播時，中間的卷積層可能會導(dǎo)致占用更多的內(nèi)存。

輸入層（包含圖像的）應(yīng)該能被2整除很多次。常用數(shù)字包括32（比如CIFAR-10），64，96（比如STL-10）或224（比如ImageNet卷積神經(jīng)網(wǎng)絡(luò)），384和512。

卷積層應(yīng)該使用小尺寸濾波器（比如3x3或最多5x5），使用步長S=1。還有一點非常重要，就是對輸入數(shù)據(jù)進行零填充，這樣卷積層就不會改變輸入數(shù)據(jù)在空間維度上的尺寸。一般對于任意F，當(dāng)P=(F-1)/2的時候能保持輸入尺寸。如果必須使用更大的濾波器尺寸（比如7x7之類），通常只用在第一個面對原始圖像的卷積層上。

匯聚層負(fù)責(zé)對輸入數(shù)據(jù)的空間維度進行降采樣，提升了模型的畸變?nèi)萑棠芰?。最常用的設(shè)置是用用2x2感受野的最大值匯聚，步長為2。注意這一操作將會把輸入數(shù)據(jù)中75%的激活數(shù)據(jù)丟棄（因為對寬度和高度都進行了2的降采樣）。另一個不那么常用的設(shè)置是使用3x3的感受野，步長為2。最大值匯聚的感受野尺寸很少有超過3的，因為匯聚操作過于激烈，易造成數(shù)據(jù)信息丟失，這通常會導(dǎo)致算法性能變差。

三、CNN最大的特點在于卷積的權(quán)值共享（參數(shù)共享），可以大幅度減少神經(jīng)網(wǎng)絡(luò)的參數(shù)數(shù)量，防止過擬合的同時又降低了神經(jīng)網(wǎng)絡(luò)模型的復(fù)雜度。如何理解？

假設(shè)輸入圖像尺寸是1000*1000并且假定是灰度圖像，即只有一個顏色通道。那么一張圖片就有100萬個像素點，輸入維度就是100萬。如果采用全連接層（Fully Connected Layer，F(xiàn)CL）的話，隱含層與輸入層相同大小（100萬個隱含層節(jié)點），那么將產(chǎn)生100萬*100萬=1萬億個連接，僅此就有1萬億個參數(shù)需要去訓(xùn)練，這是不可想象的?？紤]到人的視覺感受野的概念，每一個感受野只接受一小塊區(qū)域的信號，每一個神經(jīng)元不需要接收全部像素點的信息，只需要接收局部像素點作為輸入，而將所有這些神經(jīng)元接收的局部信息綜合起來就可以得到全局的信息。于是將之前的全連接模式修改為局部連接，假設(shè)局部感受野大小是10*10，即每個隱含節(jié)點只與10*10個像素點相連，那么現(xiàn)在只需要10*10*100萬=1億個連接了，相比之前的1萬億已經(jīng)縮小了10000倍。假設(shè)我們的局部連接方式是卷積操作，即默認(rèn)每一個隱含節(jié)點的參數(shù)都完全一樣，那么我們的參數(shù)將會是10*10=100個。不論圖像尺寸有多大，都是這100個參數(shù)，即卷積核的尺寸，這就是卷積對減小參數(shù)量的貢獻(xiàn)。這也就是所謂的權(quán)值共享。我們采取增加卷積核的數(shù)量來多提取一些特征，每一個卷積核濾波得到的圖像就是一類特征的映射，即一個Feature Map。一般來說，我們使用100個卷積核在第一個卷積層就足夠了，這樣我們有100*100=10000個參數(shù)相比之前的1億又縮小了10000倍。卷積的好處是，不管圖片尺寸如何，需要訓(xùn)練的參數(shù)數(shù)量只跟卷積核大小和數(shù)量有關(guān)，并且需要注意的是，盡管參數(shù)的數(shù)量大大下降了，但是我們的隱含節(jié)點的數(shù)量并沒有下降，隱含節(jié)點的數(shù)量只跟卷積的步長有關(guān)系。

以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。

最新評論