深度神經(jīng)網(wǎng)絡(luò)是近年來受到廣泛關(guān)注的研究方向，它已成為人工智能2.0的主要組成部分。本書系統(tǒng)地論述了深度神經(jīng)網(wǎng)絡(luò)基本理論、算法及應(yīng)用。全書共16章，分為兩個部分；第一部分（第1章～10章）系統(tǒng)論述了理論及算法，包括深度前饋神經(jīng)網(wǎng)絡(luò)、深度卷積神經(jīng)網(wǎng)絡(luò)、深度堆棧神經(jīng)網(wǎng)絡(luò)、深度遞歸神經(jīng)網(wǎng)絡(luò)、深度生成網(wǎng)絡(luò)、深度融合網(wǎng)絡(luò)等；第二部分（第11～15章）論述了常用的深度學(xué)習(xí)平臺，以及在高光譜圖像、自然圖像、SAR與極化SAR影像等領(lǐng)域的應(yīng)用；第16章為總結(jié)與展望，給出了深度學(xué)習(xí)發(fā)展的歷史圖、前沿方向及最新進(jìn)展。每章都附有相關(guān)閱讀材料及仿真代碼，以便有興趣的讀者進(jìn)一步鉆研探索。

本書具有以下的特點：

一、內(nèi)容系統(tǒng)全面

全書16章，覆蓋了深度學(xué)習(xí)當(dāng)前出現(xiàn)的諸多經(jīng)典框架或模型，分為兩個部分。第一部分系統(tǒng)地從數(shù)據(jù)、模型、優(yōu)化目標(biāo)函數(shù)和求解等四個方面論述了深度學(xué)習(xí)的理論及算法，如卷積神經(jīng)網(wǎng)絡(luò)、深度生成模型等；第二部分基于5種主流的深度學(xué)習(xí)平臺給出了深度網(wǎng)絡(luò)在自然圖像、衛(wèi)星遙感影像等領(lǐng)域的應(yīng)用，如分類、變化檢測、目標(biāo)檢測與識別等任務(wù)。另外給出了深度學(xué)習(xí)發(fā)展的脈絡(luò)圖及最新研究進(jìn)展，提供可基于5種平臺實現(xiàn)的47中深度網(wǎng)絡(luò)代碼，以便有興趣的讀者進(jìn)一步鉆研探索。

二、敘述立場客觀

作為深度學(xué)習(xí)的入門教材，盡可能不帶偏見地對材料進(jìn)行分析、加工以及客觀介紹。本書理論部分均從模型產(chǎn)生的本源來介紹，并給出各個經(jīng)典模型之間內(nèi)在的相互聯(lián)系。本書實踐應(yīng)用部分對相關(guān)任務(wù)做了詳盡的分析，并給出深度學(xué)習(xí)應(yīng)用實踐的經(jīng)驗總結(jié)。

三、設(shè)計裝幀精美

該書設(shè)計人性化，文字、公式、數(shù)學(xué)符號混排格式美觀精致，特別是，全書采用全彩印制，軟精裝裝幀。封面設(shè)計清新卻不脫俗、學(xué)術(shù)化，足可以看出出版社和作者的用心。

目錄
 

第1章 深度學(xué)習(xí)基礎(chǔ) 1
1.1 數(shù)學(xué)基礎(chǔ) 2
1.1.1 矩陣論 2
1.1.2 概率論 3
1.1.3 優(yōu)化分析 5
1.1.4 框架分析 6
1.2 稀疏表示 8
1.2.1 稀疏表示初步 8
1.2.2 稀疏模型 20
1.2.3 稀疏認(rèn)知學(xué)習(xí)、計算與識別的范式 24
1.3 機(jī)器學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò) 31
1.3.1 機(jī)器學(xué)習(xí) 31
1.3.2 神經(jīng)網(wǎng)絡(luò) 36
參考文獻(xiàn) 38
第2章 深度前饋神經(jīng)網(wǎng)絡(luò) 41
2.1 神經(jīng)元的生物機(jī)理 42
2.1.1 生物機(jī)理 42
2.1.2 單隱層前饋神經(jīng)網(wǎng)絡(luò) 43
2.2 多隱層前饋神經(jīng)網(wǎng)絡(luò) 45
2.3 反向傳播算法 47
2.4 深度前饋神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)范式 48
參考文獻(xiàn) 51
第3章 深度卷積神經(jīng)網(wǎng)絡(luò) 54
3.1 卷積神經(jīng)網(wǎng)絡(luò)的生物機(jī)理及數(shù)學(xué)刻畫 55
3.1.1 生物機(jī)理 55
3.1.2 卷積流的數(shù)學(xué)刻畫 56
3.2 深度卷積神經(jīng)網(wǎng)絡(luò) 61
3.2.1 典型網(wǎng)絡(luò)模型與框架 61
3.2.2 學(xué)習(xí)算法及訓(xùn)練策略 69
3.2.3 模型的優(yōu)缺點分析 71
3.3 深度反卷積神經(jīng)網(wǎng)絡(luò) 73
3.3.1 卷積稀疏編碼 74
3.3.2 深度反卷積神經(jīng)網(wǎng)絡(luò) 75
3.3.3 網(wǎng)絡(luò)模型的性能分析與應(yīng)用舉例 77
3.4 全卷積神經(jīng)網(wǎng)絡(luò) 77
3.4.1 網(wǎng)絡(luò)模型的數(shù)學(xué)刻畫 77
3.4.2 網(wǎng)絡(luò)模型的性能分析及應(yīng)用舉例 79
參考文獻(xiàn) 80
第4章 深度堆棧自編碼網(wǎng)絡(luò) 83
4.1 自編碼網(wǎng)絡(luò) 84
4.1.1 逐層學(xué)習(xí)策略 84
4.1.2 自編碼網(wǎng)絡(luò) 84
4.1.3 自編碼網(wǎng)絡(luò)的常見范式 87
4.2 深度堆棧網(wǎng)絡(luò) 90
4.3 深度置信網(wǎng)絡(luò)/深度玻爾茲曼機(jī)網(wǎng)絡(luò) 93
4.3.1 玻爾茲曼機(jī)/受限玻爾茲曼機(jī) 93
4.3.2 深度玻爾茲曼機(jī)/深度置信網(wǎng)絡(luò) 94
參考文獻(xiàn) 96
第5章 稀疏深度神經(jīng)網(wǎng)絡(luò) 99
5.1 稀疏性的生物機(jī)理 100
5.1.1 生物視覺機(jī)理 100
5.1.2 稀疏性響應(yīng)與數(shù)學(xué)物理描述 102
5.2 稀疏深度網(wǎng)絡(luò)模型及基本性質(zhì) 102
5.2.1 數(shù)據(jù)的稀疏性 103
5.2.2 稀疏正則 103
5.2.3 稀疏連接 104
5.2.4 稀疏分類器設(shè)計 106
5.2.5 深度學(xué)習(xí)中關(guān)于稀疏的技巧與策略 108
5.3 網(wǎng)絡(luò)模型的性能分析 110
5.3.1 稀疏性對深度學(xué)習(xí)的影響 110
5.3.2 對比實驗及結(jié)果分析 110
參考文獻(xiàn) 111
第6章 深度融合網(wǎng)絡(luò) 113
6.1 深度SVM網(wǎng)絡(luò) 114
6.1.1 從神經(jīng)網(wǎng)絡(luò)到SVM 114
6.1.2 網(wǎng)絡(luò)模型的結(jié)構(gòu) 115
6.1.3 訓(xùn)練技巧 117
6.2 深度PCA網(wǎng)絡(luò) 117
6.3 深度ADMM網(wǎng)絡(luò) 119
6.4 深度極限學(xué)習(xí)機(jī) 121
6.4.1 極限學(xué)習(xí)機(jī) 121
6.4.2 深度極限學(xué)習(xí)機(jī) 123
6.5 深度多尺度幾何網(wǎng)絡(luò) 125
6.5.1 深度脊波網(wǎng)絡(luò) 125
6.5.2 深度輪廓波網(wǎng)絡(luò) 127
6.6 深度森林 130
6.6.1 多分辨特性融合 131
6.6.2 級聯(lián)特征深度處理 131
參考文獻(xiàn) 133
第7章 深度生成網(wǎng)絡(luò) 136
7.1 生成式對抗網(wǎng)絡(luò)的基本原理 137
7.1.1 網(wǎng)絡(luò)模型的動機(jī) 137
7.1.2 網(wǎng)絡(luò)模型的數(shù)學(xué)物理描述 139
7.2 深度卷積對抗生成網(wǎng)絡(luò) 141
7.2.1 網(wǎng)絡(luò)模型的基本結(jié)構(gòu) 141
7.2.2 網(wǎng)絡(luò)模型的性能分析 144
7.2.3 網(wǎng)絡(luò)模型的典型應(yīng)用 146
7.3 深度生成網(wǎng)絡(luò)模型的新范式 151
7.3.1 生成式對抗網(wǎng)絡(luò)的新范式 151
7.3.2 網(wǎng)絡(luò)框架的性能分析與改進(jìn) 154
7.4 應(yīng)用驅(qū)動下的兩種新生成式對抗網(wǎng)絡(luò) 155
7.4.1 堆棧生成式對抗網(wǎng)絡(luò) 155
7.4.2 對偶學(xué)習(xí)范式下的生成式對抗網(wǎng)絡(luò) 158
7.5 變分自編碼器 160
參考文獻(xiàn) 162
第8章 深度復(fù)卷積神經(jīng)網(wǎng)絡(luò)與深度二值神經(jīng)網(wǎng)絡(luò) 167
8.1 深度復(fù)卷積神經(jīng)網(wǎng)絡(luò) 168
8.1.1 網(wǎng)絡(luò)模型構(gòu)造的動機(jī) 168
8.1.2 網(wǎng)絡(luò)模型的數(shù)學(xué)物理描述 168
8.2 深度二值神經(jīng)網(wǎng)絡(luò) 172
8.2.1 網(wǎng)絡(luò)基本結(jié)構(gòu) 172
8.2.2 網(wǎng)絡(luò)的數(shù)學(xué)物理描述 173
8.2.3 討論 176
參考文獻(xiàn) 177
第9章 深度循環(huán)和遞歸神經(jīng)網(wǎng)絡(luò) 180
9.1 深度循環(huán)神經(jīng)網(wǎng)絡(luò) 181
9.1.1 循環(huán)神經(jīng)網(wǎng)絡(luò)的生物機(jī)理 181
9.1.2 簡單的循環(huán)神經(jīng)網(wǎng)絡(luò) 181
9.1.3 深度循環(huán)神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)物理描述 183
9.2 深度遞歸神經(jīng)網(wǎng)絡(luò) 188
9.2.1 簡單的遞歸神經(jīng)網(wǎng)絡(luò) 188
9.2.2 深度遞歸神經(jīng)網(wǎng)絡(luò)的優(yōu)勢 189
9.3 長短時記憶神經(jīng)網(wǎng)絡(luò) 190
9.3.1 改進(jìn)動機(jī)分析 190
9.3.2 長短時記憶神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)分析 191
9.4 典型應(yīng)用 192
9.4.1 深度循環(huán)神經(jīng)網(wǎng)絡(luò)的應(yīng)用舉例 193
9.4.2 深度遞歸神經(jīng)網(wǎng)絡(luò)的應(yīng)用舉例 194
參考文獻(xiàn) 194
第10章 深度強(qiáng)化學(xué)習(xí) 197
10.1 深度強(qiáng)化學(xué)習(xí)基礎(chǔ) 198
10.1.1 深度強(qiáng)化學(xué)習(xí)的基本思路 198
10.1.2 發(fā)展歷程 198
10.1.3 應(yīng)用的新方向 200
10.2 深度Q網(wǎng)絡(luò) 201
10.2.1 網(wǎng)絡(luò)基本模型與框架 201
10.2.2 深度Q網(wǎng)絡(luò)的數(shù)學(xué)分析 202
10.3 應(yīng)用舉例—AlphaGo 204
10.3.1 AlphaGo原理分析 205
10.3.2 深度強(qiáng)化學(xué)習(xí)性能分析 206
參考文獻(xiàn) 207
第11章 深度學(xué)習(xí)軟件仿真平臺及開發(fā)環(huán)境 209
11.1 Caffe平臺 210
11.1.1 Caffe平臺開發(fā)環(huán)境 210
11.1.2 AlexNet神經(jīng)網(wǎng)絡(luò)學(xué)習(xí) 210
11.1.3 AlexNet神經(jīng)網(wǎng)絡(luò)應(yīng)用于圖像分類 212
11.2 TensorFlow平臺 215
11.2.1 TensorFlow平臺開發(fā)環(huán)境 215
11.2.2 深度卷積生成式對抗網(wǎng)DCGAN 216
11.2.3 DAN應(yīng)用于樣本擴(kuò)充 217
11.3 MXNet平臺 220
11.3.1 MXNet平臺開發(fā)環(huán)境 220
11.3.2 VGG-NET深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí) 222
11.3.3 圖像分類應(yīng)用任務(wù) 225
11.4 Torch 7平臺 226
11.4.1 Torch 7平臺開發(fā)環(huán)境 226
11.4.2 二值神經(jīng)網(wǎng)絡(luò) 227
11.4.3 二值神經(jīng)網(wǎng)絡(luò)應(yīng)用于圖像分類 239
11.5 Theano平臺 233
11.5.1 Theano平臺開發(fā)環(huán)境 233
11.5.2 遞歸神經(jīng)網(wǎng)絡(luò) 234
11.5.3 LSTM應(yīng)用于情感分類任務(wù) 237
參考文獻(xiàn) 238
第12章 基于深度神經(jīng)網(wǎng)絡(luò)的SAR/PolSAR影像地物分類 240
12.1 數(shù)據(jù)集及研究目的 241
12.1.1 數(shù)據(jù)集特性分析 241
12.1.2 基本數(shù)據(jù)集 244
12.1.3 研究目的 247
12.2 基于深度神經(jīng)網(wǎng)絡(luò)的SAR影像地物分類 251
12.2.1 基于自適應(yīng)自編碼和超像素的SAR圖像分類 251
12.2.2 基于卷積中層特征學(xué)習(xí)的SAR圖像分類 257
12.3 基于第一代深度神經(jīng)網(wǎng)絡(luò)的PolSAR影像地物分類 263
12.3.1 基于稀疏極化DBN的極化SAR地物分類 263
12.3.2 基于深度PCA網(wǎng)絡(luò)的極化SAR影像地物分類 267
12.4 基于第二代深度神經(jīng)網(wǎng)絡(luò)的PolSAR影像地物分類 271
12.4.1 基于深度復(fù)卷積網(wǎng)絡(luò)的極化PolSAR影像地物分類 271
12.4.2基于生成式對抗網(wǎng)的極化PolSAR影像地物分類 274
12.4.3基于深度殘差網(wǎng)絡(luò)的極化PolSAR影像地物分類 278
參考文獻(xiàn) 280
第13章 基于深度神經(jīng)網(wǎng)絡(luò)的SAR影像變化檢測 284
13.1 數(shù)據(jù)集特點及研究目的 285
13.1.1 研究目的 285
13.1.2 數(shù)據(jù)基本特性 288
13.1.3 典型數(shù)據(jù)集 291
13.2 基于深度學(xué)習(xí)和SIFT特征的SAR圖像變化檢測 293
13.2.1 基本方法與實現(xiàn)策略 284
13.2.2 對比實驗結(jié)果分析 295
13.3基于SAE的SAR圖像變化檢測 299
13.3.1 基本方法與實現(xiàn)策略 299
13.3.2 對比實驗結(jié)果分析 303
13.4基于CNN的SAR圖像變化檢測 305
13.4.1基本方法與實現(xiàn)策略 305
13.4.2對比實驗結(jié)果分析 307
參考文獻(xiàn) 309
第14章 基于深度神經(jīng)網(wǎng)絡(luò)的高光譜圖像分類與壓縮 311
14.1 數(shù)據(jù)集及研究目的 312
14.1.1 高光譜遙感技術(shù) 312
14.1.2 高光譜遙感的研究目的 313
14.1.3 常用的高光譜數(shù)據(jù)集 314
14.2 基于深度神經(jīng)網(wǎng)絡(luò)的高光譜影像的分類 318
14.2.1 基于堆棧自編碼的高光譜影像的分類 319
14.2.2 基于卷積神經(jīng)網(wǎng)絡(luò)的高光譜影像的分類 325
14.3基于深度神經(jīng)網(wǎng)絡(luò)的高光譜影像的壓縮 333
14.3.1 基于深度自編碼網(wǎng)絡(luò)的高光譜圖像壓縮方法 334
14.3.2 實驗設(shè)計及分類結(jié)果 336
參考文獻(xiàn) 338
第15章 基于深度神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測與識別 340
15.1 數(shù)據(jù)特性及研究目的 341
15.1.1 研究目的 341
15.1.2 常用數(shù)據(jù)集 343
15.2 基于快速CNN的目標(biāo)檢測與識別 345
15.2.1 R-CNN 346
15.2.2 Fast R-CNN 348
15.2.3 Faster R-CNN 349
15.2.4 對比實驗結(jié)果與分析 352
15.3 基于回歸學(xué)習(xí)的目標(biāo)檢測與識別 353
15.3.1 YOLO 353
15.3.2 SSD 356
15.3.3 對比實驗結(jié)果分析 359
15.4 基于學(xué)習(xí)搜索的目標(biāo)檢測與識別 360
15.4.1 基于深度學(xué)習(xí)的主動目標(biāo)定位 360
15.4.2 AttentionNet 363
15.4.3 對比實驗結(jié)果分析 365
參考文獻(xiàn) 366
第16章 總結(jié)與展望 368
16.1 深度學(xué)習(xí)發(fā)展歷史圖 369
16.1.1 從機(jī)器學(xué)習(xí)、稀疏表示學(xué)習(xí)到深度學(xué)習(xí) 370
16.1.2 深度學(xué)習(xí)、計算與認(rèn)知的范式演進(jìn) 371
16.1.3 深度學(xué)習(xí)形成脈絡(luò) 375
16.2 深度學(xué)習(xí)的典型應(yīng)用 375
16.2.1 目標(biāo)檢測與識別 375
16.2.2 超分辨 376
16.2.3 自然語言處理 376
16.3 深度神經(jīng)網(wǎng)絡(luò)的可塑性 377
16.3.1 旋轉(zhuǎn)不變性 377
16.3.2 平移不變性 378
16.3.3 多尺度、多分辨和多通路特性 378
16.3.4 稀疏性 379
16.4 基于腦啟發(fā)式的深度學(xué)習(xí)前沿方向 380
16.4.1 生物神經(jīng)領(lǐng)域關(guān)于認(rèn)知、識別、注意等的最新研究進(jìn)展 380
16.4.2 深度神經(jīng)網(wǎng)絡(luò)的進(jìn)一步研究方向 382
16.4.3 深度學(xué)習(xí)的可拓展性 383
參考文獻(xiàn) 383
附錄A 基于深度學(xué)習(xí)的常見任務(wù)處理介紹 386
附錄B 代碼介紹 393