第1章 緒論1
1.1 與深度學(xué)習(xí)有關(guān)的幾個概念1
1.1.1 人工智能2
1.1.2 機器學(xué)習(xí)4
1.1.3 表示學(xué)習(xí)10
1.1.4 機器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)及深度學(xué)習(xí)的關(guān)系12
1.1.5 深度學(xué)習(xí)常用的框架14
1.2 神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)的發(fā)展歷程15
1.2.1 神經(jīng)網(wǎng)絡(luò)的誕生16
1.2.2 神經(jīng)網(wǎng)絡(luò)的復(fù)興16
1.2.3 深度學(xué)習(xí)的崛起17
1.3 神經(jīng)網(wǎng)絡(luò)的產(chǎn)生機理18
1.3.1 大腦研究的基本情況19
1.3.2 腦組織的基本組成20
1.3.3 腦組織的分層結(jié)構(gòu)22
1.3.4 大腦的基本工作原理22
1.4 生物神經(jīng)網(wǎng)絡(luò)基礎(chǔ)25
1.4.1 神經(jīng)元的基本結(jié)構(gòu)25
1.4.2 神經(jīng)元的基本分類28
1.4.3 神經(jīng)元的信息傳遞機理28
1.4.4 生物神經(jīng)網(wǎng)絡(luò)的構(gòu)成31
1.5 本書的知識框架體系32
1.6 本章小結(jié)33
第2章 人工神經(jīng)網(wǎng)絡(luò)計算35
2.1 神經(jīng)網(wǎng)絡(luò)概述35
2.2 人工神經(jīng)元模型36
2.2.1 基本神經(jīng)元模型36
2.2.2 常用激活函數(shù)38
2.2.3 Softmax輸出分類42
2.3 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)43
2.3.1 單層前饋網(wǎng)絡(luò)44
2.3.2 多層前饋網(wǎng)絡(luò)45
2.3.3 反饋網(wǎng)絡(luò)46
2.3.4 圖網(wǎng)絡(luò)46
2.4 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法47
2.4.1 無監(jiān)督學(xué)習(xí)的Hebb算法48
2.4.2 監(jiān)督學(xué)習(xí)的Delta規(guī)則49
2.5 神經(jīng)網(wǎng)絡(luò)的損失函數(shù)50
2.5.1 均方差損失函數(shù)50
2.5.2 平均絕對誤差損失函數(shù)50
2.5.3 交叉熵?fù)p失函數(shù)51
2.6 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則55
2.6.1 極大似然估計55
2.6.2 經(jīng)驗風(fēng)險最小化準(zhǔn)則57
2.6.3 過擬合與欠擬合57
2.7 梯度下降法58
2.7.1 一維梯度下降59
2.7.2 多維梯度下降60
2.7.3 隨機梯度下降61
2.8 網(wǎng)絡(luò)正則化方法62
2.8.1 L1和L2正則化62
2.8.2 提前停止63
2.8.3 權(quán)重衰減64
2.8.4 丟棄法64
2.8.5 數(shù)據(jù)增強69
2.8.6 標(biāo)簽平滑69
2.9 模型評估方法70
2.9.1 混淆矩陣70
2.9.2 準(zhǔn)確率、精確率、召回率71
2.9.3 ROC/AUC/PR曲線72
2.10 本章小結(jié)74
第3章 多層感知器神經(jīng)網(wǎng)絡(luò)75
3.1 感知器及其發(fā)展過程75
3.2 感知器學(xué)習(xí)算法76
3.2.1 離散單輸出感知器學(xué)習(xí)算法76
3.2.2 離散多輸出感知器學(xué)習(xí)算法77
3.2.3 多層感知器線性處理問題79
3.3 多層感知器的算法實現(xiàn)82
3.4 反向傳播算法84
3.4.1 反向傳播多層感知器模型84
3.4.2 反向傳播算法的原理85
3.4.3 反向傳播算法的執(zhí)行步驟89
3.4.4 梯度消失和梯度爆炸問題91
3.4.5 反向傳播網(wǎng)絡(luò)的數(shù)據(jù)擬合問題92
3.5 本章小結(jié)97
第4章 自組織競爭神經(jīng)網(wǎng)絡(luò)98
4.1 競爭學(xué)習(xí)的概念與原理98
4.1.1 競爭學(xué)習(xí)規(guī)則98
4.1.2 競爭學(xué)習(xí)原理100
4.2 SOFM網(wǎng)絡(luò)101
4.2.1 SOFM網(wǎng)絡(luò)結(jié)構(gòu)101
4.2.2 運行原理102
4.2.3 學(xué)習(xí)過程103
4.2.4 兩階段學(xué)習(xí)104
4.3 ART網(wǎng)絡(luò)105
4.3.1 ART網(wǎng)絡(luò)結(jié)構(gòu)105
4.3.2 網(wǎng)絡(luò)運行與訓(xùn)練107
4.3.3 網(wǎng)絡(luò)運行的參數(shù)說明108
4.4 自組織競爭神經(jīng)網(wǎng)絡(luò)的算法實現(xiàn)108
4.5 本章小結(jié)109
第5章 徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)111
5.1 徑向基函數(shù)介紹及結(jié)構(gòu)111
5.2 函數(shù)逼近與內(nèi)插112
5.2.1 插值問題的定義112
5.2.2 徑向基函數(shù)的一般形式112
5.2.3 徑向基函數(shù)的性質(zhì)113
5.3 正則化理論114
5.4 徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)117
5.4.1 隨機選取徑向基函數(shù)中心117
5.4.2 自組織學(xué)習(xí)選取徑向基函數(shù)中心118
5.4.3 有監(jiān)督學(xué)習(xí)選取徑向基函數(shù)中心119
5.5 本章小結(jié)120
第6章 卷積神經(jīng)網(wǎng)絡(luò)122
6.1 卷積神經(jīng)網(wǎng)絡(luò)的概念及特點122
6.1.1 卷積的定義122
6.1.2 卷積的變形123
6.1.3 卷積與互相關(guān)操作124
6.1.4 卷積神經(jīng)網(wǎng)絡(luò)的特點125
6.2 卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)126
6.2.1 卷積層127
6.2.2 匯聚層131
6.2.3 全連接層133
6.2.4 輸出層134
6.3 卷積神經(jīng)網(wǎng)絡(luò)參數(shù)學(xué)習(xí)134
6.4 卷積神經(jīng)網(wǎng)絡(luò)常用模型137
6.4.1 LeNet模型137
6.4.2 AlexNet模型139
6.4.3 VGGNet模型140
6.4.4 GoogLeNet模型141
6.4.5 ResNet模型146
6.4.6 DenseNet模型148
6.5 卷積神經(jīng)網(wǎng)絡(luò)的算法實現(xiàn)149
6.6 本章小結(jié)152
第7章 循環(huán)神經(jīng)網(wǎng)絡(luò)153
7.1 循環(huán)神經(jīng)網(wǎng)絡(luò)的概念153
7.2 循環(huán)神經(jīng)網(wǎng)絡(luò)模型154
7.3 循環(huán)神經(jīng)網(wǎng)絡(luò)參數(shù)學(xué)習(xí)156
7.3.1 BPTT算法156
7.3.2 RTRL算法157
7.4 網(wǎng)絡(luò)梯度問題改進(jìn)157
7.5 長短期記憶158
7.6 門控循環(huán)單元網(wǎng)絡(luò)161
7.7 深度循環(huán)神經(jīng)網(wǎng)絡(luò)162
7.7.1 堆疊循環(huán)神經(jīng)網(wǎng)絡(luò)162
7.7.2 雙向循環(huán)神經(jīng)網(wǎng)絡(luò)163
7.8 循環(huán)神經(jīng)網(wǎng)絡(luò)算法實現(xiàn)——手寫體數(shù)字識別問題164
7.9 本章小結(jié)168
第8章 注意力機制與反饋網(wǎng)絡(luò)169
8.1 注意力機制網(wǎng)絡(luò)170
8.1.1 注意力機制網(wǎng)絡(luò)的概念及分類170
8.1.2 自注意力模型174
8.2 離散型Hopfield神經(jīng)網(wǎng)絡(luò)176
8.2.1 網(wǎng)絡(luò)的結(jié)構(gòu)與工作方式176
8.2.2 網(wǎng)絡(luò)的能量狀態(tài)分析178
8.2.3 網(wǎng)絡(luò)吸引子的性質(zhì)181
8.3 連續(xù)型Hopfield神經(jīng)網(wǎng)絡(luò)183
8.3.1 網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)183
8.3.2 網(wǎng)絡(luò)的能量與穩(wěn)定性分析185
8.4 Hopfield神經(jīng)網(wǎng)絡(luò)應(yīng)用實例186
8.5 Hopfield神經(jīng)網(wǎng)絡(luò)求解TSP190
8.6 本章小結(jié)192
第9章 深度學(xué)習(xí)網(wǎng)絡(luò)優(yōu)化193
9.1 參數(shù)初始化193
9.1.1 固定方差參數(shù)初始化194
9.1.2 方差縮放參數(shù)初始化195
9.1.3 正交初始化197
9.2 數(shù)據(jù)預(yù)處理198
9.3 逐層歸一化201
9.3.1 批量歸一化201
9.3.2 層歸一化203
9.3.3 權(quán)重歸一化204
9.3.4 局部響應(yīng)歸一化205
9.4 超參數(shù)優(yōu)化205
9.4.1 網(wǎng)格搜索206
9.4.2 隨機搜索206
9.4.3 貝葉斯優(yōu)化207
9.4.4 動態(tài)資源分配208
9.4.5 神經(jīng)架構(gòu)搜索208
9.5 優(yōu)化算法209
9.5.1 空間變量的非凸優(yōu)化209
9.5.2 Momentum210
9.5.3 NAG211
9.5.4 AdaGrad211
9.5.5 AdaDelta212
9.5.6 RMSProp212
9.5.7 Adam212
9.6 本章小結(jié)213
第10章 受限玻爾茲曼機和深度置信網(wǎng)絡(luò)214
10.1 概率圖模型214
10.2 受限玻爾茲曼機的基本結(jié)構(gòu)215
10.3 受限玻爾茲曼機的能量模型和似然函數(shù)216
10.4 受限玻爾茲曼機的學(xué)習(xí)任務(wù)217
10.4.1 最優(yōu)參數(shù)的梯度計算217
10.4.2 吉布斯采樣219
10.4.3 對比散度算法220
10.5 深度置信網(wǎng)絡(luò)222
10.5.1 網(wǎng)絡(luò)模型222
10.5.2 網(wǎng)絡(luò)訓(xùn)練算法223
10.6 深度置信網(wǎng)絡(luò)的應(yīng)用225
10.6.1 音頻特征提取225
10.6.2 多模態(tài)數(shù)據(jù)建模226
10.7 本章小結(jié)228
第11章 棧式自編碼器230
11.1 自編碼器230
11.2 稀疏自編碼器233
11.3 棧式自編碼器的原理234
11.4 降噪自編碼器234
11.5 自編碼器的圖像還原236
11.6 自編碼器的機器翻譯應(yīng)用238
11.7 本章小結(jié)239
第12章 生成對抗網(wǎng)絡(luò)240
12.1 深度生成模型240
12.1.1 概率密度估計241
12.1.2 生成樣本241
12.2 生成對抗網(wǎng)絡(luò)的基本結(jié)構(gòu)242
12.3 原始-對偶次梯度方法訓(xùn)練246
12.4 生成對抗網(wǎng)絡(luò)的應(yīng)用249
12.4.1 人臉圖像的生成249
12.4.2 生成對抗網(wǎng)絡(luò)的算法實現(xiàn)251
12.5 本章小結(jié)252
第13章 圖神經(jīng)網(wǎng)絡(luò)254
13.1 圖網(wǎng)絡(luò)概述254
13.1.1 圖的定義254
13.1.2 圖數(shù)據(jù)網(wǎng)絡(luò)的性質(zhì)和特點256
13.1.3 圖神經(jīng)網(wǎng)絡(luò)的發(fā)展257
13.2 圖卷積神經(jīng)網(wǎng)絡(luò)259
13.2.1 譜域圖卷積神經(jīng)網(wǎng)絡(luò)259
13.2.2 切比雪夫網(wǎng)絡(luò)262
13.2.3 圖卷積神經(jīng)網(wǎng)絡(luò)263
13.3 圖循環(huán)神經(jīng)網(wǎng)絡(luò)265
13.3.1 不動點理論266
13.3.2 歸納式圖表示學(xué)習(xí)267
13.3.3 圖注意力網(wǎng)絡(luò)269
13.4 消息傳遞神經(jīng)網(wǎng)絡(luò)271
13.5 圖神經(jīng)網(wǎng)絡(luò)模型的應(yīng)用273
13.5.1 圖分類273
13.5.2 知識圖譜與注意力模型274
13.5.3 基于圖神經(jīng)網(wǎng)絡(luò)的推薦系統(tǒng)275
13.5.4 計算機視覺276
13.6 本章小結(jié)277
第14章 深度強化學(xué)習(xí)278
14.1 強化學(xué)習(xí)概述278
14.2 馬爾可夫決策過程280
14.2.1 價值函數(shù)281
14.2.2 動作價值函數(shù)281
14.2.3 最優(yōu)價值函數(shù)282
14.2.4 策略迭代282
14.2.5 價值迭代283
14.3 Q-Learning算法285
14.4 Deep Q-Network強化學(xué)習(xí)288
14.5 蒙特卡羅算法291
14.6 AlphaGo強化學(xué)習(xí)292
14.6.1 AlphaGo發(fā)展概述292
14.6.2 AlphaGo Fan算法的原理295
14.6.3 AlphaGo Zero算法的原理300
14.7 強化學(xué)習(xí)的應(yīng)用304
14.7.1 游戲領(lǐng)域304
14.7.2 機器人控制領(lǐng)域305
14.7.3 自然語言處理領(lǐng)域305
14.7.4 其他領(lǐng)域306
14.8 本章小結(jié)306
第15章 深度學(xué)習(xí)的可解釋性308
15.1 可解釋性的定義309
15.2 可解釋性方法309
15.2.1 模型透明度309
15.2.2 模型功能311
15.3 可視化方法分類312
15.3.1 特征可視化312
15.3.2 關(guān)系可視化312
15.3.3 過程可視化313
15.4 神經(jīng)網(wǎng)絡(luò)特征可視化313
15.5 本章小結(jié)317
第16章 多模態(tài)預(yù)訓(xùn)練模型319
16.1 預(yù)訓(xùn)練320
16.2 多模態(tài)數(shù)據(jù)的特征表示321
16.2.1 文本特征321
16.2.2 圖像特征329
16.3 Transformer模型330
16.3.1 模型的基本結(jié)構(gòu)330
16.3.2 編碼模型331
16.3.3