目錄
前言
9 深度置信網(wǎng)絡和深度玻爾茲曼機 1
9.1 深度置信網(wǎng)絡和深度玻爾茲曼機的起源 1
9.1.1 玻爾茲曼機 1
9.1.2 受限玻爾茲曼機 2
9.2 模型參數(shù)學習 7
9.2.1 吉布斯采樣 7
9.2.2 對比散列算法 7
9.3 深度置信網(wǎng)絡 9
9.3.1 深度置信網(wǎng)絡模型 9
9.3.2 深度置信網(wǎng)絡訓練 10
9.4 深度玻爾茲曼機 11
9.4.1 深度玻爾茲曼機模型 11
9.4.2 深度玻爾茲曼機參數(shù)學習 13
9.5 深度置信網(wǎng)絡和深度玻爾茲曼機的應用 15
9.5.1 深度置信網(wǎng)絡的應用 15
9.5.2 深度玻爾茲曼機的應用 17
9.6 閱讀材料 28
參考文獻 29
10 自編碼器 31
10.1 自編碼器介紹 31
10.1.1 自編碼器的結(jié)構(gòu) 31
10.1.2 自編碼器的訓練 33
10.2 深度自編碼器 34
10.3 自編碼器的變形 36
10.3.1 稀疏自編碼器 36
10.3.2 降噪自編碼器 37
10.3.3 收縮自編碼器 38
10.3.4 掩碼自編碼器 39
10.3.5 其他自編碼器 42
10.4 變分自編碼器 42
10.4.1 變分推斷 42
10.4.2 詳解變分自編碼器 45
10.5 變分自編碼器的變形 50
10.5.1 半監(jiān)督變分自編碼器 50
10.5.2 反向自回歸流變分自編碼器 54
10.5.3 信息最大化變分自編碼器 56
10.5.4 最大均值差異變分自編碼器 58
10.5.5 向量量化變分自編碼器 59
10.5.6 降噪變分自編碼器 62
10.5.7 梯形變分自編碼器 64
10.6 變分自編碼器的應用 68
10.6.1 機器翻譯 68
10.6.2 文本分類 72
10.7 閱讀材料 76
參考文獻 76
11 生成對抗網(wǎng)絡 79
11.1 原始生成對抗網(wǎng)絡 79
11.1.1 生成對抗網(wǎng)絡的基本結(jié)構(gòu) 79
11.1.2 深入理解生成對抗網(wǎng)絡 82
11.1.3 原始生成對抗網(wǎng)絡中的問題 95
11.2 生成對抗網(wǎng)絡的發(fā)展 96
11.2.1 深度卷積生成對抗網(wǎng)絡 96
11.2.2 基于Wasserstein距離的生成對抗網(wǎng)絡 97
11.2.3 加罰項的基于Wasserstein距離的生成對抗網(wǎng)絡 102
11.2.4 帶有一致化項的生成對抗網(wǎng)絡 104
11.2.5 損失敏感的生成對抗網(wǎng)絡 106
11.2.6 信息最大化生成對抗網(wǎng)絡 110
11.3 生成對抗網(wǎng)絡的訓練 112
11.3.1 訓練生成對抗網(wǎng)絡的問題與發(fā)展 113
11.3.2 訓練生成對抗網(wǎng)絡的一些技巧 115
11.3.3 漸進增大方式訓練生成對抗網(wǎng)絡 116
11.3.4 生成對抗網(wǎng)絡的譜歸一化 118
11.3.5 通過原始-對偶次梯度方法訓練生成對抗網(wǎng)絡 121
11.3.6 用優(yōu)化鏡像下降的方法訓練生成對抗網(wǎng)絡 123
11.3.7 一階懲罰生成對抗網(wǎng)絡 125
11.4 深度生成模型的聯(lián)合模型 126
11.4.1 對抗變分貝葉斯方法 127
11.4.2 建立深度生成模型之間的原則性聯(lián)系 133
11.4.3 對抗自編碼器 140
11.4.4 Wasserstein自編碼器 144
11.5 最優(yōu)傳輸理論與生成對抗網(wǎng)絡 147
11.5.1 從最優(yōu)傳輸理論到生成模型 147
11.5.2 利用最優(yōu)傳輸理論改善生成對抗網(wǎng)絡 150
11.6 生成對抗網(wǎng)絡的評估 152
11.6.1 幾何評分：一種比較樣本的方法 153
11.6.2 調(diào)節(jié)生成器對生成對抗網(wǎng)絡性能的影響 156
11.7 生成對抗網(wǎng)絡的其他模型 157
11.8 生成對抗網(wǎng)絡的應用 160
11.8.1 圖像的生成與操作 160
11.8.2 文本 172
11.9 早期的對抗模型 175
11.10 生成對抗網(wǎng)絡的總結(jié) 177
11.11 閱讀材料 179
參考文獻 180
12 像素級生成模型 184
12.1 PixelCNN 184
12.1.1 PixelCNN介紹 184
12.1.2 mask卷積 185
12.1.3 盲點問題 186
12.2 PixelRNN 188
12.2.1 行LSTM PixelRNN 188
12.2.2 對角線BiLSTM PixelRNN 189
12.3 門PixelCNN 192
12.4 條件PixelCNN 193
12.5 PixelVAE 194
12.6 PixelGAN 195
12.7 閱讀材料 197
參考文獻 197
13 深度聚類 198
13.1 聚類概述 198
13.1.1 傳統(tǒng)聚類與深度聚類之間的關系 198
13.1.2 深度聚類模型結(jié)構(gòu) 199
13.1.3 深度聚類損失函數(shù) 199
13.1.4 簇的更新策略 201
13.2 深度嵌入聚類算法 202
13.2.1 自編碼器與聚類結(jié)合 202
13.2.2 變分自編碼器與聚類的結(jié)合 207
13.2.3 梯子網(wǎng)絡與聚類的結(jié)合 210
13.2.4 卷積神經(jīng)網(wǎng)絡與聚類的結(jié)合 213
13.3 深度譜聚類 217
13.4 深度子空間聚類 220
13.5 閱讀材料 224
參考文獻 225
14 深度強化學習 230
14.1 基于值函數(shù)的深度強化學習 230
14.1.1 深度Q網(wǎng)絡 231
14.1.2 雙重深度Q網(wǎng)絡 238
14.1.3 優(yōu)先化經(jīng)驗回放的深度Q網(wǎng)絡 241
14.1.4 基于競爭網(wǎng)絡架構(gòu)的深度Q網(wǎng)絡 243
14.2 基于策略搜索的深度強化學習 246
14.2.1 深度確定性策略梯度算法 246
14.2.2 異步的優(yōu)勢行動者-評論家算法 250
14.3 基于模型的深度強化學習 252
14.3.1 AlphaGo發(fā)展史 253
14.3.2 AlphaGo原理介紹 255
14.4 深度強化學習的應用 264
14.5 深度強化學習的未來 266
14.6 閱讀材料 269
參考文獻 269
15 深度學習的可解釋性 272
15.1 可解釋性概述 272
15.1.1 什么是可解釋性 273
15.1.2 可解釋的必要性 273
15.1.3 可解釋性研究進展 274
15.2 可視化 277
15.2.1 可視化方法分類 277
15.2.2 特征可視化 278
15.2.3 關系可視化 289
15.2.4 過程可視化 297
15.3 深度學習內(nèi)部工作機制探查 300
15.3.1 局部可解釋模型 300
15.3.2 關系反向傳播 304
15.3.3 決策樹量化解釋 311
15.3.4 信息論的角度解釋模型 317
15.4 深度學習工作機制理論分析 321
15.4.1 基于統(tǒng)計的分析 321
15.4.2 基于信息論的分析 327
15.4.3 基于認知科學的分析 342
15.5 閱讀材料 347
參考文獻 348
16 對抗樣本攻防和深度學習的魯棒性 355
16.1 深度神經(jīng)網(wǎng)絡的脆弱性 355
16.2 對抗樣本攻擊 357
16.2.1 攻擊策略 357
16.2.2 對抗樣本的產(chǎn)生 373
16.2.3 對抗樣本的遷移 380
16.3 對抗攻擊的檢測與防御 383
16.3.1 對抗樣本的檢測 383
16.3.2 對抗攻擊的防御 385
16.4 深度神經(jīng)網(wǎng)絡的魯棒性 391
16.4.1 分類器的魯棒性 391
16.4.2 Parseval網(wǎng)絡 399
16.4.3 評估神經(jīng)網(wǎng)絡的魯棒性 400
16.4.4 為深度神經(jīng)網(wǎng)絡提供可保證的魯棒性 403
16.5 深度學習測試 405
16.5.1 白盒測試 405
16.5.2 黑盒測試 414
16.6 深度學習驗證 422
16.6.1 可滿足性模理論 423
16.6.2 線性實數(shù)算法和單純形 424
16.6.3 從Simplex到Reluplex 425
16.6.4 有效實施Reluplex 428
16.6.5 案例研究：ACASXu系統(tǒng) 429
16.7 閱讀材料 431
參考文獻 432