第 1 章 機(jī)器學(xué)習(xí)基礎(chǔ) 1
1.1 案例學(xué)習(xí) 2
1.2 線性模型 7
1.2.1 分段線性曲線 9
1.2.2 模型變形 17
1.2.3 機(jī)器學(xué)習(xí)框架 21
第 2 章 實踐方法論 22
2.1 模型偏差 22
2.2 優(yōu)化問題 23
2.3 過擬合 25
2.4 交叉驗證 29
2.5 不匹配 30
參考資料 31
第 3 章 深度學(xué)習(xí)基礎(chǔ) 32
3.1 局部最小值與鞍點 32
3.1.1 臨界點及其種類 32
3.1.2 判斷臨界值種類的方法 33
3.1.3 逃離鞍點的方法 37
3.2 批量和動量 39
3.2.1 批量大小對梯度下降法的影響..40
3.2.2 動量法 45
3.3 自適應(yīng)學(xué)習(xí)率 47
3.3.1 AdaGrad 50
3.3.2 RMSProp 53
3.3.3 Adam 54
3.4 學(xué)習(xí)率調(diào)度 54
3.5 優(yōu)化總結(jié) 56
3.6 分類 57
3.6.1 分類與回歸的關(guān)系 57
3.6.2 帶有 softmax 函數(shù)的分類 58
3.6.3 分類損失 59
3.7 批量歸一化 61
3.7.1 放入深度神經(jīng)網(wǎng)絡(luò)
3.7.2 測試時的批量歸一化 67
3.7.3 內(nèi)部協(xié)變量偏移 68
參考資料 69
第 4 章 卷積神經(jīng)網(wǎng)絡(luò) 71
4.1 觀察 1：檢測模式不需要整幅圖像 .. 73
4.2 簡化 1：感受野 74
4.3 觀察 2：同樣的模式可能出現(xiàn)在圖像的不同區(qū)域 .. 78
4.4 簡化 2：共享參數(shù) 79
4.5 簡化 1 和簡化 2 的總結(jié) .. 81
4.6 觀察 3：下采樣不影響模式檢測 .. 86
4.7 簡化 3：匯聚 86
4.8 卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)用：下圍棋 .. 88
參考資料 91
第 5 章 循環(huán)神經(jīng)網(wǎng)絡(luò) 92
5.1 獨(dú)熱編碼 93
5.2 什么是 RNN 94
5.3 RNN 架構(gòu) 96
5.4 其他 RNN 97
5.4.1 Elman 網(wǎng)絡(luò)和 Jordan 網(wǎng)絡(luò) 98
5.4.2 雙向循環(huán)神經(jīng)網(wǎng)絡(luò) 98
5.4.3 LSTM 99
5.4.4 LSTM 舉例 101
5.4.5 LSTM 運(yùn)算示例 102
5.5 LSTM 網(wǎng)絡(luò)原理 105
5.6 RNN 的學(xué)習(xí)方式 109
5.7 如何解決 RNN 的梯度消失或梯度爆炸問題..113
5.8 RNN 的其他應(yīng)用 114
5.8.1 多對一序列 114
5.8.2 多對多序列 115
5.8.3 序列到序列 117
參考資料 119
第 6 章 自注意力機(jī)制 120
6.1 輸入是向量序列的情況.. 120
6.1.1 類型 1：輸入與輸出數(shù)量相同 122
6.1.2 類型 2：輸入是一個序列，輸出是一個標(biāo)簽 123
6.1.3 類型 3：序列到序列任務(wù) 124
6.2 自注意力機(jī)制的運(yùn)作原理..124
6.3 多頭自注意力 134
6.4 位置編碼 136
6.5 截斷自注意力 138
6.6 對比自注意力與卷積神經(jīng)網(wǎng)絡(luò) 139
6.7 對比自注意力與循環(huán)神經(jīng)網(wǎng)絡(luò) 141
參考資料 143
第 7 章 Transformer 145
7.1 序列到序列模型 145
7.1.1 語音識別、機(jī)器翻譯與語音翻譯 145
7.1.2 語音合成 146
7.1.3 聊天機(jī)器人 147
7.1.4 問答任務(wù) 147
7.1.5 句法分析 148
7.1.6 多標(biāo)簽分類 149
7.2 Transformer 結(jié)構(gòu) 149
7.3 Transformer 編碼器 151
7.4 Transformer 解碼器 154
7.4.1 自回歸解碼器 154
7.4.2 非自回歸解碼器 161
7.5 編碼器解碼器注意力 162
7.6 Transformer 的訓(xùn)練過程 ..
7.7 序列到序列模型訓(xùn)練常用技巧 166
7.7.1 復(fù)制機(jī)制 166
7.7.2 引導(dǎo)注意力 166
7.7.3 束搜索 167
7.7.4 加入噪聲 168
7.7.5 使用強(qiáng)化學(xué)習(xí)訓(xùn)練 168
7.7.6 計劃采樣 169
參考資料 170
第 8 章 生成模型 171
8.1 生成對抗網(wǎng)絡(luò) 171
8.1.1 生成器 171
8.1.2 判別器 175
8.2 生成器與判別器的訓(xùn)練過程 176
8.3 GAN 的應(yīng)用案例 178
8.4 GAN 的理論介紹 180
8.5 WGAN 算法 183
8.6 GAN 訓(xùn)練的難點與技巧 .. 188
8.7 GAN 的性能評估方法 190
8.8 條件型生成 194
8.9 CycleGAN 196
參考資料 199
第 9 章 擴(kuò)散模型 201
9.1 擴(kuò)散模型生成圖片的過程..201
9.2 去噪模塊 202
9.3 訓(xùn)練噪聲預(yù)測器 203
第 10 章 自監(jiān)督學(xué)習(xí) 206
10.1 BERT 207
10.1.1 BERT 的使用方式 211
10.1.2 BERT 有用的原因 221
10.1.3 BERT 的變體 227
10.2 GPT 230
參考資料 234
第 11 章 自編碼器 235
11.1 自編碼器的概念 235
11.2 為什么需要自編碼器 237
11.3 去噪自編碼器 238
11.4 自編碼器應(yīng)用之特征解耦 239
11.5 自編碼器應(yīng)用之離散隱表征 242
11.6 自編碼器的其他應(yīng)用 245
第 12 章 對抗攻擊 246
12.1 對抗攻擊簡介 246
12.2 如何進(jìn)行網(wǎng)絡(luò)攻擊 248
12.3 快速梯度符號法 251
12.4 白箱攻擊與黑箱攻擊 252
12.5 其他模態(tài)數(shù)據(jù)被攻擊案例 256
12.6 現(xiàn)實世界中的攻擊 256
12.7 防御方式中的被動防御 260
12.8 防御方式中的主動防御 262
第 13 章 遷移學(xué)習(xí)
13.1 領(lǐng)域偏移
13.2 領(lǐng)域自適應(yīng) 265
13.3 領(lǐng)域泛化 271
參考資料 272
第 14 章 強(qiáng)化學(xué)習(xí) 273
14.1 強(qiáng)化學(xué)習(xí)的應(yīng)用 274
14.1.1 玩電子游戲 274
14.1.2 下圍棋 276
14.2 強(qiáng)化學(xué)習(xí)框架 276
14.2.1 第 1 步：定義函數(shù) 277
14.2.2 第 2 步：定義損失 278
14.2.3 第 3 步：優(yōu)化 278
14.3 評價動作的標(biāo)準(zhǔn) 282
14.3.1 使用即時獎勵作為評價標(biāo)準(zhǔn) 283
14.3.2 使用累積獎勵作為評價標(biāo)準(zhǔn) 283
14.3.3 使用折扣累積獎勵作為評價標(biāo)準(zhǔn)..284
14.3.4 使用折扣累積獎勵減去基線作為評價標(biāo)準(zhǔn).. 285
14.3.5 Actor-Critic 288
14.3.6 優(yōu)勢 Actor-Critic 293
參考資料 294
第 15 章 元學(xué)習(xí) 295
15.1 元學(xué)習(xí)的概念 295
15.2 元學(xué)習(xí)的三個步驟 296
15.3 元學(xué)習(xí)與機(jī)器學(xué)習(xí) 299
15.4 元學(xué)習(xí)的實例算法 301
15.5 元學(xué)習(xí)的應(yīng)用 305
參考資料 306
第 16 章 終身學(xué)習(xí) 307
16.1 災(zāi)難性遺忘 307
16.2 終身學(xué)習(xí)的評估方法 311
16.3 終身學(xué)習(xí)問題的主要解法 312
第 17 章 網(wǎng)絡(luò)壓縮 316
17.1 網(wǎng)絡(luò)剪枝 316
17.2 知識蒸餾 321
17.3 參數(shù)量化 324
17.4 網(wǎng)絡(luò)架構(gòu)設(shè)計 325
17.5 動態(tài)計算 329
參考資料 332
第 18 章 可解釋性機(jī)器學(xué)習(xí) 333
18.1 可解釋性人工智能的重要性 333
18.2 決策樹模型的可解釋性 334
18.3 可解釋性機(jī)器學(xué)習(xí)的目標(biāo) 335
18.4 可解釋性機(jī)器學(xué)習(xí)中的局部解釋 335
18.5 可解釋性機(jī)器學(xué)習(xí)中的全局解釋 342
18.6 擴(kuò)展與小結(jié) 345
參考資料 345
第 19 章 ChatGPT 346
19.1 ChatGPT 簡介和功能 346
19.2 對 ChatGPT 的誤解 346
19.3 ChatGPT 背后的關(guān)鍵技術(shù)預(yù)訓(xùn)練..349
19.4 ChatGPT 帶來的研究問題 352
索引 354