第1章 PyTorch介紹 1
1.1 深度學(xué)習(xí)與PyTorch簡介 2
1.1.1 深度學(xué)習(xí)介紹 2
1.1.2 PyTorch介紹 3
1.2 PyTorch安裝 6
1.2.1 Anaconda下載 6
1.2.2 Windows下安裝PyTorch 7
1.2.3 Linux Ubuntu下安裝PyTorch 8
1.2.4 Anaconda管理 9
1.3 常用數(shù)據(jù)集 12
1.3.1 MNIST數(shù)據(jù)集 12
1.3.2 Fashion-MNIST數(shù)據(jù)集 14
1.3.3 CIFAR-10數(shù)據(jù)集 17
1.3.4 Dogs vs. Cats數(shù)據(jù)集 19
1.3.5 AG_NEWS數(shù)據(jù)集 20
1.3.6 WikiText2數(shù)據(jù)集 22
1.3.7 QIQC數(shù)據(jù)集 23
1.3.8 Multi30k數(shù)據(jù)集 24
習(xí)題 25
第2章 PyTorch基礎(chǔ)編程 27
2.1 張量數(shù)據(jù)操作 28
2.1.1 張量簡介 28
2.1.2 張量操作 28
2.1.3 廣播機(jī)制 45
2.1.4 在GPU上使用Tensor 48
2.2 自動求導(dǎo) 50
2.2.1 自動求導(dǎo)概念 50
2.2.2 自動求導(dǎo)示例 50
2.3 數(shù)據(jù)集API 53
2.3.1 自定義數(shù)據(jù)集類 53
2.3.2 DataLoader類 55
2.4 torchvision工具示例 57
2.4.1 編寫簡單的圖像數(shù)據(jù)集 57
2.4.2 Transforms模塊 59
2.4.3 Normalize用法 61
2.4.4 ImageFolder用法 62
2.5 torchtext工具示例 64
2.5.1 編寫文本預(yù)處理程序 64
2.5.2 使用torchtext 67
習(xí)題 70
第3章 深度學(xué)習(xí)快速入門 71
3.1 線性回歸 72
3.1.1 線性回歸介紹 72
3.1.2 線性回歸實(shí)現(xiàn) 76
3.2 使用nn模塊構(gòu)建線性回歸模型 82
3.2.1 使用nn.Linear訓(xùn)練線性回歸模型 82
3.2.2 使用nn.Sequential訓(xùn)練線性回歸模型 85
3.2.3 使用nn.Module訓(xùn)練線性回歸模型 87
3.3 邏輯回歸 88
3.3.1 邏輯回歸介紹 89
3.3.2 邏輯回歸實(shí)現(xiàn) 91
3.4 Softmax回歸 96
3.4.1 Softmax回歸介紹 96
3.4.2 Softmax回歸實(shí)現(xiàn) 98
3.5 神經(jīng)網(wǎng)絡(luò) 103
3.5.1 神經(jīng)元 103
3.5.2 激活函數(shù) 104
3.5.3 神經(jīng)網(wǎng)絡(luò)原理 108
3.5.4 PyTorch神經(jīng)網(wǎng)絡(luò)編程 111
習(xí)題 116
第4章 神經(jīng)網(wǎng)絡(luò)訓(xùn)練與優(yōu)化 119
4.1 神經(jīng)網(wǎng)絡(luò)迭代概念 120
4.1.1 訓(xùn)練誤差與泛化誤差 120
4.1.2 訓(xùn)練集、驗(yàn)證集和測試集
劃分 121
4.1.3 偏差與方差 123
4.2 正則化方法 124
4.2.1 提前終止 125
4.2.2 正則化 126
4.2.3 Dropout 127
4.3 優(yōu)化算法 129
4.3.1 小批量梯度下降 130
4.3.2 Momentum算法 131
4.3.3 RMSProp算法 134
4.3.4 Adam算法 137
4.4 PyTorch的初始化函數(shù) 139
4.4.1 普通初始化 139
4.4.2 Xavier初始化 140
4.4.3 He初始化 141
習(xí)題 142
第5章 卷積神經(jīng)網(wǎng)絡(luò)原理 145
5.1 CNN介紹 146
5.1.1 CNN與圖像處理 146
5.1.2 卷積的基本原理 146
5.1.3 池化的基本原理 155
5.2 簡單的CNN網(wǎng)絡(luò) 158
5.2.1 定義網(wǎng)絡(luò)模型 158
5.2.2 模型訓(xùn)練 160
5.2.3 模型評估 160
5.2.4 主函數(shù) 161
5.3 PyTorch實(shí)現(xiàn)LeNet-5網(wǎng)絡(luò) 163
5.3.1 LeNet-5介紹 163
5.3.2 LeNet-5實(shí)現(xiàn)MNIST手寫數(shù)字識別 164
5.3.3 LeNet-5實(shí)現(xiàn)CIFAR-10圖像識別 168
習(xí)題 170
第6章 卷積神經(jīng)網(wǎng)絡(luò)示例 171
6.1 經(jīng)典CNN網(wǎng)絡(luò) 172
6.1.1 VGG 172
6.1.2 ResNet 173
6.1.3 Inception 175
6.1.4 Xception 178
6.1.5 ResNet代碼研讀 179
6.2 使用預(yù)訓(xùn)練的CNN 185
6.2.1 特征抽取 186
6.2.2 微調(diào) 194
6.3 知識蒸餾 197
6.3.1 知識蒸餾原理 197
6.3.2 知識蒸餾示例 199
6.4 CNN可視化 204
6.4.1 中間激活可視化 205
6.4.2 過濾器可視化 212
習(xí)題 214
第7章 詞嵌入模型 215
7.1 詞嵌入模型介紹 216
7.1.1 獨(dú)熱碼 216
7.1.2 詞嵌入 222
7.2 詞嵌入學(xué)習(xí) 225
7.2.1 詞嵌入學(xué)習(xí)的動機(jī) 226
7.2.2 Skip-Gram算法 227
7.2.3 CBOW算法 229
7.2.4 負(fù)采樣 230
7.2.5 GloVe算法 234
7.3 Word2Vec算法實(shí)現(xiàn) 235
7.3.1 Skip-Gram實(shí)現(xiàn) 235
7.3.2 CBOW實(shí)現(xiàn) 239
7.3.3 負(fù)采樣Skip-Gram實(shí)現(xiàn) 243
習(xí)題 248
第8章 循環(huán)神經(jīng)網(wǎng)絡(luò)原理 251
8.1 RNN介紹 252
8.1.1 有記憶的神經(jīng)網(wǎng)絡(luò) 252
8.1.2 RNN用途 255
8.2 基本RNN模型 259
8.2.1 基本RNN原理 259
8.2.2 基本RNN的訓(xùn)練問題 263
8.2.3 基本RNN編程 265
8.2.4 基本RNN示例 269
8.3 LSTM 275
8.3.1 LSTM原理 275
8.3.2 LSTM編程 279
8.4 GRU 280
8.4.1 GRU原理 280
8.4.2 GRU編程 282
8.5 注意力機(jī)制 283
8.5.1 Seq2Seq模型的缺陷 283
8.5.2 機(jī)器翻譯中的注意力機(jī)制 284
8.6 Transformer模型 286
8.6.1 編碼器 287
8.6.2 多頭注意力層 288
8.6.3 前向?qū)?289
8.6.4 位置編碼 289
8.6.5 解碼器 290
8.6.6 解碼器層 291
8.6.7 Transformer的PyTorch
實(shí)現(xiàn) 291
習(xí)題 292
第9章 NLP示例 295
9.1 情感分析 296
9.1.1 AG NEWS示例 296
9.1.2 Quora競賽示例 301
9.2 語言模型 310
9.3 文本序列數(shù)據(jù)生成 316
9.3.1 向莎士比亞學(xué)寫詩 316
9.3.2 神經(jīng)機(jī)器翻譯 324
習(xí)題 333
參考文獻(xiàn) 335