第1章 計算機視覺與深度學(xué)習(xí) 001
1.1 計算機視覺簡介 002
1.1.1 數(shù)字圖像處理基礎(chǔ) 003
1.1.2 主流計算機視覺任務(wù) 008
1.2 深度學(xué)習(xí)簡介 010
1.2.1 深度學(xué)習(xí)發(fā)展簡史 010
1.2.2 感知機與人工神經(jīng)網(wǎng)絡(luò) 012
1.2.3 卷積神經(jīng)網(wǎng)絡(luò) 012
1.2.4 循環(huán)神經(jīng)網(wǎng)絡(luò) 013
1.2.5 優(yōu)化算法 014
1.2.6 欠擬合與過擬合 016
1.3 Python與PyTorch安裝 017
1.3.1 安裝Python 017
1.3.2 安裝PyTorch 020
1.3.3 PyTorch核心模塊 021
1.3.4 PyTorch輔組庫 023
1.3.5 其他Python庫 023
1.4 本章小結(jié) 025

第2章 PyTorch快速入門 026
2.1 張量Tensor 027
2.1.1 張量的數(shù)據(jù)類型 027
2.1.2 張量的生成 028
2.1.3 張量操作 034
2.1.4 張量計算 041
2.2 torch.nn模塊 047
2.2.1 卷積層 047
2.2.2 池化層 049
2.2.3 填充層 051
2.2.4 激活函數(shù)層 052
2.2.5 歸一化函數(shù)層 053
2.2.6 循環(huán)層 054
2.2.7 全連接層 054
2.2.8 Transformer層 055
2.3 圖像數(shù)據(jù)操作和預(yù)處理 055
2.3.1 從datasets模塊中導(dǎo)入數(shù)據(jù)并預(yù)處理 057
2.3.2 從文件夾中導(dǎo)入數(shù)據(jù)并進行預(yù)處理 058
2.4 優(yōu)化器與損失函數(shù) 060
2.4.1 優(yōu)化器 061
2.4.2 損失函數(shù) 063
2.5 預(yù)訓(xùn)練網(wǎng)絡(luò) 065
2.6 GPU部署和使用 067
2.7 本章小結(jié) 068

第3章 圖像分類 069
3.1 經(jīng)典的深度圖像分類網(wǎng)絡(luò) 070
3.1.1 LeNet-5網(wǎng)絡(luò) 070
3.1.2 AlexNet網(wǎng)絡(luò) 071
3.1.3 VGG網(wǎng)絡(luò)結(jié)構(gòu) 072
3.1.4 GoogLeNet 073
3.1.5 ResNet網(wǎng)絡(luò) 074
3.1.6 DenseNet網(wǎng)絡(luò) 076
3.1.7 CLIP模型 078
3.2 卷積神經(jīng)網(wǎng)絡(luò)識別FashionMNIST 080
3.2.1 圖像數(shù)據(jù)準(zhǔn)備 081
3.2.2 卷積神經(jīng)網(wǎng)絡(luò)的搭建 083
3.2.3 卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練與預(yù)測 084
3.3 ResNet網(wǎng)絡(luò)預(yù)測CIFAR10 089
3.3.1 圖像數(shù)據(jù)準(zhǔn)備 090
3.3.2 ResNet網(wǎng)絡(luò)搭建 092
3.3.3 ResNet網(wǎng)絡(luò)訓(xùn)練與預(yù)測 096
3.4 微調(diào)預(yù)訓(xùn)練的卷積網(wǎng)絡(luò) 101
3.4.1 微調(diào)預(yù)訓(xùn)練的VGG網(wǎng)絡(luò) 102
3.4.2 準(zhǔn)備新網(wǎng)絡(luò)需要的數(shù)據(jù) 104
3.4.3 微調(diào)VGG網(wǎng)絡(luò)的訓(xùn)練和預(yù)測 106
3.5 卷積網(wǎng)絡(luò)可視化 108
3.5.1 網(wǎng)絡(luò)中間特征可視化 109
3.5.2 類激活熱力圖可視化 112
3.6 CLIP模型應(yīng)用 116
3.6.1 CLIP零樣本學(xué)習(xí) 117
3.6.2 CIFAR10使用CLIP特征分類 118
3.7 本章小結(jié) 120

第4章 目標(biāo)檢測與識別 121
4.1 目標(biāo)檢測方法 122
4.1.1 目標(biāo)檢測算法分類 122
4.1.2 目標(biāo)檢測評價指標(biāo) 122
4.1.3 目標(biāo)檢測常用損失函數(shù) 123
4.1.4 錨框與非極大值抑制 125
4.2 經(jīng)典的目標(biāo)檢測網(wǎng)絡(luò) 126
4.2.1 R-CNN系列網(wǎng)絡(luò) 126
4.2.2 YOLO系列網(wǎng)絡(luò) 129
4.2.3 SSD系列網(wǎng)絡(luò) 132
4.2.4 其他目標(biāo)檢測網(wǎng)絡(luò) 135
4.3 使用預(yù)訓(xùn)練的目標(biāo)檢測網(wǎng)絡(luò) 138
4.3.1 目標(biāo)檢測常用數(shù)據(jù)集 138
4.3.2 圖像目標(biāo)檢測 139
4.3.3 人體關(guān)鍵點檢測 140
4.4 訓(xùn)練自己的YOLOv3目標(biāo)檢測網(wǎng)絡(luò) 142
4.4.1 PASCAL VOC數(shù)據(jù)準(zhǔn)備 143
4.4.2 YOLOv3網(wǎng)絡(luò)搭建 154
4.4.3 YOLOv3網(wǎng)絡(luò)訓(xùn)練 158
4.4.4 YOLOv3目標(biāo)檢測 163
4.5 本章小結(jié) 164

第5章 語義分割 165
5.1 語義分割方法 166
5.2 經(jīng)典的語義分割網(wǎng)絡(luò) 167
5.2.1 FCN 167
5.2.2 SegNet 169
5.2.3 U-Net 169
5.2.4 DeepLab系列 170
5.2.5 PSPNet 172
5.2.6 SAM 172
5.3 使用預(yù)訓(xùn)練的語義分割網(wǎng)絡(luò) 173
5.3.1 使用預(yù)訓(xùn)練網(wǎng)絡(luò) 173
5.3.2 語義分割評價指標(biāo) 176
5.4 訓(xùn)練自己的語義分割網(wǎng)絡(luò) 176
5.4.1 數(shù)據(jù)準(zhǔn)備 177
5.4.2 FCN語義分割網(wǎng)絡(luò) 186
5.4.3 U-Net語義分割網(wǎng)絡(luò) 194
5.5 本章小結(jié) 201

第6章 注意力機制與Transformer 202
6.1 經(jīng)典的注意力模型 204
6.1.1 SE-Net 204
6.1.2 SPANet 205
6.1.3 CBAM 206
6.1.4 Transformer 207
6.1.5 ViT 209
6.1.6 Swin Transformer 210
6.2 PyTorch預(yù)訓(xùn)練ViT網(wǎng)絡(luò)應(yīng)用 211
6.2.1 預(yù)訓(xùn)練ViT網(wǎng)絡(luò)導(dǎo)入 212
6.2.2 CIFAR100數(shù)據(jù)準(zhǔn)備 213
6.2.3 預(yù)訓(xùn)練ViT網(wǎng)絡(luò)訓(xùn)練與預(yù)測 214
6.3 ViT網(wǎng)絡(luò)圖像分類 218
6.3.1 ViT網(wǎng)絡(luò)搭建 220
6.3.2 CIFAR00數(shù)據(jù)準(zhǔn)備 224
6.3.3 ViT網(wǎng)絡(luò)訓(xùn)練與預(yù)測 226
6.4 本章小結(jié) 228

第7章 圖像風(fēng)格遷移 229
7.1 經(jīng)典的圖像風(fēng)格遷移方法 230
7.1.1 固定風(fēng)格固定內(nèi)容的風(fēng)格遷移 231
7.1.2 固定風(fēng)格任意內(nèi)容的風(fēng)格遷移 233
7.1.3 任意風(fēng)格任意內(nèi)容的風(fēng)格遷移 234
7.1.4 基于Gan的圖像風(fēng)格遷移 236
7.2 固定風(fēng)格固定內(nèi)容的風(fēng)格遷移 239
7.2.1 準(zhǔn)備VGG19網(wǎng)絡(luò) 239
7.2.2 圖像數(shù)據(jù)準(zhǔn)備 240
7.2.3 圖像的輸出特征和Gram矩陣的計算 242
7.2.4 進行圖像風(fēng)格遷移 244
7.3 固定風(fēng)格任意內(nèi)容的風(fēng)格遷移 247
7.3.1 快速風(fēng)格遷移網(wǎng)絡(luò)準(zhǔn)備 247
7.3.2 快速風(fēng)格遷移數(shù)據(jù)準(zhǔn)備 251
7.3.3 快速風(fēng)格遷移網(wǎng)絡(luò)訓(xùn)練和結(jié)果展示 253
7.4 CycleGan風(fēng)格遷移 260
7.4.1 CycleGan網(wǎng)絡(luò)搭建 260
7.4.2 非成對圖像數(shù)據(jù)準(zhǔn)備 263
7.4.3 網(wǎng)絡(luò)訓(xùn)練 265
7.4.4 圖像轉(zhuǎn)換結(jié)果展示 270
7.5 本章小結(jié) 271

第8章 自編碼器與擴散模型 272
8.1 自編器模型與擴散模型介紹 273
8.1.1 自編碼器原理 273
8.1.2 變分自編碼器 274
8.1.3 VQ-VAE圖像生成 275
8.1.4 Stable Diffusion圖像生成 276
8.2 自編碼器圖像重構(gòu) 278
8.2.1 自編碼網(wǎng)絡(luò)數(shù)據(jù)準(zhǔn)備 279
8.2.2 自編碼網(wǎng)絡(luò)的構(gòu)建 281
8.2.3 自編碼網(wǎng)絡(luò)的訓(xùn)練 282
8.2.4 自編碼網(wǎng)絡(luò)的數(shù)據(jù)重構(gòu) 283
8.2.5 網(wǎng)絡(luò)的編碼特征可視化 284
8.3 自編碼器圖像去噪 285
8.3.1 數(shù)據(jù)準(zhǔn)備 286
8.3.2 網(wǎng)絡(luò)搭建 289
8.3.3 網(wǎng)絡(luò)訓(xùn)練與預(yù)測 291
8.4 Stable Diffusion圖像生成 296
8.4.1 數(shù)據(jù)準(zhǔn)備 296
8.4.2 網(wǎng)絡(luò)搭建 298
8.4.3 網(wǎng)絡(luò)訓(xùn)練與預(yù)測 310
8.5 本章小結(jié) 312

第9章 遷移學(xué)習(xí)與域自適應(yīng) 313
9.1 遷移學(xué)習(xí)簡介 314
9.1.1 遷移學(xué)習(xí)的定義 314
9.1.2 為什么需要遷移學(xué)習(xí) 315
9.1.3 遷移學(xué)習(xí)的分類 316
9.1.4 度量準(zhǔn)則 318
9.2 經(jīng)典的遷移學(xué)習(xí)算法 319
9.2.1 基于深度遷移的finetune模型 319
9.2.2 基于對抗學(xué)習(xí)的遷移學(xué)習(xí) 320
9.2.3 基于對齊的遷移學(xué)習(xí) 324
9.2.4 基于偽標(biāo)簽的遷移學(xué)習(xí) 326
9.2.5 其他遷移學(xué)習(xí)損失函數(shù) 328
9.3 遷移學(xué)習(xí)圖像分類實戰(zhàn) 328
9.3.1 數(shù)據(jù)和網(wǎng)絡(luò)準(zhǔn)備工作 329
9.3.2 基于微調(diào)的遷移學(xué)習(xí) 335
9.3.3 基于對齊的遷移學(xué)習(xí) 338
9.3.4 基于對抗的遷移學(xué)習(xí) 343
9.3.5 基于目標(biāo)域標(biāo)簽互信息的遷移學(xué)習(xí) 347
9.4 本章小結(jié) 351

參考文獻 352