本書以AI圖像生成為主線,串聯(lián)講解了Stable Diffusion、DALL·E、Imagen、Midjourney等模型的技術(shù)方案,并帶著讀者訓(xùn)練一個自己專屬的AI圖像生成模型。
本書共6章。第1章先介紹身邊的AIGC產(chǎn)品,再講解AI圖像生成相關(guān)的深度學(xué)習(xí)基礎(chǔ)知識,包括神經(jīng)網(wǎng)絡(luò)和多模態(tài)模型的基礎(chǔ)知識。第2章講解AI圖像生成技術(shù),從VAE到GAN到基于流的模型再到擴散模型的演化,并詳細介紹擴散模型的算法原理和組成模塊。第3章講解Stable Diffusion模型的核心技術(shù)。第4章講解DALL·E 2、Imagen、DeepFloyd和Stable Diffusion圖像變體模型的核心技術(shù)。第5章講解Midjourney、SDXL和DALL·E 3的核心技術(shù)。第6章是項目實戰(zhàn),使用LoRA技術(shù)對Stable Diffusion模型進行微調(diào),得到特定風(fēng)格的AI圖像生成模型。
如果你已經(jīng)掌握了一些圖像生成的零散知識,但是想要形成完整的知識體系
如果你好奇Midjourney、Stable Diffusion、DALL·E等模型,在實現(xiàn)上有何不同
如果你想自己動手訓(xùn)練一個圖像生成模型
那么可以讀一讀這本書,系統(tǒng)、快速地構(gòu)建AI圖像生成的知識脈絡(luò)!
南柯,某頭部互聯(lián)網(wǎng)公司 AIGC 團隊技術(shù)負責(zé)人,高級算法專家,極客時間AI 繪畫核心技術(shù)與實戰(zhàn)專欄作者,擁有十多年計算機視覺領(lǐng)域從業(yè)經(jīng)驗,帶領(lǐng)團隊推動多模態(tài)生成,尤其是 AI 圖像生成與編輯、多模態(tài)大語言模型、數(shù)字人等熱點方向的技術(shù)建設(shè)。在 ICCV 和AAAI 年會等 AI 領(lǐng)域頂級會議上發(fā)表過多篇論文,擁有 100 多項專利。
第 1章 AIGC基礎(chǔ) 1
1.1 身邊的AIGC 1
1.1.1 圖像生成和編輯類工具 1
1.1.2 文字提效類工具 2
1.1.3 音頻創(chuàng)作類工具 4
1.2 神經(jīng)網(wǎng)絡(luò) 4
1.2.1 人工神經(jīng)元 5
1.2.2 激活函數(shù) 6
1.2.3 人工神經(jīng)網(wǎng)絡(luò) 7
1.2.4 損失函數(shù) 9
1.2.5 優(yōu)化器 9
1.2.6 卷積神經(jīng)網(wǎng)絡(luò) 10
1.3 多模態(tài)模型 13
1.3.1 認識模態(tài) 14
1.3.2 典型多模態(tài)模型 15
1.3.3 參數(shù)量 16
1.3.4 計算量 17
1.4 小結(jié) 17
第 2章 圖像生成模型:GAN和擴散模型 19
2.1 圖像生成模型的技術(shù)演化 19
2.1.1 第 一代圖像生成模型:VAE 20
2.1.2 第二代圖像生成模型:GAN 20
2.1.3 第三代圖像生成模型:基于流的模型 21
2.1.4 第四代圖像生成模型:擴散模型 21
2.1.5 第五代圖像生成模型:自回歸模型 22
2.2 舊畫師GAN 22
2.2.1 生成對抗原理 22
2.2.2 生成能力的進化 24
2.2.3 GAN時代的圖生圖 28
2.2.4 GAN的技術(shù)應(yīng)用 30
2.3 新畫師擴散模型 31
2.3.1 加噪過程:從原始圖像到噪聲圖 32
2.3.2 去噪過程:從噪聲圖到清晰圖像 33
2.3.3 訓(xùn)練過程和推理過程 35
2.3.4 擴散模型與GAN 36
2.4 擴散模型的U-Net模型 37
2.4.1 巧妙的U形結(jié)構(gòu) 37
2.4.2 損失函數(shù)設(shè)計 41
2.4.3 應(yīng)用于擴散模型 43
2.5 擴散模型的采樣器 43
2.5.1 采樣器背后的原理 44
2.5.2 如何選擇采樣器 45
2.6 訓(xùn)練一個擴散模型 46
2.6.1 初探擴散模型:輕松入門 46
2.6.2 深入擴散模型:定制藝術(shù) 50
2.7 小結(jié) 52
第3章 Stable Diffusion的核心技術(shù) 53
3.1 圖像的壓縮器VAE 53
3.1.1 從AE到VAE 54
3.1.2 圖像插值生成 58
3.1.3 訓(xùn)練餐廳評論機器人 60
3.1.4 VAE和擴散模型 61
3.2 讓模型聽話的CLIP 62
3.2.1 連接兩種模態(tài) 62
3.2.2 跨模態(tài)檢索 64
3.2.3 其他CLIP模型 67
3.2.4 CLIP和擴散模型 68
3.3 交叉注意力機制 69
3.3.1 序列、詞符和詞嵌入 69
3.3.2 自注意力與交叉注意力 71
3.3.3 多頭注意力 72
3.4 Stable Diffusion是如何工作的 77
3.4.1 Stable Diffusion的演化之路 77
3.4.2 潛在擴散模型 78
3.4.3 文本描述引導(dǎo)原理 80
3.4.4 U-Net模型實現(xiàn)細節(jié) 82
3.4.5 反向描述詞與CLIP Skip 86
3.4.6 圖生圖實現(xiàn)原理 87
3.5 小結(jié) 90
第4章 DALL·E 2、Imagen、DeepFloyd和Stable Diffusion圖像變體的
核心技術(shù) 91
4.1 里程碑DALL·E 2 91
4.1.1 DALL·E 2的基本功能概覽 91
4.1.2 DALL·E 2背后的原理 94
4.1.3 unCLIP:圖像變體的魔法 97
4.1.4 DALL·E 2的算法局限性 97
4.2 Imagen和DeepFloyd 98
4.2.1 Imagen vs DALL·E 2 98
4.2.2 Imagen的算法原理 99
4.2.3 文本編碼器:T5 vs CLIP 100
4.2.4 動態(tài)閾值策略 103
4.2.5 開源模型DeepFloyd 104
4.2.6 升級版Imagen 2 107
4.3 Stable Diffusion圖像變體 107
4.3.1 圖生圖vs圖像變體 107
4.3.2 使用Stable Diffusion圖像變體 108
4.3.3 探秘Stable Diffusion圖像變體模型背后的算法原理 110
4.4 小結(jié) 112
第5章 Midjourney、SDXL和DALL·E 3的核心技術(shù) 113
5.1 推測Midjourney的技術(shù)方案 113
5.1.1 Midjourney的基本用法 113
5.1.2 各版本演化之路 114
5.1.3 技術(shù)方案推測 117
5.2 SDXL的技術(shù)方案與使用 120
5.2.1 驚艷的繪圖能力 120
5.2.2 使用級聯(lián)模型提升效果 122
5.2.3 更新基礎(chǔ)模塊 123
5.2.4 使用SDXL模型 124
5.3 更聽話的DALL·E 3 126
5.3.1 體驗DALL·E 3的功能 126
5.3.2 數(shù)據(jù)集重新描述 127
5.3.3 生成數(shù)據(jù)有效性 128
5.3.4 數(shù)據(jù)混合策略 129
5.3.5 基礎(chǔ)模塊升級 131
5.3.6 擴散模型解碼器 133
5.3.7 算法局限性 133
5.4 小結(jié) 134
第6章 訓(xùn)練自己的Stable Diffusion 135
6.1 低成本訓(xùn)練神器LoRA 135
6.1.1 LoRA的基本原理 135
6.1.2 LoRA的代碼實現(xiàn) 136
6.1.3 用于圖像生成任務(wù) 138
6.2 Stable Diffusion WebUI體驗圖像生成 139
6.2.1 本地AI圖像生成模型 140
6.2.2 開源社區(qū)中的模型 142
6.2.3 體驗AI圖像生成功能 143
6.2.4 將多個模型進行融合 144
6.2.5 靈活的LoRA模型 146
6.3 Stable Diffusion代碼實戰(zhàn) 150
6.3.1 訓(xùn)練數(shù)據(jù)準(zhǔn)備 151
6.3.2 基礎(chǔ)模型的選擇與使用 154
6.3.3 一次完整的訓(xùn)練過程 155
6.4 小結(jié) 157