《AI創(chuàng)意繪畫與視頻制作：基于Stable Diffusion和ControlNet》將帶領(lǐng)讀者探索AI繪畫和短視頻創(chuàng)作的奇妙世界。本書詳細介紹Stable Diffusion的基本概念、原理及其主要功能的使用，闡述如何使用提示詞生成創(chuàng)意無限的圖像，如何使用ControlNet插件對圖像進行精細調(diào)整，如何使用Stable Diffusion結(jié)合各類插件和第三方應(yīng)用進行視頻制作。書中精選了大量案例，介紹了AI工具文生圖、圖生圖的創(chuàng)作技巧，以及當前主流短視頻平臺中使用Stable Diffusion制作短視頻所需的熱門技術(shù)工具，如Deforum、LoopBack Wave、DepthMap、TemporalKit和EbSynth等。 《AI創(chuàng)意繪畫與視頻制作：基于Stable Diffusion和ControlNet》內(nèi)容豐富，理論與實踐并重，既適合初學(xué)者作為自學(xué)參考書，也適合設(shè)計師、數(shù)字媒體從業(yè)者作為參考手冊，同時還可以作為高等院校數(shù)字媒體等相關(guān)專業(yè)的教學(xué)用書。

本書針對Stable Diffusion的使用給出了詳細的說明，并通過多種藝術(shù)風格的案例介紹了軟件的使用技巧，并對提示詞的使用，給出了大量案例。

書中對于制作高品質(zhì)、高精度圖像也給出了很多可供參考的方案 ，詳細介紹了ControlNET插件的原理及其在精細化圖像如手部繪制等方面的運用。

介紹了使用Deforum、LoopBack和FILM制作動畫與短視頻的技巧，以及使用Depthap、EbSynth、TemporalKit生成絲滑動畫的多種技巧。

AI創(chuàng)意繪畫一書結(jié)合了作者長期研究虛擬人和AI繪畫技術(shù)的成果 ，從原理、技術(shù)與創(chuàng)意三個方面介紹了AI繪畫與短視頻制作的 技術(shù)要點，對于希望運用AI創(chuàng)作的讀者是一本極好的入門教程 。

以ChatGPT為代表的AIGC（人工智能制作內(nèi)容）技術(shù)的興起，掀起了大眾學(xué)習(xí)AI技術(shù)和工具的熱潮，除了ChatGPT和GPT-4大型語言模型應(yīng)用火熱之外，通過AI自動生成各種風格的圖像的技術(shù)也進入人們的視野，這其中包含了Midjourney和Stable Diffusion等。傳統(tǒng)的數(shù)字藝術(shù)中，如果我們要制作人物動畫和角色圖像，需要做草圖，通過3D建模工具進行建模并賦予貼圖，同時還需要引入光源和渲染模式，制作工序相當復(fù)雜而且耗時較長。然而，AI繪圖工具徹底改變了這一切，通過提示詞（或者在參考圖的引導(dǎo)下）即可迅速生成需要的
圖像。
基于開源方式的Stable Diffusion由于靈活度和自由度更高，使其得到了廣泛的使用，大量基于Stable Diffusion制作的精美圖像和視頻也出現(xiàn)在各個主流短視頻平臺上。遺憾的是，市面上系統(tǒng)介紹Stable Diffusion與CoutrolNet結(jié)合進行繪畫與視頻制作的書很少，網(wǎng)絡(luò)上的知識又呈現(xiàn)碎片化，想要系統(tǒng)掌握Stable Diffusion和ControlNet的應(yīng)用比較困難。基于此，本書從基礎(chǔ)知識著手，詳細介紹如何進行工具的安裝，如何使用文生圖和圖生圖模塊生成相關(guān)圖像，如何使用提示詞，如何結(jié)合ControlNet，以及如何使用Deforum等插件進行AI生成視頻�？偟膩碚f，這是一本端到端關(guān)于Stable Diffusion的技術(shù)大全，如果讀者想從事AI繪畫方面的工作或正向著成為AI藝術(shù)家而努力，那么閱讀這本書就夠了。
本書主要包含3個部分，首先是基礎(chǔ)知識部分，從人工智能的發(fā)展講述生成式AI的發(fā)展歷程，以及AIGC的技術(shù)棧和當前熱門產(chǎn)品，讓讀者對AI有一個清晰的認識。第二部分介紹Stable Diffusion的主要功能，以及如何使用ControlNet插件對圖像進行精細調(diào)整，同時結(jié)合大量熱門技術(shù)和方法，詳盡介紹如何生成當前主流短視頻平臺的AI圖像。最后一部分介紹如何使用Stable Diffusion結(jié)合各類插件和第三方應(yīng)用進行視頻制作，使得非藝術(shù)科班的讀者也有機會做出和大師媲美的作品。
技術(shù)的發(fā)展速度超出想象，為了寫作本書，筆者收集了大量的信息，以及研究并實踐了最先進的AI繪畫技術(shù)和熱門方案，盡力為讀者提供翔實的介紹和詳盡的操作步驟說明，以期待更多的讀者加入AI繪畫的隊伍中，共同促進AI繪畫技術(shù)和方案的成熟。
由于編者水平有限，書中難免存在不當之處，敬請廣大讀者和專家批評指正。
在這里特別感謝王金柱編輯給予的幫助和指導(dǎo)，以及妻子姚女士對我的鼓勵和支持。

馬健健
2023年7月

馬健健，上海交通大學(xué)程碩士，先后供職于平安、惠普、美國強 生等國內(nèi)外知名公司，擔任軟件架構(gòu)和數(shù)據(jù)分析技術(shù)經(jīng)理，擁有 十余年豐富的軟件開發(fā)架構(gòu)和技術(shù)管理經(jīng)驗。目前就職于上海某 知名外資公司擔任數(shù)據(jù)平臺技術(shù)經(jīng)理，主要負責大數(shù)據(jù)處理、機 器學(xué)習(xí)應(yīng)用和數(shù)據(jù)挖掘方面的研究和實施工作，長期研究AI繪畫 與虛擬人技術(shù)，制作了大量AI繪畫和視頻作品，出版《虛擬偶像 AI實現(xiàn)》一書。

目錄

第1章　概述1

1.1　為什么使用Stable Diffusion1

1.2　AI圖像生成模型介紹2

1.3　從小白到AI藝術(shù)家4

1.4　總結(jié)4

1.5　練習(xí)4

第2章　人工智能與圖像生成技術(shù)5

2.1　人工智能的發(fā)展歷程5

2.2　圖像生成技術(shù)的基本原理6

2.2.1　深度神經(jīng)網(wǎng)絡(luò)圖像生成技術(shù)6

2.2.2　Stable Diffusion的關(guān)鍵組件7

2.3　深度學(xué)習(xí)框架PyTorch基礎(chǔ)9

2.4　AIGC技術(shù)框架介紹10

2.4.1　GAN對抗網(wǎng)絡(luò)10

2.4.2　VAE變分自編碼器12

2.4.3　NeRF輻射神經(jīng)網(wǎng)絡(luò)12

2.4.4　CLIP對比性語言－圖像預(yù)訓(xùn)練模型12

2.4.5　CodeFormer人臉清晰化模型13

2.5　總結(jié)14

2.6　練習(xí)14

第3章　Stable Diffusion技術(shù)15

3.1　Stable Diffusion的基本概念和原理15

3.2　安裝Stable Diffusion Web UI18

3.3　Stable Diffusion的界面24

3.4　Stable Difussion的模型25

3.5　生成多個角色同框28

3.6　Inpaint繪制34

3.7　Outpaint繪制37

3.8　修復(fù)面部細節(jié)39

3.9　總結(jié)42

3.10　練習(xí)42

第4章　ControlNet的使用43

4.1　ControlNet的基本概念43

4.2　ControlNet的安裝44

4.3　ControlNet的使用方法45

4.4　ControlNet中的模型50

4.4.1　案例一：不同模型下的效果51

4.4.2　案例二：不同模型下的效果56

4.4.3　ControlNet中的Inpaint63

4.5　總結(jié)65

4.6　練習(xí)65

第5章　結(jié)合Stable Diffusion和ControlNet進行AI繪畫創(chuàng)作66

5.1　Stable Diffusion和ControlNet結(jié)合使用的優(yōu)勢66

5.2　使用ControlNet 生成不同角度的圖像67

5.3　ControlNet和Latent Couple結(jié)合使用69

5.4　ControlNet生成線稿圖76

5.5　使用LoRA進行高階參數(shù)微調(diào)生成精細圖像79

5.6　ControlNet對光線的控制 84

5.7　Depth Library修復(fù)手部88

5.8　總結(jié)93

5.9　練習(xí)93

第6章　Prompt提示詞設(shè)計94

6.1　什么是Prompt94

6.2　Prompt的基本構(gòu)成97

6.2.1　主語97

6.2.2　修飾語104

6.3　正向提示詞和反向提示詞 127

6.4　人物服裝類提示詞135

6.5　角色鎧甲類提示詞148

6.6　動物圖像的生成154

6.6.1　老虎154

6.6.2　鳥類156

6.6.3　獅子158

6.6.4　鳳凰159

6.6.5　熊貓160

6.7　參數(shù)的使用162

6.7.1　CFG Scale（提示詞引導(dǎo)系數(shù)）162

6.7.2　Sampling method（采樣方法）163

6.7.3　Seed（種子）166

6.7.4　Sampling steps（穩(wěn)定擴散）168

6.7.5　 分辨率169

6.8　總結(jié)170

6.9　練習(xí)170

第7章　Stable Diffusion與ControlNet繪畫實例171

7.1　通過ControlNet生成漫畫171

7.2　通過Stable Diffusion和ControlNet繪制360全景圖像177

7.3　生成QR二維碼182

7.4　生成卡通風格的小屋184

7.5　總結(jié)186

7.6　練習(xí)186

第8章　動畫的制作187

8.1　使用Deforum插件制作動畫 188

8.1.1　什么是Deforum188

8.1.2　安裝Deforum188

8.1.3　相關(guān)參數(shù)介紹189

8.1.4　Deforum里的數(shù)學(xué)公式192

8.1.5　Deforum制作無限循環(huán)動畫193

8.2　使用LoopBack Wave來制作絲滑動畫200

8.2.1　什么是LoopBack Wave200

8.2.2　安裝LoopBack Wave200

8.2.3　LoopBack Wave腳本的使用200

8.3　使用FILM對動畫進行補幀204

8.3.1　什么是FILM204

8.3.2　安裝FILM 206

8.3.3　FILM工具的使用208

8.4　使用DepthMap生成3D繪畫實現(xiàn)動畫效果209

8.4.1　什么是DepthMap209

8.4.2　安裝DepthMap209

8.4.3　相關(guān)參數(shù)介紹210

8.4.4　DepthMap插件的使用212

8.5　使用EbSynth 和TemporalKit實現(xiàn)高質(zhì)量絲滑效果213

8.5.1　安裝TemporKit213

8.5.2　使用TemporKit生成關(guān)鍵幀214

8.5.3　使用EbSynth生成風格化圖像序列217

8.6　總結(jié) 220

8.7　練習(xí)220