第1篇 基礎(chǔ)
第1章 從人工智能的起源到大語言模型 2
1.1 人工智能的起源 2
1.1.1 機器能思考嗎 2
1.1.2 達特茅斯會議 3
1.2 什么是機器學(xué)習(xí) 4
1.2.1 演繹推理與歸納推理 4
1.2.2 人工編程與自動編程 5
1.2.3 機器學(xué)習(xí)的過程 5
1.2.4 機器學(xué)習(xí)的分類 8
1.3 什么是神經(jīng)網(wǎng)絡(luò) 9
1.3.1 還原論與涌現(xiàn)性 9
1.3.2 神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史 10
1.3.3 神經(jīng)網(wǎng)絡(luò)基礎(chǔ) 11
1.3.4 神經(jīng)網(wǎng)絡(luò)的三要素 13
1.4 自然語言處理的發(fā)展歷程 17
1.4.1 什么是自然語言處理 17
1.4.2 文本的向量化 18
1.4.3 神經(jīng)網(wǎng)絡(luò)中的自監(jiān)督學(xué)習(xí) 21
1.5 大語言模型 24
1.5.1 什么是大語言模型 24
1.5.2 語言模型中的token 25
1.5.3 自回歸模型與文本生成 33
1.5.4 統(tǒng)一自然語言任務(wù) 41
1.5.5 大語言模型的訓(xùn)練過程 44
1.5.6 大語言模型的局限性 46
第2篇 入門
第2章 交互格式 50
2.1 Completion交互格式 50
2.2 ChatML交互格式 52
2.3 Chat Completion交互格式 54
第3章 提示工程 57
3.1 什么是提示工程 57
3.2 提示的構(gòu)成 58
3.3 提示的基礎(chǔ)技巧 62
3.3.1 在提示的末尾重復(fù)關(guān)鍵指令 63
3.3.2 使用更清晰的語法 63
3.3.3 盡量使用示例 65
3.3.4 明確要求大語言模型回復(fù)高質(zhì)量的響應(yīng) 65
3.4 Chat Completion交互格式中的提示 65
3.5 提示模板與多輪對話 69
第4章 工作記憶與長短期記憶 72
4.1 什么是工作記憶 72
4.2 減輕工作記憶的負擔 74
4.2.1 Chain-of-Thought 74
4.2.2 Self-Consistency 76
4.2.3 Least-to-Most 76
4.2.4 Tree-of-Tought和Graph -of-Tought 79
4.2.5 Algorithm-of-Tought 85
4.2.6 Chain-of-Density 88
4.3 關(guān)于大語言模型的思考能力 90
4.4 長短期記憶 91
4.4.1 什么是記憶 91
4.4.2 短期記憶 92
4.4.3 長期記憶 105
第5章 外部工具 122
5.1 為什么需要外部工具 122
5.2 什么是外部工具 122
5.3 使用外部工具的基本原理 124
5.4 基于提示的工具 126
5.4.1 Self-ask 框架 126
5.4.2 ReAct 框架 128
5.4.3 改進ReAct框架 134
5.5 基于微調(diào)的工具 137
5.5.1 Toolformer 137
5.5.2 Gorilla 140
5.5.3 function calling 141
第6章 ChatGPT接口與擴展功能詳解 149
6.1 OpenAI大語言模型簡介 149
6.2 ChatGPT擴展功能原理 151
6.2.1 網(wǎng)頁實時瀏覽 152
6.2.2 執(zhí)行Python代碼 153
6.2.3 圖像生成 154
6.2.4 本地文件瀏覽 157
6.3 Chat Completion接口參數(shù)詳解 158
6.3.1 模型響應(yīng)返回的參數(shù) 158
6.3.2 向模型發(fā)起請求的參數(shù) 159
6.4 Assistants API 162
6.4.1 工具 162
6.4.2 線程 163
6.4.3 運行 163
6.4.4 Assistants API整體執(zhí)行過程 164
6.5 GPTs與GPT商店 164
6.5.1 GPTs功能詳解 165
6.5.2 GPT商店介紹 172
6.5.3 案例：私人郵件助手 174
第3篇 進階
第7章 無梯度優(yōu)化 184
7.1 單步優(yōu)化 184
7.2 強化學(xué)習(xí)入門 188
7.3 多步優(yōu)化中的預(yù)測 191
7.4 多步優(yōu)化中的訓(xùn)練 194
7.5 多步優(yōu)化中的訓(xùn)練和預(yù)測 201
第8章 自主Agent系統(tǒng) 210
8.1 自主Agent系統(tǒng)簡介 210
8.2 自主Agent系統(tǒng)的基本組成 211
8.3 自主Agent系統(tǒng)案例分析（一） 213
8.3.1 BabyAGI 213
8.3.2 AutoGPT 216
8.3.3 BeeBot 221
8.3.4 Open Interpreter 228
8.3.5 MemGPT 232
8.4 自主Agent系統(tǒng)案例分析（二） 243
8.4.1 CAMEL 243
8.4.2 ChatEval 246
8.4.3 Generative Agents 250
第9章 微調(diào) 262
9.1 三類微調(diào)方法 262
9.2 Transformer解碼器詳解 264
9.2.1 Transformer的原始輸入 264
9.2.2 靜態(tài)編碼和位置編碼 264
9.2.3 Transformer層 265
9.3 高效參數(shù)微調(diào) 268
9.3.1 Adapter高效微調(diào) 268
9.3.2 Prompt高效微調(diào) 269
9.3.3 LoRA高效微調(diào) 272
9.3.4 高效微調(diào)總結(jié) 274
9.4 微調(diào)RAG框架 275
9.4.1 RAG框架微調(diào)概述 275
9.4.2 數(shù)據(jù)準備和參數(shù)微調(diào) 276
9.4.3 效果評估 276
第10章 大語言模型的安全技術(shù) 280
10.1 提示注入攻擊 280
10.1.1 攻擊策略 281
10.1.2 防御策略 284
10.2 越獄攻擊與數(shù)據(jù)投毒 285
10.2.1 沖突的目標與不匹配的泛化 285
10.2.2 對抗樣本 286
10.2.3 數(shù)據(jù)投毒 289
10.3 幻覺和偏見問題 292
10.4 為大語言模型添加水印 294
第4篇 展望
第11章 大語言模型的生態(tài)與未來 298
11.1 多模態(tài)大語言模型 298
11.1.1 什么是多模態(tài) 298
11.1.2 GPT-4V簡介 300
11.1.3 Gemini簡介 303
11.2 大語言模型的生態(tài)系統(tǒng) 308
11.3 大語言模型的第一性原理：尺度定律 311
11.3.1 什么是尺度定律 312
11.3.2 尺度定律的性質(zhì) 313
11.3.3 尺度定律的未來 320
11.4 通向通用人工智能：壓縮即智能 321
11.4.1 編碼與無損壓縮 322
11.4.2 自回歸與無損壓縮 331
11.4.3 無損壓縮的極限 336
11.5 圖靈機與大語言模型：可計算性與時間復(fù)雜度 342
11.5.1 圖靈機與神經(jīng)網(wǎng)絡(luò) 342
11.5.2 智能的可計算性 346
11.5.3 邏輯推理的時間復(fù)雜度 349
參考文獻 352