本書針對(duì)當(dāng)前火熱且應(yīng)用前景廣闊的自然語(yǔ)言處理（NLP），介紹了深度學(xué)習(xí)的技術(shù)原理及其在自然語(yǔ)言處理中的應(yīng)用；簡(jiǎn)要分析了該領(lǐng)域各個(gè)應(yīng)用方向上的相關(guān)模型和關(guān)鍵技術(shù)，包括Transformer、BERT、GPT，等等；匯集了眾多論文中的重要思想和研究成果；系統(tǒng)梳理了技術(shù)發(fā)展脈絡(luò)。此外，本書還介紹了如何使用深度學(xué)習(xí)技術(shù)來(lái)訓(xùn)練模型，并分析了其在應(yīng)用中的表現(xiàn)及優(yōu)化手段，以幫助讀者更好地將理論應(yīng)用于實(shí)踐。本書內(nèi)容通俗易懂，可作為入門自然語(yǔ)言處理的參考書。

1. Meta資深工程師、數(shù)據(jù)科學(xué)家、機(jī)器學(xué)習(xí)算法研發(fā)專業(yè)人員執(zhí)筆，傳遞值得借鑒學(xué)習(xí)的經(jīng)驗(yàn)和見解。

2. 從研究員和實(shí)踐者的雙重角度出發(fā)，系統(tǒng)介紹深度學(xué)習(xí)技術(shù)原理及其在自然語(yǔ)言處理中的應(yīng)用。

3. 匯集該領(lǐng)域的重要思想和研究成果，清晰梳理自然語(yǔ)言處理技術(shù)發(fā)展脈絡(luò)，幫助讀者更好地了解該領(lǐng)域的發(fā)展歷程和趨勢(shì)。

4. 內(nèi)容新穎全面，聚焦前沿，講解深入淺出、通俗易懂，適合入門自然語(yǔ)言處理，是一本不容錯(cuò)過(guò)的優(yōu)質(zhì)參考書。

張鐳 目前在Meta公司從事機(jī)器學(xué)習(xí)算法研發(fā)。美國(guó)伊利諾伊大學(xué)芝加哥分校計(jì)算機(jī)科學(xué)博士，主要研究領(lǐng)域?yàn)樽匀徽Z(yǔ)言處理、機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘。在國(guó)內(nèi)外學(xué)術(shù)期刊和會(huì)議上已發(fā)表20多篇學(xué)術(shù)文章，獲得多項(xiàng)美國(guó)專利，合著有Mining Text Data等4本關(guān)于文本數(shù)據(jù)挖掘和大數(shù)據(jù)計(jì)算的圖書，并長(zhǎng)期受邀擔(dān)任自然語(yǔ)言處理國(guó)際期刊評(píng)委和國(guó)際會(huì)議程序委員會(huì)委員。

前言 iii

第 1章 緒論 1

1.1 機(jī)器學(xué)習(xí)簡(jiǎn)介 1

1.1.1 機(jī)器學(xué)習(xí)的發(fā)展歷程 1

1.1.2 機(jī)器學(xué)習(xí)的算法分類 4

1.2 深度學(xué)習(xí)簡(jiǎn)介 5

1.3 自然語(yǔ)言處理簡(jiǎn)介 7

1.3.1 自然語(yǔ)言處理的發(fā)展歷程 7

1.3.2 自然語(yǔ)言處理的研究方向 8

1.3.3 自然語(yǔ)言理解的主要任務(wù) 8

1.3.4 自然語(yǔ)言生成的任務(wù) 14

1.3.5 自然語(yǔ)言處理面臨的挑戰(zhàn) 15

1.4 自然語(yǔ)言處理與機(jī)器學(xué)習(xí)和深度學(xué)習(xí) 16

第 2章 深度學(xué)習(xí)基礎(chǔ) 17

2.1 前饋神經(jīng)網(wǎng)絡(luò) 17

2.2 卷積神經(jīng)網(wǎng)絡(luò) 20

2.3 循環(huán)神經(jīng)網(wǎng)絡(luò) 24

2.4 長(zhǎng)短期記憶網(wǎng)絡(luò) 26

2.5 記憶網(wǎng)絡(luò)和神經(jīng)圖靈機(jī) 28

2.6 圖神經(jīng)網(wǎng)絡(luò) 30

2.7 深度生成模型 33

2.7.1 自編碼器和變分自編碼器 34

2.7.2 生成對(duì)抗網(wǎng)絡(luò) 39

2.8 Transformer 39

2.8.1 Transformer的編碼模塊 41

2.8.2 Transformer的解碼模塊 42

第3章 詞表征 44

3.1 語(yǔ)言模型 45

3.2 基于矩陣的詞分布表征模型 46

3.2.1 潛在語(yǔ)義分析 46

3.2.2 GloVe 47

3.3 基于聚類的詞分布表征模型 48

3.4 基于神經(jīng)網(wǎng)絡(luò)的詞分布表征模型 49

3.4.1 NNLM 50

3.4.2 RNNLM 52

3.4.3 Collobert-Weston模型 53

3.4.4 Word2Vec 54

3.4.5 ELMo 58

3.4.6 ULMFit 60

3.4.7 GPT 61

3.4.8 BERT 62

3.4.9 T5 64

3.5 跨語(yǔ)言的詞嵌入模型 64

3.5.1 基于詞對(duì)齊 65

3.5.2 基于預(yù)訓(xùn)練的方法 66

3.6 其他表征 67

第4章 注意力機(jī)制 69

4.1 注意力機(jī)制的由來(lái) 69

4.2 注意力機(jī)制的擴(kuò)展 72

4.2.1 全局注意力和局部注意力 72

4.2.2 自注意力 75

4.3 NTM和MemNN的注意力機(jī)制 77

4.3.1 NTM的注意力機(jī)制 78

4.3.2 MemN2N的注意力機(jī)制 79

4.4 指針網(wǎng)絡(luò)的注意力機(jī)制 81

第5章 遷移學(xué)習(xí) 83

5.1 遷移學(xué)習(xí)的定義和分類 83

5.2 領(lǐng)域自適應(yīng) 86

5.2.1 基于樣本的遷移學(xué)習(xí) 86

5.2.2 基于特征映射的遷移學(xué)習(xí) 88

5.2.3 基于對(duì)抗的深度遷移學(xué)習(xí) 91

5.3 多任務(wù)學(xué)習(xí) 91

5.4 序列遷移學(xué)習(xí) 94

5.4.1 預(yù)訓(xùn)練語(yǔ)言模型 95

5.4.2 微調(diào) 95

5.5 跨語(yǔ)言的遷移學(xué)習(xí) 97

第6章 強(qiáng)化學(xué)習(xí) 98

6.1 強(qiáng)化學(xué)習(xí)的定義 99

6.1.1 馬爾可夫決策過(guò)程 99

6.1.2 強(qiáng)化學(xué)習(xí)的模型 100

6.1.3 智能體的策略 101

6.1.4 價(jià)值函數(shù) 101

6.2 貝爾曼方程 103

6.3 強(qiáng)化學(xué)習(xí)的分類 104

6.3.1 有模型學(xué)習(xí) 105

6.3.2 免模型學(xué)習(xí) 107

6.3.3 基于值函數(shù)和基于策略函數(shù)的學(xué)習(xí) 112

6.4 深度強(qiáng)化學(xué)習(xí) 115

6.5 深度強(qiáng)化學(xué)習(xí)在NLP中的應(yīng)用 116

第7章 機(jī)器翻譯 117

7.1 機(jī)器翻譯的發(fā)展歷程 117

7.2 神經(jīng)機(jī)器翻譯 118

7.3 基于RNN的Seq2Seq模型 120

7.4 基于CNN的Seq2Seq模型 124

7.5 神經(jīng)機(jī)器翻譯的策略 126

7.5.1 解碼策略 126

7.5.2 估計(jì)softmax函數(shù)計(jì)算 127

7.5.3 縮小詞典 127

7.5.4 處理生僻詞和未知詞 128

7.6 機(jī)器翻譯的評(píng)價(jià)方法 129

7.6.1 人工評(píng)價(jià) 130

7.6.2 下游系統(tǒng)評(píng)價(jià) 130

7.6.3 BLEU 130

第8章 文本摘要 132

8.1 抽取式摘要 132

8.1.1 傳統(tǒng)機(jī)器學(xué)習(xí)方法 133

8.1.2 深度學(xué)習(xí)方法 135

8.2 生成式摘要 136

8.2.1 傳統(tǒng)機(jī)器學(xué)習(xí)方法 137

8.2.2 深度學(xué)習(xí)方法 137

8.3 文本摘要的評(píng)價(jià) 139

第9章 自動(dòng)問答 140

9.1 基于檢索的自動(dòng)問答 140

9.1.1 文本檢索模塊 141

9.1.2 文本理解模塊 143

9.2 基于知識(shí)庫(kù)的自動(dòng)問答 146

9.3 基于社區(qū)的自動(dòng)問答 148

9.3.1 專家推薦 148

9.3.2 相似問題檢索 149

9.3.3 答案質(zhì)量評(píng)估 149

9.4 深度自動(dòng)問答系統(tǒng) 150

9.4.1 抽取式機(jī)器閱讀理解 150

9.4.2 生成式機(jī)器閱讀理解 151

9.5 自動(dòng)問答系統(tǒng)的評(píng)價(jià) 151

第 10章 對(duì)話系統(tǒng) 153

10.1 面向任務(wù)的對(duì)話系統(tǒng) 154

10.1.1 自然語(yǔ)言理解 155

10.1.2 對(duì)話管理 155

10.1.3 自然語(yǔ)言生成 157

10.2 開放域?qū)υ捪到y(tǒng) 158

10.2.1 檢索式方法 159

10.2.2 生成式方法 159

10.2.3 混合方法 160

10.2.4 開放域?qū)υ捪到y(tǒng)的關(guān)鍵問題 160

10.3 對(duì)話系統(tǒng)的評(píng)測(cè) 162

第 11章 情感分析 164

11.1 情感分析的分類 165

11.1.1 文檔級(jí)情感分析 166

11.1.2 句子級(jí)情感分析 167

11.1.3 方面級(jí)情感分析 168

11.1.4 監(jiān)督學(xué)習(xí)和基于詞典的方法比較 169

11.2 方面和實(shí)體提取 170

11.2.1 挖掘頻繁出現(xiàn)的名詞短語(yǔ) 170

11.2.2 利用情感詞與目標(biāo)詞之間的語(yǔ)法關(guān)系 170

11.2.3 應(yīng)用監(jiān)督學(xué)習(xí)模型 171

11.2.4 使用主題模型 171

11.3 情感詞典 172

11.3.1 基于詞典的方法 172

11.3.2 基于語(yǔ)料庫(kù)的方法 172

11.4 多模態(tài)情感分析 173

第 12章 ChatGPT 174

12.1 大型語(yǔ)言模型 174

12.1.1 語(yǔ)言模型的演化 175

12.1.2 大型語(yǔ)言模型的訓(xùn)練 176

12.1.3 語(yǔ)境學(xué)習(xí) 176

12.1.4 提示工程 177

12.2 基于人工反饋的強(qiáng)化學(xué)習(xí)方法 179

12.3 生成ChatGPT 180

12.3.1 步驟1：微調(diào)GPT-3.5 180

12.3.2 步驟2：訓(xùn)練獎(jiǎng)勵(lì)模型 180

12.3.3 步驟3：利用強(qiáng)化學(xué)習(xí)微調(diào)ChatGPT 181

12.4 ChatGPT的發(fā)展 181

參考文獻(xiàn) 183