《神經網絡機器翻譯技術及產業(yè)應用》由百度首席技術官王海峰、百度人工智能技術委員會主席何中軍、百度技術委員會主席吳華聯合撰寫，以產業(yè)需求為牽引，介紹了新時期機器翻譯的產業(yè)需求特點、神經網絡機器翻譯的原理與方法、技術進展及產業(yè)應用。全書兼具理論與實踐，既有對原理與方法的介紹，又有豐富的產業(yè)應用案例。
《神經網絡機器翻譯技術及產業(yè)應用》共九章：
第1章 緒論，首先闡述了機器翻譯發(fā)展的時代背景和技術發(fā)展脈絡，從多個角度回顧了機器翻譯的發(fā)展歷程，介紹了當前機器翻譯的發(fā)展現狀以及產業(yè)應用需求特點和挑戰(zhàn)。
第2章 翻譯語料獲取與譯文質量評價，介紹了翻譯語料獲取的相關技術以及機器翻譯常用的評價方法，包括人工評價、自動評價、面向產業(yè)應用的評價。
第3章 神經網絡機器翻譯，首先介紹了神經網絡機器翻譯的基本原理和模型結構，接下來介紹了多種翻譯模型，后介紹了利用開源工具搭建一個神經網絡機器翻譯系統的方法。
第4章 高性能機器翻譯，結合百度、谷歌等公司的機器翻譯系統實踐，首先介紹了神經網絡機器翻譯的產業(yè)化進程，然后介紹了常用的提升系統性能的方法，后介紹了開源工具平臺中的高性能實現方案。
第5章 多語言機器翻譯，首先介紹了數據增強技術以擴充訓練數據規(guī)模，然后介紹了基于無監(jiān)督的訓練方法以及多種翻譯模型，后介紹了近年來快速發(fā)展的多語言預訓練技術及其在多語言機器翻譯上的應用。本章結尾還結合百度、谷歌、臉書等公司的實踐，介紹了大規(guī)模多語言機器翻譯系統。
第6章 領域自適應，介紹了領域自適應技術，通過數據增強、優(yōu)化訓練等多種手段，使翻譯模型在具體領域上獲得較高的翻譯質量。
第7章 機器同聲傳譯，首先介紹了機器同傳的主要挑戰(zhàn)和發(fā)展現狀，然后介紹了目前常用的機器同傳數據集和評價方式，后介紹了如何使用開源工具搭建一個機器同傳系統。
第8章 機器翻譯產業(yè)化應用，著重介紹了現實生活中機器翻譯豐富的產品形式和廣泛應用。
第9章 總結與展望，對全書進行了總結，并對機器翻譯的未來發(fā)展進行展望。
適讀人群 ：研究生、科研人員、從業(yè)者等
◆系統介紹神經網絡機器翻譯原理和主流技術
◆結合豐富實例詳盡講解關鍵技術實現
◆詳細介紹產業(yè)級實用系統及產業(yè)應用
語言是人類區(qū)別于其他生物重要的特征之一，是人類溝通和交流的主要方式。地球上有數千種語言，體現了人類的社會多元化和文明多樣性。但同時，跨越語言障礙、自由溝通交流也是人類長久以來的夢想。機器翻譯技術的進步正在讓夢想成為現實。尤其是近年來神經網絡翻譯快速發(fā)展，機器翻譯質量大幅提高，能夠為更廣泛的應用提供高品質、高效率的翻譯服務，同時也激發(fā)了豐富多樣的翻譯需求。技術的進步、時代的召喚加速了機器翻譯的大規(guī)模產業(yè)應用，機器翻譯在經濟社會進步、文化交流拓展等方面發(fā)揮著越來越大的作用。
本書作者多年來致力于機器翻譯技術研究和產業(yè)化工作。在本書中，作者以產業(yè)需求為牽引，分析了新時期機器翻譯的產業(yè)需求特點和挑戰(zhàn)，介紹了神經網絡翻譯的基本理論、前沿技術，以及面向產業(yè)應用的實用系統開發(fā)方法。本書特色如下：，緊扣產業(yè)需求特點和產業(yè)應用實踐，厘清技術發(fā)展脈絡；第二，著重介紹現階段主流技術，力圖使讀者能夠快速了解和掌握方法；第三，注重實踐，讀者可以按照書中講述，在開源平臺上快速搭建實用的機器翻譯系統，學以致用；第四，力求語言簡潔，輔以圖表幫助讀者理解相關原理和方法。
全書共9章。第1章結合時代背景，簡要概述機器翻譯的發(fā)展歷程，分析機器翻譯的產業(yè)需求特點及技術挑戰(zhàn)。第2章主要探討機器翻譯語料獲取技術，大規(guī)模高質量語料是構建機器翻譯系統的重要基礎。此外，該章還將討論機器翻譯常用的評價方法，包括人工評價、自動評價以及面向產業(yè)應用的評價等。第3章介紹目前主流的機器翻譯方法神經網絡機器翻譯，包括基本原理、主要模型結構（循環(huán)神經網絡、卷積神經網絡、全注意力機制網絡、非自回歸網絡等），以及如何利用開源工具搭建神經網絡機器翻譯系統。第4章結合產業(yè)化實踐，分析高性能機器翻譯系統，包括模型結構優(yōu)化、模型壓縮、系統部署等。第5章講述多語言機器翻譯，針對資源稀缺、語言數量多、部署難度大等技術挑戰(zhàn)，從數據增強、多語言翻譯統一建模、多語言預訓練等方面展開分析，并結合百度、谷歌、臉書等公司的實踐，介紹大規(guī)模多語言機器翻譯系統。第6章探討領域自適應技術，介紹如何通過數據增強、優(yōu)化訓練、術語翻譯、記憶庫等，進一步提升翻譯模型在具體領域上的翻譯質量，滿足不同場景的實際需求。第7章分析機器同聲傳譯，包括機器同傳的主要挑戰(zhàn)、發(fā)展現狀、主流技術（級聯模型以及端到端模型等）、開放數據集、評價方式等，同時介紹如何使用開源工具搭建機器同傳系統。第8章介紹機器翻譯豐富的產品形式和廣泛的產業(yè)應用。第9章對全書進行總結，并對機器翻譯的未來發(fā)展進行展望。
本書由王海峰、何中軍、吳華編著。本書編寫過程中，還得到很多專家、朋友的大力幫助。宗成慶研究員、劉挺教授、周明博士對本書的結構和寫作思路提出了寶貴建議。劉占一、劉璇、孫萌、張睿卿、高鵬至、張力文對本書的部分內容進行了校對，并在參考文獻整理、開源系統實現等方面做了細致工作。在此表示衷心的感謝！希望本書能夠對相關領域的學生、科研人員、技術開發(fā)人員以及語言服務行業(yè)從業(yè)人員等有所幫助。
技術發(fā)展日新月異，寫作過程如履薄冰。受作者水平所限，掛一漏萬，錯謬難免。歡迎讀者提出寶貴意見，不勝感激！
作者
2022年8月于北京
王海峰，百度首席技術官，深度學習技術及應用國家工程研究中心主任。國際計算語言學學會（ACL）首位華人主席、ACL亞太分會創(chuàng)始主席、ACL Fellow、IEEE Fellow、CAAI Fellow。長期從事機器翻譯、自然語言處理、深度學習等人工智能技術的研究及產業(yè)化工作。以完成人身份獲國家技術發(fā)明二等獎、國家科技進步二等獎、中國專利金獎、北京市科技進步一等獎、中國電子學會科技進步一等獎，獲光華工程科技獎、全國創(chuàng)新爭先獎、吳文俊人工智能杰出貢獻獎等。
何中軍，百度人工智能技術委員會主席。長期從事機器翻譯研究與開發(fā)，并致力于推動機器翻譯大規(guī)模產業(yè)化應用。曾獲國家科技進步二等獎、北京市科技進步一等獎、中國電子學會科技進步一等獎、中國專利銀獎等多項獎勵。被評為中國電子學會優(yōu)秀科技工作者北京青年榜樣等。
吳華，百度技術委員會主席。長期從事機器翻譯、自然語言處理、機器學習等技術的研究及產業(yè)化工作。曾獲國家技術發(fā)明二等獎、國家科技進步二等獎、中國專利金獎、北京市科技進步一等獎、中國電子學會科技進步一等獎。被評為杰出工程師青年北京學者等。
第1章 緒論 1
1.1 機器翻譯發(fā)展簡介 3
1.2 機器翻譯代表性方法 6
1.2.1 基于規(guī)則的機器翻譯 6
1.2.2 統計機器翻譯 8
1.2.3 神經網絡機器翻譯 11
1.3 發(fā)展現狀 13
1.4 產業(yè)應用需求特點及挑戰(zhàn) 15
1.4.1 高翻譯質量 15
1.4.2 高系統性能 17
1.4.3 多語言翻譯 18
1.4.4 領域自適應 19
1.4.5 跨模態(tài)翻譯 20
1.5 本書結構 21
參考文獻 24
第2章 翻譯語料獲取與譯文質量評價 27
2.1 概述 28
2.2 機器翻譯語料庫類型 31
2.2.1 雙語語料庫 31
2.2.2 單語語料庫 33
2.3 公開語料庫及系統評測 34
2.3.1 語言數據聯盟與NIST評測 34
2.3.2 歐洲議會語料庫與WMT評測 35
2.3.3 語音翻譯語料庫與IWSLT評測 35
2.3.4 中文語言資源聯盟與CCMT評測 36
2.4 從互聯網獲取機器翻譯語料 36
2.4.1 互聯網雙語語料存在形式 37
2.4.2 互聯網語料常見問題 39
2.4.3 雙語語料挖掘與加工 40
2.5 機器翻譯質量評價 44
2.5.1 人工評價 44
2.5.2 自動評價 46
2.5.3 面向產業(yè)應用的評價 53
參考文獻 55
第3章 神經網絡機器翻譯 57
3.1 概述 59
3.2 基于循環(huán)神經網絡的模型 62
3.2.1 基本模型 63
3.2.2 雙向編碼 65
3.2.3 注意力機制 66
3.2.4 長短時記憶與門控循環(huán)單元 68
3.3 基于卷積神經網絡的翻譯模型 71
3.4 全注意力模型 75
3.4.1 基本思想 76
3.4.2 模型結構 78
3.4.3 性能分析 79
3.5 非自回歸翻譯模型 80
3.6 搭建一個神經網絡機器翻譯系統 85
3.6.1 環(huán)境準備 85
3.6.2 模型訓練 86
3.6.3 解碼 88
3.6.4 效果評估 88
參考文獻 89
第4章 高性能機器翻譯 93
4.1 概述 94
4.2 早期產業(yè)化神經網絡機器翻譯系統 96
4.2.1 百度神經網絡機器翻譯系統 97
4.2.2 谷歌神經網絡機器翻譯系統 101
4.3 Transformer模型優(yōu)化 104
4.3.1 高效Transformer 105
4.3.2 針對機器翻譯的優(yōu)化 109
4.4 模型壓縮 112
4.4.1 剪枝 112
4.4.2 量化 115
4.4.3 知識蒸餾 119
4.5 系統部署 121
4.5.1 分布式系統部署 121
4.5.2 智能硬件設備 122
4.6 開源工具 123
參考文獻 124
第5章 多語言機器翻譯 131
5.1 概述 133
5.2 數據增強 134
5.2.1 基于樞軸語言的合成語料庫方法 134
5.2.2 回譯技術 136
5.3 無監(jiān)督機器翻譯 138
5.3.1 基本原理 139
5.3.2 跨語言向量映射 140
5.3.3 基于去噪自編碼器和回譯技術的翻譯模型 142
5.3.4 基于對偶學習的機器翻譯模型 144
5.4 多語言翻譯統一建模 145
5.4.1 基于多任務學習的翻譯模型 146
5.4.2 基于語言標簽的多語言翻譯模型 148
5.5 多語言預訓練 151
5.5.1 預訓練技術簡介 152
5.5.2 多語言預訓練模型 158
5.5.3 方法比較 163
5.6 多語言機器翻譯系統 165
5.6.1 百度多語言機器翻譯 165
5.6.2 谷歌多語言機器翻譯 166
5.6.3 臉書多語言機器翻譯 168
參考文獻 169
第6章 領域自適應 177
6.1 概述 179
6.2 領域數據增強 180
6.2.1 領域數據聚類 180
6.2.2 領域數據篩選 182
6.2.3 領域數據擴充 184
6.3 模型訓練及優(yōu)化 184
6.3.1 預訓練加微調技術 185
6.3.2 領域數據加權訓練 186
6.3.3 模型參數部分調優(yōu) 187
6.3.4 基于知識蒸餾的領域自適應 188
6.3.5 基于課程表學習的領域自適應 189
6.4 專有名詞和術語的翻譯 190
6.4.1 前處理技術 191
6.4.2 后處理技術 193
6.4.3 融合專名/術語翻譯的解碼算法 193
6.5 翻譯記憶庫 195
6.5.1 基于記憶庫的數據增強 196
6.5.2 融合記憶庫的翻譯模型 197
6.5.3 k-近鄰翻譯模型 198
6.6 面向產業(yè)應用的領域自適應解決方案 199
參考文獻 200
第7章 機器同聲傳譯 207
7.1 概述 209
7.2 主要挑戰(zhàn) 211
7.2.1 技術挑戰(zhàn) 211
7.2.2 數據挑戰(zhàn) 213
7.2.3 評價挑戰(zhàn) 214
7.3 級聯同傳模型 216
7.3.1 wait-k模型 216
7.3.2 語義單元驅動的同傳模型 220
7.3.3 基于強化學習的同傳模型 224
7.3.4 基于單調無限回溯注意力機制的同傳模型 226
7.4 端到端語音翻譯及同傳模型 228
7.4.1 從級聯模型至端到端模型的過渡 229
7.4.2 基于多任務學習的端到端模型 231
7.4.3 語音識別與翻譯交互解碼模型 234
7.4.4 端到端同傳模型 236
7.5 同傳模型魯棒性 241
7.5.1 融合音節(jié)信息的翻譯模型 241
7.5.2 語音識別糾錯 242
7.5.3 魯棒性翻譯模型 244
7.6 同傳數據 245
7.6.1 歐洲語言同傳語料庫 246
7.6.2 日英同傳語料庫 247
7.6.3 中英同傳語料庫 247
7.7 同傳評價 249
7.7.1 基于閱讀理解的翻譯質量評價 249
7.7.2 基于平均延遲的同傳時延評價 250
7.7.3 綜合翻譯質量和同傳時延的評價 252
7.8 機器同傳系統及產品 252
7.8.1 機器同傳系統 253
7.8.2 機器同傳產品形式 254
7.8.3 機器輔助同傳 254
7.9 搭建一個機器同傳系統 256
7.9.1 數據準備 256
7.9.2 訓練 257
7.9.3 解碼 257
參考文獻 258
第
書單推薦
