自然語言計算機形式分析是橫跨語言學(xué)、計算機科學(xué)和數(shù)學(xué)的一個交叉研究領(lǐng)域,是自然語言計算機處理的關(guān)鍵。自然語言是信息主要的負(fù)荷者,在當(dāng)今信息網(wǎng)絡(luò)時代,計算機已經(jīng)日益普及,普通計算機用戶可以使用的語言資源正以驚人的速度飛快增長。互聯(lián)網(wǎng)主要是由自然語言構(gòu)成的,它已經(jīng)成為了極為豐富的語言信息資源;移動通信也是以自然語言為媒介的,它已經(jīng)滲透到日常生活的各個領(lǐng)域。因此,自然語言計算機形式分析對于國家的信息化建設(shè),對于互聯(lián)網(wǎng)和移動通信的安全具有重要作用。
本書對自然語言處理中的各種理論和方法進(jìn)行了系統(tǒng)的總結(jié)和梳理。首先討論了自然語言處理的學(xué)科定位;接著介紹了語言計算的一些先驅(qū)研究;然后以主要的篇幅討論自然語言處理中的各種形式模型,包括基于短語結(jié)構(gòu)語法的形式模型、基于合一運算的形式模型、基于依存和配價的形式模型、基于格語法的形式模型、基于詞匯主義的形式模型、語義自動處理的形式模型、系統(tǒng)功能語法、語用自動處理的形式模型、概率語法、Bayes公式與動態(tài)規(guī)劃算法、N元語法和數(shù)據(jù)平滑、隱Markov模型(HMM)、語音自動處理的形式模型、統(tǒng)計機器翻譯的形式模型;同時還討論了自然語言處理系統(tǒng)的評測問題;*后從哲學(xué)的角度討論了自然語言處理中的理性主義和經(jīng)驗主義,探索理性主義方法和經(jīng)驗主義方法相結(jié)合的途徑。
本書說理透徹、語言流暢、實例豐富、深入淺出,適合從事自然語言處理研究的科研人員、大學(xué)師生閱讀,也可以作為人工智能、計算語言學(xué)等課程的教學(xué)參考書。
序
第1章自然語言處理的學(xué)科定位
1.1從自然語言處理的過程來考察其學(xué)科定位
1.2從自然語言處理的范圍來考察其學(xué)科定位
1.3從自然語言處理的歷史來考察其學(xué)科定位
1.4當(dāng)前自然語言處理發(fā)展的幾個特點
參考文獻(xiàn)
第2章語言計算研究的先驅(qū)
2.1Markov鏈
2.2Zipf定律
2.3Shannon關(guān)于熵的研究
2.4Bar-Hillel的范疇語法
2.5Harris的語言串分析法
2.6О.С.Кулагина的語言集合論模型
參考文獻(xiàn)
第3章基于短語結(jié)構(gòu)語法的形式模型
3.1語法的Chomsky層級
3.2有限狀態(tài)語法和它的局限性
3.3短語結(jié)構(gòu)語法
3.4遞歸轉(zhuǎn)移網(wǎng)絡(luò)和擴充轉(zhuǎn)移網(wǎng)絡(luò)
3.5自底向上分析和自頂向下分析
3.6通用句法處理器和線圖分析法
3.7Earley算法
3.8左角分析法
3.9CYK算法
3.10Tomita算法
3.11管轄約束理論與最簡方案
3.12Joshi的樹鄰接語法
3.13漢字結(jié)構(gòu)的形式描述
3.14Hausser的左結(jié)合語法
參考文獻(xiàn)
第4章基于合一運算的形式模型
4.1中文信息MMT模型
4.2Kaplan的詞匯功能語法
4.3Martin Kay的功能合一語法
4.4Gazdar的廣義短語結(jié)構(gòu)語法
4.5Shieber的PATR
4.6Pollard的中心語驅(qū)動的短語結(jié)構(gòu)語法
4.7Pereira和Warren的定子句語法
參考文獻(xiàn)
第5章基于依存和配價的形式模型
5.1配價觀念的起源
5.2Tesnière的依存語法
5.3依存語法在自然語言處理中的應(yīng)用
5.4配價語法
5.5配價語法在自然語言處理中的應(yīng)用
參考文獻(xiàn)
第6章基于格語法的形式模型
6.1Fillmore的格語法
6.2Fillmore的框架網(wǎng)絡(luò)
參考文獻(xiàn)
第7章基于詞匯主義的形式模型
7.1Gross的詞匯語法
7.2鏈語法
7.3詞匯語義學(xué)
7.4知識本體
7.5詞網(wǎng)
7.6知網(wǎng)
7.7Pustejovesky的生成詞庫理論
參考文獻(xiàn)
第8章語義自動處理的形式模型
8.1義素分析法
8.2語義場
8.3語義網(wǎng)絡(luò)
8.4Montague語法
8.5Wilks的優(yōu)選語義學(xué)
8.6Schank的概念依存理論
8.7Melchuk的意義文本理論
8.8詞義排歧方法
參考文獻(xiàn)
第9章系統(tǒng)功能語法
9.1系統(tǒng)功能語法的基本概念
9.2系統(tǒng)功能語法在自然語言處理中的應(yīng)用
參考文獻(xiàn)
第10章語用自動處理的形式模型
10.1Mann和Thompson的修辭結(jié)構(gòu)理論
10.2文本連貫中的常識推理技術(shù)
10.3言語行為理論和會話智能代理
參考文獻(xiàn)
第11章 概率語法
11.1概率上下文無關(guān)語法與句子的歧義
11.2概率上下文無關(guān)語法的基本原理
11.3概率上下文無關(guān)語法的三個假設(shè)
11.4概率詞匯化上下文無關(guān)語法
參考文獻(xiàn)
第12章Bayes公式與動態(tài)規(guī)劃算法
12.1拼寫錯誤的檢查與更正
12.2Bayes公式與噪聲信道模型
12.3最小編輯距離算法
12.4發(fā)音問題研究中的Bayes方法
12.5發(fā)音變異的決策樹模型
12.6加權(quán)自動機
12.7向前算法
12.8Viterbi算法
附錄
參考文獻(xiàn)
第13章N元語法和數(shù)據(jù)平滑
13.1N元語法
13.2數(shù)據(jù)平滑
參考文獻(xiàn)
第14章隱Markov模型(HMM)
14.1HMM概述
14.2HMM在語音識別中的應(yīng)用
參考文獻(xiàn)
第15章語音自動處理的形式模型
15.1語音和音位的形式描述方法
15.2聲學(xué)語音學(xué)和信號
15.3語音自動合成的方法
15.4語音自動識別的方法
參考文獻(xiàn)
第16章統(tǒng)計機器翻譯中的形式模型
16.1機器翻譯與噪聲信道模型
16.2最大熵模型
16.3基于平行概率語法的形式模型
16.4基于短語的統(tǒng)計機器翻譯
16.5基于句法的統(tǒng)計機器翻譯
參考文獻(xiàn)
第17章自然語言處理系統(tǒng)的評測
17.1評測的一般原則和方法
17.2語音合成和文語轉(zhuǎn)換系統(tǒng)的評測
17.3機器翻譯系統(tǒng)的評測
17.4語料庫系統(tǒng)的評測
17.5國外自然語言處理系統(tǒng)的評測
參考文獻(xiàn)
第18章自然語言處理中的理性主義與經(jīng)驗主義
18.1哲學(xué)中的理性主義和經(jīng)驗主義
18.2自然語言處理中理性主義和經(jīng)驗主義的消長
18.3理性主義方法和經(jīng)驗主義方法的利弊得失
18.4探索理性主義方法和經(jīng)驗主義方法結(jié)合的途徑
參考文獻(xiàn)
附錄走在文理結(jié)合的道路上記自然語言處理專家馮志偉先生