對于自然語言處理而言，基于神經(jīng)網(wǎng)絡(luò)和基于知識圖譜這兩種方法各有千秋。神經(jīng)網(wǎng)絡(luò)方法非常強(qiáng)大，并一直處于當(dāng)前NLP排行榜的位置。然而，它們也有軟肋，比如訓(xùn)練數(shù)據(jù)的數(shù)量和質(zhì)量，模型與人類如何使用語言以及人類對世界的理解之間的聯(lián)系等。另外，基于結(jié)構(gòu)化知識表示的自然語言處理系統(tǒng)雖然不能完全解決這些問題，但往往比較適合解決其中的一些問題。然而，它們可能需要相當(dāng)多的知識工程工作，以持續(xù)組織這樣的結(jié)構(gòu)化表示。
本書的主要前提是，數(shù)據(jù)驅(qū)動的方法和基于知識圖譜的方法可以相得益彰，取長補(bǔ)短。盡管許多人提倡在NLP和人工智能的許多其他領(lǐng)域結(jié)合應(yīng)用這兩種范式，但事實(shí)是，直到現(xiàn)在，這種結(jié)合還不常見，原因可能是缺乏實(shí)現(xiàn)這一目標(biāo)的原則性方法和指導(dǎo)方針，也可能是缺乏令人信服的成功案例。
而人工智能的研究，特別是在自然語言處理和知識圖譜領(lǐng)域，已經(jīng)達(dá)到了成熟的水平，并滲透到其他領(lǐng)域，引起了深刻的社會和商業(yè)變革。因此，本書特別側(cè)重于討論實(shí)踐方面的主題，旨在為感興趣的讀者提供必要的手段，使讀者能夠掌握將神經(jīng)網(wǎng)絡(luò)方法和基于知識圖譜的方法結(jié)合到自然語言處理中的實(shí)踐方法，建立彌合兩者之間差距的橋梁。
總的來說，對于對神經(jīng)網(wǎng)絡(luò)和基于知識圖譜的方法在自然語言處理領(lǐng)域的結(jié)合感興趣的讀者而言，本書非常有用。有結(jié)構(gòu)化知識表示背景的讀者，例如有語義網(wǎng)、知識獲取、知識表示和推理社區(qū)方面的背景，總的來說也就是那些基于邏輯方法研究人工智能的讀者，可以在本書中找到實(shí)用指南。同樣，我們希望本書對那些主要背景在機(jī)器學(xué)習(xí)和深度學(xué)習(xí)領(lǐng)域的讀者同樣有用，他們可能正在尋找利用結(jié)構(gòu)化知識庫優(yōu)化NLP下游結(jié)果的方法。
因此，來自上述領(lǐng)域的工業(yè)界和學(xué)術(shù)界的讀者將在本書中找到混合自然語言處理的實(shí)用資源。在本書中，我們將展示如何利用互補(bǔ)表示，這些表示源于對非結(jié)構(gòu)化文本語料庫以及知識圖譜中明確描述的實(shí)體和關(guān)系的分析，整合這些表示，并使用由此產(chǎn)生的特征來有效地解決不同領(lǐng)域的自然語言處理任務(wù)。在本書中，讀者可以在示例、練習(xí)以及關(guān)鍵領(lǐng)域的實(shí)際應(yīng)用（如虛假信息分析和科學(xué)文獻(xiàn)的機(jī)器閱讀理解）上使用實(shí)際的可執(zhí)行代碼。
在本書中，對于無論是基于知識圖譜、神經(jīng)網(wǎng)絡(luò)還是基于其他形式的機(jī)器學(xué)習(xí)的自然語言處理方法、技術(shù)和工具箱，我們并沒有提供詳盡的說明。我們認(rèn)為這些內(nèi)容已經(jīng)在參考文獻(xiàn)中得到了充分的闡述。相反，我們專注于讀者真正需要掌握的主要構(gòu)建模塊，以便讀者能夠吸收和應(yīng)用本書的主要思想。事實(shí)上，本書所有章節(jié)都是獨(dú)立的，一般讀者在理解時(shí)不會遇到太大困難。因此，本書可以作為一本簡潔而富有洞察力的手冊，專注于協(xié)調(diào)基于知識圖譜的方法和神經(jīng)網(wǎng)絡(luò)方法在自然語言處理中應(yīng)用的主要挑戰(zhàn)上。我們希望你會喜歡。
本書目標(biāo)
本書為讀者提供了一個(gè)自然語言處理的混合方法的原則性實(shí)用指南，主要涉及神經(jīng)網(wǎng)絡(luò)方法和知識圖譜的結(jié)合。本書解決了一些與混合自然語言處理系統(tǒng)相關(guān)的問題，包括：
神經(jīng)網(wǎng)絡(luò)方法如何以具有成本效益和可實(shí)踐的方式擴(kuò)展像知識圖譜一樣預(yù)先捕獲顯式表示的知識？反過來又如何呢？
結(jié)合神經(jīng)網(wǎng)絡(luò)和基于知識圖譜的方法的自然語言處理混合方法的主要構(gòu)建模塊和技術(shù)是什么？
如何將神經(jīng)網(wǎng)絡(luò)表示與結(jié)構(gòu)化的、基于知識圖譜的表示無縫集成？
這種混合方法能否產(chǎn)生更好的知識圖譜和神經(jīng)網(wǎng)絡(luò)表示？
如何檢查和評估混合方法所產(chǎn)生的混合表示的質(zhì)量？
混合方法對NLP任務(wù)的性能有什么影響？對其他數(shù)據(jù)形式（比如圖像或圖表）的處理有什么影響以及其相互作用有什么影響？
基于以上問題，本書首先介紹了主要的構(gòu)建模塊，然后描述了它們?nèi)绾蜗嗷ゾo密地關(guān)聯(lián)，進(jìn)而支持實(shí)際自然語言處理應(yīng)用程序的有效實(shí)現(xiàn)。為了說明本書描述的思想，我們包含了一套全面的實(shí)驗(yàn)和練習(xí)，涉及可以根據(jù)任務(wù)領(lǐng)域和語料庫進(jìn)行選擇的不同算法。
本書各章概述
接下來，我們介紹本書的章節(jié)結(jié)構(gòu)安排：
第1章介紹本書的創(chuàng)作靈感及在當(dāng)前的自然語言處理學(xué)科背景下本書的總體目標(biāo)。
第2章介紹單詞、語義/概念和知識圖譜嵌入，它們是生成混合自然語言處理系統(tǒng)的主要構(gòu)建模塊。我們探討各種不同的方法：簡單的詞嵌入學(xué)習(xí)、從語料庫和語義網(wǎng)絡(luò)中學(xué)習(xí)語義和概念嵌入，以及根本不使用語料庫直接從知識圖譜中學(xué)習(xí)概念嵌入的方法。
第3章重點(diǎn)研究詞嵌入，并根據(jù)所使用的方法和語料庫來分析其中包含的信息。除了預(yù)訓(xùn)練的靜態(tài)嵌入，重點(diǎn)放在神經(jīng)網(wǎng)絡(luò)語言模型和上下文的嵌入上。
第4章引導(dǎo)讀者通過一個(gè)可執(zhí)行的Jupyter Notebook，重點(diǎn)介紹一個(gè)特定的詞嵌入算法，如Swivel[164]及其實(shí)現(xiàn)，以說明如何方便地從文本語料庫中生成詞嵌入。
第5章與第4章的方式類似，本章利用一個(gè)像WordNet這樣的現(xiàn)有知識圖譜，利用HolE等特定的知識圖譜算法生成圖譜嵌入，還提供了一個(gè)可執(zhí)行的Jupyter Notebook。
第6章提出一種利用知識圖譜從文本語料庫中聯(lián)合學(xué)習(xí)單詞和概念嵌入的方法Vecsigrafo[39]。與第5章中描述的方法不同，Vecsigrafo不僅從知識圖譜中學(xué)習(xí)，也從訓(xùn)練語料庫中學(xué)習(xí)。我們將看到這種方法的一些優(yōu)