PREFACE前　　言為什么要寫這本書這是一本關(guān)于中文自然語言處理（簡稱NLP）的書，NLP是計算機科學(xué)領(lǐng)域與人工智能領(lǐng)域中的一個重要方向。它研究能實現(xiàn)人與計算機之間用自然語言進行有效通信的各種理論和方法。NLP是一門融語言學(xué)、計算機科學(xué)、數(shù)學(xué)于一體的科學(xué)。本書偏重實戰(zhàn)，不僅系統(tǒng)介紹了NLP涉及的知識點，同時也教會讀者如何實際應(yīng)用與開發(fā)。圍繞這個主題，本書從章節(jié)規(guī)劃到具體的講述方式，具有以下兩個特點：
第一個特點是本書的主要目標(biāo)讀者定位為高校相關(guān)專業(yè)的大學(xué)生（統(tǒng)計學(xué)、計算機技術(shù)）、NLP愛好者，以及不具備專業(yè)數(shù)學(xué)知識的人群。NLP是一系列學(xué)科的集合體，其中包含了語言學(xué)、機器學(xué)習(xí)、統(tǒng)計學(xué)、大數(shù)據(jù)以及人工智能等方面，尤其依賴數(shù)學(xué)知識才能深入理解其原理。因此本書對專業(yè)知識的講述過程必須繞過復(fù)雜的數(shù)學(xué)證明，從問題的前因后果、創(chuàng)造者思考的過程、概率或幾何解釋代替數(shù)學(xué)解釋等一系列迂回的路徑去深入模型的本源，這可能多少會犧牲一些嚴(yán)謹(jǐn)性，但是卻能換來對大多數(shù)人更為友好的閱讀體驗。
第二個特點是本書是一本介紹中文自然語言處理的書，中文分詞相對于英文分詞來說更為復(fù)雜，讀者將通過例子來學(xué)習(xí)，體會到能夠通過實踐驗證自己想法的價值，我們提供了豐富的來自NLP領(lǐng)域的案例。在本書的內(nèi)容編制上，從知識點背景介紹到原理剖析，輔以實戰(zhàn)案例，所有的代碼會在書中詳細(xì)列出或者上傳Github方便讀者下載與調(diào)試，幫助讀者快速上手掌握知識點，同時可以應(yīng)用到后續(xù)實際的開發(fā)項目中。在實際項目章節(jié)中，選取目前在NLP領(lǐng)域中比較熱門的項目，將之前的知識點進行匯總，幫助讀者鞏固與提升。本書難度適中屬于入門和擴展級讀物。
讀者將學(xué)到什么如何用NLP 與語言學(xué)的關(guān)鍵概念來描述和分析語言NLP 中的數(shù)據(jù)結(jié)構(gòu)和算法是怎樣的自然語言處理目前主流的技術(shù)與方法論信息檢索技術(shù)與大數(shù)據(jù)應(yīng)用讀者對象1）統(tǒng)計學(xué)或相關(guān)IT專業(yè)學(xué)生本書的初衷是面向相關(guān)專業(yè)的學(xué)生大量基于理論知識的認(rèn)知卻缺乏實戰(zhàn)經(jīng)驗的人員，讓其在理論的基礎(chǔ)上深入了解。通過本書，學(xué)生可以跟隨本書的教程一起操作學(xué)習(xí)，達(dá)到對自己使用的人工智能工具、算法和技術(shù)知其然亦知其所以然的目的。
2）信息科學(xué)和計算機科學(xué)愛好者本書是一部近代科技的歷史書，也是一部科普書，還可以作為一部人工智能思想和技術(shù)的教科書去閱讀。通過本書可以了解到行業(yè)先驅(qū)們在探索人工智能道路上所做出的努力和思考，理解他們不同的觀點和思路，有助于開拓自己的思維和視野。
3）人工智能相關(guān)專業(yè)的研究人員本書具體介紹了NLP相關(guān)知識。通過本書可以了解理論知識，了解哪些才是項目所需的內(nèi)容以及如何在項目中實現(xiàn)，能夠快速上手。
如何閱讀本書本書內(nèi)容針對NLP從以下幾個方面進行闡述：
第一部分的內(nèi)容包括第1、2、11章，主要介紹了NLP所需要了解的Python科學(xué)包、正則表達(dá)式以及Solr檢索。
第二部分的內(nèi)容包括第5～10章的內(nèi)容，主要是介紹NLP相關(guān)的各個知識點。分別是：
第3～5章主要介紹了詞法分析層面的一些技術(shù)，這一部分是NLP技術(shù)的基礎(chǔ)，需要讀者熟練掌握。
第6章介紹了句法分析技術(shù)，該部分目前理論研究較多，工程實踐中使用門檻相對較高，且效果多是依賴結(jié)合業(yè)務(wù)知識進行規(guī)則擴展，因此本書未做深入探討，讀者了解即可。
第7章介紹了常用的向量化方法。這些方法常用于各種NLP任務(wù)的輸入，讀者需重點掌握。
第8章介紹了情感分析相關(guān)的概念、場景以及一般做情感分析的流程，情感分析在很多行業(yè)都有應(yīng)用，所以需要讀者熟練掌握。
第9章介紹了機器學(xué)習(xí)的一些基本概念，重點突出NLP常用的分類算法、聚類算法，同時還介紹了幾個案例，這章是NLP的基礎(chǔ)內(nèi)容，需要重點掌握。
第10章介紹了NLP中常用的深度學(xué)習(xí)算法，這些方法比較復(fù)雜，但是非常實用，需要讀者耐心學(xué)習(xí)。
除了以上內(nèi)容外，以下信息是在本書中涉及特定內(nèi)容的解釋和說明：
內(nèi)容延伸。本書每個章節(jié)都有一定的內(nèi)容延伸章節(jié)，其內(nèi)容是對于有興趣深入研究的讀者推薦的資料或進一步了解的知識點，由于每個主題都涵蓋很多內(nèi)容，因此本書僅在內(nèi)容延伸中拋磚引玉，有興趣的讀者可以加以了解和學(xué)習(xí)。
相關(guān)知識點。本書很多章節(jié)中都有相關(guān)知識點的內(nèi)容介紹，其對特定工具、知識、算法、庫等方面做了較為詳細(xì)的介紹，它們是本書的知識堡壘。
本章小結(jié)。每章的結(jié)尾都有本章小結(jié)，在小結(jié)中包含4部分內(nèi)容。
內(nèi)容小結(jié)。內(nèi)容小結(jié)是有關(guān)本章內(nèi)容的總結(jié)。
重點知識。重點知識是本章重點需要讀者掌握的知識和內(nèi)容。
外部參考。外部參考是本章提到過但是無法詳細(xì)介紹的內(nèi)容，都在外部參考中列出，有興趣的讀者可以基于比構(gòu)建自己的知識圖譜。
應(yīng)用實踐。基于本章內(nèi)容推薦讀者在實踐中落地的建議。
提示。對于知識點的重要提示和應(yīng)用技巧，相對相關(guān)知識點而言，每條提示信息的內(nèi)容量較少，一般都是經(jīng)驗類的總結(jié)。
注意。特定需要引起注意的知識，這些注意點是應(yīng)用過程中需要避免的大坑。
關(guān)于附件的使用方法除了第1章外，本書的每一章都有對應(yīng)源數(shù)據(jù)和完整代碼，該內(nèi)容可在本書中直接找到，有些代碼需要從Github下載，地址是https://github.com/nlpinaction/learning-nlp。需要注意的是，為了讓讀者更好地了解每行代碼的含義，筆者在注釋信息中使用了中文標(biāo)注，且每個程序文件的編碼格式都是UTF-8。
勘誤和支持由于筆者水平有限，書中難免會出現(xiàn)一些錯誤或者不準(zhǔn)確的地方，懇請讀者批評指正。讀者可通過以下途徑聯(lián)系并反饋建議或意見：
即時通訊。添加個人微信（kennymingtu）反饋問題。
電子郵件。發(fā)送E-mail到kenny_tm@hotmail.com。
致謝在本書的撰寫過程中，得到了來自多方的指導(dǎo)、幫助和支持。
首先要感謝的是機械工業(yè)出版社華章公司的楊福川編輯，他在本書出版過程中給予我極大的支持和鼓勵，并為此書的撰寫提供了方向和思路指導(dǎo)。
其次要感謝黃英和周劍老師在自然語言處理項目和工作中提供的寶貴經(jīng)驗和支持。
再次要感謝全程參與審核、校驗等工作的張錫鵬、孫海亮編輯以及其他背后默默支持的出版工作者，是他們的辛勤付出才讓本書得以順利面世。
最后感謝我的父母、家人和朋友，使得我有精力完成本書的編寫。
謹(jǐn)以此書獻(xiàn)給熱愛數(shù)據(jù)工作并為之奮斗的朋友們，愿大家身體健康、生活美滿、事業(yè)有成！
涂銘2018年1月于上海書籍初成，感慨良多。
在接受邀請撰寫本書時，從未想到過程如此艱辛。
感謝我的女友和家人的理解與支持，陪伴我度過寫書的漫長歲月。
感謝我的合著者涂銘和劉樹春，與他們合作輕松愉快，給予我很多的理解和包容。
感謝參與審閱、校驗等工作的孫海亮老師等出版社工作人員，是他們在幕后的辛勤付出保證了本書的出版成功。
再次感謝一路陪伴的所有人！
劉祥2018年1月于北京首先要感謝我的兩位合作者涂銘和劉祥，能夠相聚在一起寫書是緣分。當(dāng)初聊到出版NLP入門書籍的想法時我們一拍即合，然而真正開始執(zhí)筆才發(fā)現(xiàn)困難重重，業(yè)余時間常常被工作擠占，進度一拖再拖，在伙伴們的支持下，克服了拖延癥，順利完成本書。
特別感謝我的愛人和家人的悉心照料和支持。
感謝孫海亮老師、張錫鵬老師等出版社工作人員，沒有他們的辛勞付出就沒有本書保質(zhì)保量的完成。
最后感謝幫我校稿的林博、謝雨飛、陳敏，謝謝他們在生活和工作上給我的支持與幫助。
最后，祝大家學(xué)習(xí)快樂。
劉樹春2018年1月于上海