目錄 第 1章 導(dǎo)論 1 1.1 自然語言處理概述 1 1.1.1 發(fā)展歷程 1 1.1.2 研究任務(wù) 3 1.1.3 自然語言處理與新聞傳媒 5 1.2 自然語言處理工具 11 1.2.1 常見的自然語言處理工具 12 1.2.2 Python與自然語言處理 14 1.3 NLP的開發(fā)環(huán)境 14 1.3.1 Anaconda安裝 14 1.3.2 Anaconda應(yīng)用介紹 15 小結(jié) 22 課后習(xí)題 22 第 2章 文本數(shù)據(jù)爬取 24 2.1 HTTP通信基礎(chǔ) 24 2.1.1 熟悉HTTP請求方法與過程 24 2.1.2 熟悉常見HTTP狀態(tài)碼 27 2.1.3 熟悉HTTP頭部信息 28 2.1.4 熟悉Cookie 29 2.2 靜態(tài)網(wǎng)頁爬取 31 2.2.1 實(shí)現(xiàn)HTTP請求 32 2.2.2 網(wǎng)頁解析 35 2.2.3 數(shù)據(jù)存儲 42 2.3 動態(tài)網(wǎng)頁爬取 44 2.3.1 逆向分析爬取 45 2.3.2 使用Selenium庫爬取 50 小結(jié) 58 課后習(xí)題 59 第3章 文本基礎(chǔ)處理 61 3.1 語料庫 61 3.1.1 語料庫概述 61 3.1.2 語料庫種類與原則 63 3.1.3 NLTK庫 65 3.1.4 語料庫的獲取 68 3.1.5 語料庫的構(gòu)建與應(yīng)用 70 3.2 分詞與詞性標(biāo)注 74 3.2.1 中文分詞簡介 74 3.2.2 基于規(guī)則的分詞 74 3.2.3 基于統(tǒng)計(jì)的分詞 76 3.2.4 中文分詞工具jieba庫 79 3.2.5 詞性標(biāo)注簡介 80 3.2.6 詞性標(biāo)注規(guī)范 81 3.2.7 jieba詞性標(biāo)注 82 3.3 命名實(shí)體識別 85 3.3.1 命名實(shí)體識別簡介 86 3.3.2 CRF模型 87 3.3.3 命名實(shí)體識別流程 87 3.4 關(guān)鍵詞提取 91 3.4.1 關(guān)鍵詞提取技術(shù)簡介 91 3.4.2 關(guān)鍵詞提取算法 92 3.4.3 自動提取文本關(guān)鍵詞 93 小結(jié) 97 課后習(xí)題 97 第4章 文本進(jìn)階處理 99 4.1 文本向量化 99 4.1.1 文本向量化簡介 99 4.1.2 文本離散表示 100 4.1.3 分布式表示 102 4.1.4 Word2Vec詞向量的訓(xùn)練 106 4.2 文本相似度計(jì)算 108 4.2.1 文本相似度的定義 108 4.2.2 文本的表示 108 4.2.3 常用文本相似度算法 111 4.3 文本分類與聚類 117 4.3.1 文本挖掘簡介 117 4.3.2 文本分類常用算法 118 4.3.3 文本聚類常用算法 120 4.3.4 文本分類與聚類的步驟 121 4.3.5 新聞文本分類 122 4.3.6 新聞文本聚類 130 小結(jié) 135 課后習(xí)題 136 第5章 天問一號事件中的網(wǎng)民評論情感分析 137 5.1 業(yè)務(wù)背景與項(xiàng)目目標(biāo) 137 5.1.1 業(yè)務(wù)背景 138 5.1.2 數(shù)據(jù)說明 138 5.1.3 分析目標(biāo) 139 5.2 分析方法與過程 140 5.2.1 數(shù)據(jù)探索 140 5.2.2 文本預(yù)處理 145 5.2.3 繪制詞云圖 149 5.2.4 使用樸素貝葉斯構(gòu)建情感分析模型 154 5.2.5 模型評估 160 5.2.6 模型優(yōu)化 162 小結(jié) 167 課后習(xí)題 167 第6章 新聞文本分類 172 6.1 業(yè)務(wù)背景與項(xiàng)目目標(biāo) 172 6.1.1 業(yè)務(wù)背景 172 6.1.2 數(shù)據(jù)說明 173 6.1.3 分析目標(biāo) 173 6.2 分析方法與過程 174 6.2.1 數(shù)據(jù)采集 174 6.2.2 數(shù)據(jù)探索 175 6.2.3 文本預(yù)處理 181 6.2.4 SVM模型構(gòu)建 185 6.2.5 模型評價(jià) 189 小結(jié) 191 課后習(xí)題 191 第7章 基于瀏覽記錄的個(gè)性化新聞推薦 193 7.1 業(yè)務(wù)背景與項(xiàng)目目標(biāo) 193 7.1.1 業(yè)務(wù)背景 194 7.1.2 數(shù)據(jù)說明 194 7.1.3 分析目標(biāo) 195 7.2 分析方法與過程 196 7.2.1 數(shù)據(jù)探索 196 7.2.2 數(shù)據(jù)預(yù)處理 201 7.2.3 模型構(gòu)建 202 7.2.4 模型評估 209 小結(jié) 210 課后習(xí)題 211 第8章 基于TipDM數(shù)據(jù)挖掘建模平臺實(shí)現(xiàn)新聞文本分類 212 8.1 平臺簡介 212 8.1.1 實(shí)訓(xùn)庫 213 8.1.2 數(shù)據(jù)連接 214 8.1.3 實(shí)訓(xùn)數(shù)據(jù) 215 8.1.4 系統(tǒng)算法 217 8.1.5 個(gè)人算法 219 8.2 實(shí)現(xiàn)新聞文本分類 220 8.2.1 數(shù)據(jù)源配置 221 8.2.2 文本預(yù)處理 223 8.2.3 支持向量機(jī)模型 231 小結(jié) 233 課后習(xí)題 233