第1章　緒論 3 1.1　什么是大數(shù)據(jù) 4 1.1.1　大數(shù)據(jù)的來(lái)源 4 1.1.2　大數(shù)據(jù)的表現(xiàn)形式 5 1.1.3　大數(shù)據(jù)的特征 7 1.2　什么是商業(yè)智能 8 1.3　大數(shù)據(jù)生命周期 9 1.4　數(shù)據(jù)科學(xué)研究的主要問(wèn)題 11 1.5　數(shù)據(jù)科學(xué)的模型方法 14 1.5.1　有監(jiān)督學(xué)習(xí) 14 1.5.2　無(wú)監(jiān)督學(xué)習(xí) 15 1.5.3　半監(jiān)督學(xué)習(xí) 15 1.6　大數(shù)據(jù)方向 16 1.6.1　大數(shù)據(jù)架構(gòu)方向 16 1.6.2　大數(shù)據(jù)分析方向 16 1.6.3　大數(shù)據(jù)開(kāi)發(fā)方向 17 第2章　數(shù)據(jù)預(yù)處理 19 2.1　統(tǒng)計(jì)分析 20 2.1.1　統(tǒng)計(jì)描述 21 2.1.2　統(tǒng)計(jì)分析中的基本概念 25 2.1.3　參數(shù)估計(jì)和假設(shè)檢驗(yàn) 27 2.1.4　區(qū)間估計(jì)和檢驗(yàn) 28 2.1.5　方差分析 31 2.2　數(shù)據(jù)預(yù)處理 41 2.2.1　數(shù)據(jù)清洗 42 2.2.2　數(shù)據(jù)集成 45 2.2.3　數(shù)據(jù)變換 46 2.2.4　數(shù)據(jù)歸約 47 第3章　大數(shù)據(jù)可視化 63 3.1　數(shù)據(jù)可視化的發(fā)展歷程 64 3.1.1　萌芽時(shí)期 66 3.1.2　拉開(kāi)帷幕 68 3.1.3　初露鋒芒 69 3.1.4　黃金時(shí)代 70 3.1.5　穩(wěn)步發(fā)展 72 3.1.6　日新月異 73 3.2　數(shù)據(jù)可視化的分類(lèi) 74 3.2.1　依據(jù)數(shù)據(jù)類(lèi)型分類(lèi) 74 3.2.2　依據(jù)展示方式分類(lèi) 77 3.2.3　依據(jù)應(yīng)用場(chǎng)景分類(lèi) 77 3.3　數(shù)據(jù)可視化設(shè)計(jì)的原則 78 3.3.1　親密性(分組) 78 3.3.2　對(duì)齊 78 3.3.3　重復(fù)/統(tǒng)一 79 3.3.4　對(duì)比/強(qiáng)調(diào) 79 3.3.5　力求表達(dá)準(zhǔn)確、到位、簡(jiǎn)潔、易懂 80 3.4　數(shù)據(jù)可視化的流程 80 3.4.1　了解需求 80 3.4.2　可視化設(shè)計(jì) 82 3.5　應(yīng)用實(shí)踐 82 3.5.1　折線(xiàn)圖 83 3.5.2　散點(diǎn)圖 84 3.5.3　柱狀圖 85 3.5.4　詞云圖 86 3.5.5　雷達(dá)圖 88 第4章　大數(shù)據(jù)安全 91 4.1　大數(shù)據(jù)安全概述 92 4.1.1　保密性 92 4.1.2　完整性 93 4.1.3　可用性 93 4.2　基本的密碼技術(shù) 93 4.2.1　加密技術(shù) 93 4.2.2　數(shù)字簽名技術(shù) 94 4.2.3　Hash函數(shù)和MAC算法 95 4.3　全同態(tài)加密技術(shù) 95 4.3.1　基本定義 95 4.3.2　全同態(tài)加密技術(shù)原理 96 4.3.3　全同態(tài)加密技術(shù)的應(yīng)用 98 4.4　安全多方計(jì)算 100 4.4.1　基本定義 100 4.4.2　安全多方計(jì)算原理 100 4.4.3　安全多方計(jì)算的應(yīng)用 102 4.5　差分隱私 103 4.5.1　基本定義 104 4.5.2　差分隱私原理 105 4.5.3　差分隱私的應(yīng)用 107 4.6　區(qū)塊鏈 109 4.6.1　基本定義 110 4.6.2　區(qū)塊鏈技術(shù)原理 111 4.6.3　區(qū)塊鏈技術(shù)的應(yīng)用 112 第5章　線(xiàn)性回歸分析 119 5.1　一元線(xiàn)性回歸 120 5.1.1　一元線(xiàn)性回歸概述 120 5.1.2　一元線(xiàn)性回歸的參數(shù)估計(jì) 123 5.1.3　一元線(xiàn)性回歸模型的檢驗(yàn) 125 5.1.4　一元線(xiàn)性回歸的預(yù)測(cè) 127 5.2　多元線(xiàn)性回歸分析 128 5.2.1　多元線(xiàn)性回歸模型及假定 129 5.2.2　參數(shù)估計(jì) 129 5.2.3　模型檢驗(yàn) 130 5.2.4　預(yù)測(cè) 131 5.3　應(yīng)用實(shí)踐 133 5.3.1　基于Lasso回歸的波士頓房?jī)r(jià)預(yù)測(cè) 133 5.3.2　基于線(xiàn)性回歸的降雨量預(yù)測(cè) 136 第6章　聚類(lèi)分析 142 6.1　聚類(lèi)概述 143 6.2　幾種常用的度量方法 143 6.2.1　歐幾里得距離(Euclidean distance) 144 6.2.2　曼哈頓距離(Manhattan distance) 144 6.2.3　切比雪夫距離(Chebyshev distance) 145 6.2.4　冪距離(Power distance) 145 6.2.5　馬氏距離(Mahalanobis distance) 146 6.2.6　余弦相似度(Cosine similarity) 148 6.2.7　Pearson相關(guān)系數(shù)(Pearson correlation coefficient) 148 6.2.8　Jaccard相似系數(shù)(Jaccard similarity coefficient) 148 6.3　聚類(lèi)的方法 150 6.3.1　層次聚類(lèi) 150 6.3.2　密度聚類(lèi) 151 6.3.3　分割聚類(lèi) 152 6.4　應(yīng)用實(shí)踐 154 6.4.1　基于DBSCAN密度聚類(lèi)的鳶尾花品種分類(lèi) 154 6.4.2　基于聚類(lèi)和可視化的世界國(guó)家幸福指數(shù)分析 157 第7章　關(guān)聯(lián)規(guī)則分析 164 7.1　關(guān)聯(lián)規(guī)則分析概述 165 7.2　關(guān)聯(lián)規(guī)則分析常用的基本概念 166 7.3　基于Apriori算法的關(guān)聯(lián)規(guī)則分析 168 7.3.1　連接(linking)步驟 168 7.3.2　剪枝(pruning)步驟 169 7.3.3　Apriori算法處理流程 169 7.3.4　Apriori算法實(shí)例 170 7.3.5　由頻繁項(xiàng)集生成關(guān)聯(lián)規(guī)則 172 7.4　改進(jìn)的Apriori算法 172 7.4.1　基于劃分的方法 172 7.4.2　基于抽樣的方法 173 7.4.3　增量更新的方法 173 7.4.4　概念層次的方法 174 7.4.5　基于散列和壓縮技術(shù)的方法 174 7.5　基于FP-Growth算法的關(guān)聯(lián)規(guī)則分析 175 7.6　多維和多層關(guān)聯(lián)規(guī)則 177 7.6.1　多維關(guān)聯(lián)規(guī)則挖掘 177 7.6.2　多層關(guān)聯(lián)規(guī)則挖掘 178 7.7　應(yīng)用實(shí)踐 179 7.7.1　基于Apriori算法的用戶(hù)購(gòu)物關(guān)聯(lián)度分析 179 7.7.2　基于FP-Growth算法的用戶(hù)購(gòu)物關(guān)聯(lián)度分析 183 第8章　分類(lèi)與預(yù)測(cè) 195 8.1　分類(lèi)問(wèn)題評(píng)價(jià)準(zhǔn)則 196 8.2　線(xiàn)性分類(lèi) 198 8.2.1　Logistic模型 199 8.2.2　判別分析 202 8.3　決策樹(shù) 206 8.3.1　決策樹(shù)的概念及基本算法 206 8.3.2　基于信息熵的決策樹(shù)歸納算法 208 8.3.3　決策樹(shù)修剪 212 8.3.4　提取決策規(guī)則 212 8.3.5　決策樹(shù)的改進(jìn) 213 8.4　AdaBoost算法 215 8.5　隨機(jī)森林算法 217 8.5.1　設(shè)計(jì)隨機(jī)森林分類(lèi)器 217 8.5.2　構(gòu)建隨機(jī)森林 218 8.6　應(yīng)用實(shí)踐 223 8.6.1　基于隨機(jī)森林算法預(yù)測(cè)是否被錄取 223 8.6.2　基于決策樹(shù)算法預(yù)測(cè)是否被錄取 227 第9章　時(shí)間序列分析 231 9.1　時(shí)間序列分析概述 232 9.2　ARIMA模型 233 9.2.1　ARIMA模型的基本概念 233 9.2.2　ARIMA模型預(yù)測(cè)步驟 234 9.2.3　預(yù)測(cè)實(shí)例 234 9.3　HMM 241 9.3.1　HMM的基本概念 241 9.3.2　HMM的基本問(wèn)題 243 9.3.3　HMM基本問(wèn)題的解法 244 9.4　動(dòng)態(tài)貝葉斯網(wǎng)絡(luò) 248 9.4.1　動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)的基本概念 248 9.4.2　動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)的學(xué)習(xí) 250 9.4.3　動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)的推理 252 9.5　應(yīng)用實(shí)踐 252 9.5.1　基于ARIMA模型的二氧化碳濃度預(yù)測(cè) 252 9.5.2　基于HMM的比特幣投資預(yù)測(cè) 258 第10章　大數(shù)據(jù)工具 271 10.1　分布式系統(tǒng)概述 272 10.2　Hadoop概述 273 10.3　Hadoop偽分布式的安裝和配置 273 10.3.1　安裝前準(zhǔn)備 273 10.3.2　安裝Hadoop 275 10.3.3　偽分布式配置 275 10.4　MapReduce 277 10.4.1　MapReduce任務(wù)的工作流程 278 10.4.2　MapReduce編程 280 10.5　利用MapReduce中的矩陣相乘 281 10.5.1　數(shù)據(jù)準(zhǔn)備 281 10.5.2　矩陣的存儲(chǔ)方式 282 10.6　Hive 286 10.6.1　Hive簡(jiǎn)介 286 10.6.2　數(shù)據(jù)存儲(chǔ) 287 10.6.3　用Python執(zhí)行HQL命令 288 10.6.4　必知的HQL知識(shí) 289 10.6.5　HQL實(shí)例 294 10.7　HBase 295 10.7.1　數(shù)據(jù)模型 296 10.7.2　HBase的特點(diǎn) 297 10.7.3　獲取數(shù)據(jù) 297 10.7.4　存儲(chǔ)數(shù)據(jù) 298 第11章　基于卷積神經(jīng)網(wǎng)絡(luò)和深度 哈希編碼的圖像檢索方法 301 11.1　圖像檢索方法的發(fā)展歷程 302 11.2　卷積深度哈希網(wǎng)絡(luò)的基本框架 303 11.2.1　卷積子網(wǎng)絡(luò) 303 11.2.2　損失函數(shù) 304 11.2.3　哈希層 304 11.3　實(shí)驗(yàn)結(jié)果與性能分析 305 11.3.1　神經(jīng)網(wǎng)絡(luò)參數(shù) 305 11.3.2　數(shù)據(jù)庫(kù)和評(píng)價(jià)指標(biāo) 305 11.3.3　實(shí)驗(yàn)結(jié)果分析 306 第12章　蛋白質(zhì)作用網(wǎng)絡(luò)模型 310 第13章　基于改進(jìn)的長(zhǎng)短期記憶網(wǎng)絡(luò)的道路交通事故預(yù)測(cè)模型 322 第14章　大數(shù)據(jù)工作流的性能建模和預(yù)測(cè) 364 附錄　數(shù)學(xué)基礎(chǔ)知識(shí) 379 參考文獻(xiàn) 386