第 1 章 數(shù)據(jù)挖掘概述 ...................... 1

1.1 什么是數(shù)據(jù)挖掘 ...................... 1

1.1.1 數(shù)據(jù)、信息和知識(shí) ........ 1

1.1.2 數(shù)據(jù)挖掘的定義 ............ 2

1.1.3 數(shù)據(jù)挖掘的發(fā)展簡(jiǎn)史 .... 3

1.2 數(shù)據(jù)挖掘的基本流程

及方法概述 ............................. 4

1.2.1 數(shù)據(jù)挖掘的基本流程 .... 4

1.2.2 數(shù)據(jù)挖掘的任務(wù)

和方法概述 ................... 6

1.3 數(shù)據(jù)挖掘的應(yīng)用 ...................... 9

1.3.1 數(shù)據(jù)挖掘在商務(wù)

領(lǐng)域的應(yīng)用 ................... 9

1.3.2 數(shù)據(jù)挖掘在醫(yī)療

和醫(yī)學(xué)領(lǐng)域的應(yīng)用 ...... 10

1.3.3 數(shù)據(jù)挖掘在銀行

和保險(xiǎn)領(lǐng)域的應(yīng)用 ...... 10

1.3.4 數(shù)據(jù)挖掘在社交

媒體領(lǐng)域的應(yīng)用 ......... 11

習(xí)題 ............................................... 11

第 2 章 數(shù)據(jù)的描述與可視化.......... 12

2.1 概述 ...................................... 12

2.2 數(shù)據(jù)對(duì)象與屬性類型............. 12

2.2.1 什么是屬性 ................. 12

2.2.2 標(biāo)稱屬性 ..................... 12

2.2.3 二元屬性 ..................... 13

2.2.4 序數(shù)屬性 ..................... 13

2.2.5 數(shù)值屬性 ..................... 14

2.2.6 離散屬性與連續(xù)

屬性 ............................ 14

2.3 數(shù)據(jù)的基本統(tǒng)計(jì)描述 ............ 15

2.3.1 中心趨勢(shì)度量 ............. 15

2.3.2 度量數(shù)據(jù)散布：極差、

四分位數(shù)、方差、

標(biāo)準(zhǔn)差和四分位數(shù)

極差 ............................ 17

2.3.3 數(shù)據(jù)基本統(tǒng)計(jì)的

圖形描述 .................... 19

2.4 數(shù)據(jù)可視化 ........................... 23

2.4.1 基于像素的可視化 ...... 23

2.4.2 幾何投影可視化.......... 25

2.4.3 基于圖符的可視化 ...... 27

2.4.4 層次可視化 ................. 28

2.4.5 可視化復(fù)雜對(duì)象和

關(guān)系 ............................ 30

2.5 數(shù)據(jù)相似性和相異性度量 ..... 32

2.5.1 數(shù)據(jù)矩陣與相異性

矩陣 ............................ 32

2.5.2 標(biāo)稱屬性的鄰近性

度量 ............................ 33

2.5.3 二元屬性的鄰近性

度量 ............................ 34

2.5.4 數(shù)值屬性的相異性：

閔可夫斯基距離 ......... 36

2.5.5 序數(shù)屬性的鄰近性

度量 ............................ 37

2.5.6 混合類型屬性的

相異性 ........................ 38

2.5.7 余弦相似性 ................. 40

習(xí)題............................................... 40

第 3 章 數(shù)據(jù)的采集和預(yù)處理 .......... 42

3.1 概述 ...................................... 42

3.1.1 大數(shù)據(jù)采集的特點(diǎn) ...... 42數(shù)據(jù)挖掘

2

3.1.2 大數(shù)據(jù)采集的方法 ...... 43

3.2 數(shù)據(jù)預(yù)處理的目的和任務(wù) ..... 44

3.3 數(shù)據(jù)清洗 ............................... 45

3.3.1 缺失值清洗 ................. 46

3.3.2 異常值清洗 ................. 48

3.3.3 格式內(nèi)容清洗 ............. 50

3.3.4 邏輯錯(cuò)誤清洗 ............. 50

3.3.5 非需求數(shù)據(jù)清洗 .......... 51

3.3.6 關(guān)聯(lián)性驗(yàn)證 ................. 51

3.4 數(shù)據(jù)集成 ............................... 52

3.5 數(shù)據(jù)變換 ............................... 53

習(xí)題 ............................................... 56

第 4 章 數(shù)據(jù)的歸約........................ 57

4.1 概述 ...................................... 57

4.2 屬性的選擇與數(shù)值歸約 ......... 57

4.2.1 屬性的評(píng)估準(zhǔn)則 .......... 58

4.2.2 屬性子集選擇方法 ...... 59

4.2.3 數(shù)值歸約 ..................... 60

4.3 線性回歸 ............................... 61

4.4 主成分分析 ........................... 63

習(xí)題 ............................................... 66

第 5 章 關(guān)聯(lián)規(guī)則挖掘 .................... 67

5.1 概述 ...................................... 67

5.2 關(guān)聯(lián)規(guī)則的分類 .................... 68

5.3 關(guān)聯(lián)規(guī)則的研究步驟............. 68

5.3.1 關(guān)聯(lián)規(guī)則挖掘算法的

分類 ............................ 69

5.3.2 各種算法類型的

對(duì)比 ............................ 70

5.4 Apriori 算法分析 ................... 70

5.5 實(shí)例分析 ............................... 70

5.6 關(guān)聯(lián)規(guī)則的推廣（GRI） ...... 72

5.7 關(guān)聯(lián)規(guī)則的深入挖掘............. 74

習(xí)題 ............................................... 75

第 6 章 分類與預(yù)測(cè)........................ 76

6.1 概述 ...................................... 76

6.1.1 基本概念 ..................... 76

6.1.2 數(shù)據(jù)分類的

一般方法 .................... 77

6.2 決策樹模型 ........................... 77

6.2.1 決策樹的工作原理 ...... 78

6.2.2 決策樹的適用問題 ...... 78

6.2.3 ID3 算法 ..................... 79

6.2.4 決策樹的結(jié)點(diǎn)劃分 ...... 80

6.3 貝葉斯分類模型 .................... 81

6.3.1 貝葉斯定理 ................. 81

6.3.2 貝葉斯模型的特點(diǎn) ...... 82

6.4 線性判別模型 ....................... 82

6.5 邏輯回歸模型 ....................... 83

6.5.1 邏輯回歸模型

概述 ............................ 83

6.5.2 邏輯回歸模型的

基本概念 .................... 83

6.6 模型的評(píng)估與選擇 ................ 85

6.6.1 評(píng)估分類器性能的

度量 ............................ 85

6.6.2 保持方法和隨機(jī)

二次抽樣 .................... 90

6.6.3 交叉驗(yàn)證 ..................... 90

6.6.4 自助法 ........................ 91

6.6.5 使用統(tǒng)計(jì)顯著性檢驗(yàn)

選擇模型 .................... 91

習(xí)題............................................... 93

第 7 章 非線性預(yù)測(cè)模型 ................. 94

7.1 概述 ...................................... 94

7.2 支持向量機(jī) ........................... 94

7.2.1 支持向量機(jī)分類

原理 ............................ 95

7.2.2 非線性支持向量機(jī) ...... 99

7.2.3 支持向量機(jī)回歸

預(yù)測(cè) .......................... 102

7.2.4 基于支持向量機(jī)的

預(yù)測(cè)分析 .................. 106

7.3 神經(jīng)網(wǎng)絡(luò) ............................. 108

7.3.1 人工神經(jīng)網(wǎng)絡(luò)模型

與分類 ...................... 108

7.3.2 BP 神經(jīng)網(wǎng)絡(luò) ............. 112目 錄

3

7.3.3 RBF 神經(jīng)網(wǎng)絡(luò) ........... 117

7.3.4 基于神經(jīng)網(wǎng)絡(luò)的

預(yù)測(cè)分析................... 121

習(xí)題 ............................................. 124

第 8 章 聚類分析 ......................... 125

8.1 概述 .................................... 125

8.2 k-均值聚類 ......................... 126

8.3 k-中心聚類 ......................... 129

8.4 聚類評(píng)估 ............................. 130

8.4.1 外部法 ...................... 130

8.4.2 內(nèi)部法 ...................... 131

8.4.3 可視化方法 ............... 131

習(xí)題 ............................................. 131

第 9 章 深度學(xué)習(xí)簡(jiǎn)介 .................. 133

9.1 概述 .................................... 133

9.2 來自人類視覺機(jī)理的啟發(fā) ... 134

9.3 深層神經(jīng)網(wǎng)絡(luò)...................... 136

9.4 卷積神經(jīng)網(wǎng)絡(luò)...................... 137

9.4.1 卷積和池化 ............... 138

9.4.2 CNN 網(wǎng)絡(luò)框架 .......... 141

9.4.3 CNN 的應(yīng)用 .............. 142

9.5 RNN 循環(huán)神經(jīng)網(wǎng)絡(luò) ............. 144

9.5.1 RNN 的結(jié)構(gòu) .............. 145

9.5.2 RNN 的缺陷 .............. 146

9.5.3 RNN 的應(yīng)用 .............. 147

9.6 生成對(duì)抗網(wǎng)絡(luò) ..................... 147

9.6.1 GAN 的原理與架構(gòu) .. 148

9.6.2 GAN 的應(yīng)用 .............. 150

習(xí)題............................................. 151

第 10 章 使用 Weka 進(jìn)行

數(shù)據(jù)挖掘 ....................... 153

10.1 概述 .................................. 153

10.2 Weka 關(guān)聯(lián)數(shù)據(jù)挖掘的

基本操作 ........................... 153

10.3 數(shù)據(jù)格式 ........................... 158

10.4 關(guān)聯(lián)規(guī)則挖掘 ................... 160

10.5 分類與回歸 ....................... 163

10.6 聚類分析 ........................... 166

習(xí)題............................................. 167

附錄 A 拉格朗日優(yōu)化法 ............... 169

參考文獻(xiàn)........................................ 177