目錄
前言
第1章 導(dǎo)論 1
1.1 數(shù)據(jù)管理面臨著一場科學(xué)革命 1
1.2 社會數(shù)據(jù)管理 3
1.3 數(shù)據(jù)分布模型 7
1.4 本書的組織結(jié)構(gòu) 9
第一篇 大數(shù)據(jù)時代的數(shù)據(jù)管理
第2章 數(shù)據(jù)管理的現(xiàn)狀 13
2.1 云計算及云數(shù)據(jù)管理 13
2.2 大數(shù)據(jù)簡介 16
2.3 大數(shù)據(jù)的社會影響 18
2.4 大數(shù)據(jù)的困境及思考 20
第3章 數(shù)據(jù)在DIKW體系中的地位 23
3.1 信息 23
3.2 數(shù)據(jù) 24
3.3 信息與數(shù)據(jù)的關(guān)系 26
3.3.1 誰是第一性 26
3.3.2 在認(rèn)識論中把握信息與數(shù)據(jù) 27
3.3.3 信息第一性的意義 30
3.4 知識 31
3.5 智慧 32
3.6 轉(zhuǎn)識成智 35
3.7 認(rèn)識數(shù)據(jù)、信息、知識、智慧、道德關(guān)系的意義 37
第4章 以教據(jù)為中心組織計算 40
4.1 不同類型數(shù)據(jù)的關(guān)系 40
4.1.1 數(shù)據(jù)質(zhì)量 40
4.1.2 結(jié)構(gòu)化、非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù) 40
4.1.3 三類數(shù)據(jù)的層次關(guān)系 41
4.2 Hadoop與大數(shù)據(jù)處理 43
4.3 Hadoop與數(shù)據(jù)管理 44
4.4 以數(shù)據(jù)為中心的必然性 46
第5章 數(shù)據(jù)管理的新范式 49
5.1 數(shù)據(jù)管理的科學(xué)革命 49
5.2 數(shù)據(jù)管理的范式轉(zhuǎn)變 53
5.2.1 庫恩范式與格雷范式 53
5.2.2 數(shù)據(jù)管理新范式——系統(tǒng)科學(xué)范式 55
5.2.3 開放的復(fù)雜巨系統(tǒng) 58
5.2.4 數(shù)據(jù)管理的再認(rèn)識 60
5.3 數(shù)據(jù)管理技術(shù)的調(diào)整與變更 62
5.3.1 本地封閉世界假設(shè) 63
5.3.2 數(shù)據(jù)的最終一致性 64
5.3.3 CAP與BASE 66
5.3.4 事務(wù) 67
5.4 系統(tǒng)科學(xué)范式下的數(shù)據(jù)組織與控制 73
5.4.1 數(shù)據(jù)的組織結(jié)構(gòu)與數(shù)據(jù)模型 73
5.4.2 多根樹 74
5.4.3 基于多根樹的數(shù)據(jù)組織 75
5.4.4 基于多根樹的數(shù)據(jù)控制 77
第二篇 數(shù)據(jù)模型與數(shù)據(jù)分布模型
第6章 大數(shù)據(jù)時代的數(shù)據(jù)模型 85
6.1 常用的數(shù)據(jù)模型 85
6.1.1 層次模型 85
6.1.2 網(wǎng)狀模型 86
6.1.3 關(guān)系模型 86
6.1.4 半結(jié)構(gòu)化數(shù)據(jù)模型與XML 87
6.1.5 面向?qū)ο蟮臄?shù)據(jù)模型 88
6.2 典型應(yīng)用 89
6.2.1 數(shù)據(jù)倉庫 89
6.2.2 DNS數(shù)據(jù)庫 89
6.2.3 幾個大規(guī)模數(shù)據(jù)存儲管理系統(tǒng) 91
6.2.4 key value存儲 95
6.2.5 大數(shù)據(jù)數(shù)據(jù)模型 100
6.3 ER模型及其表達(dá)能力 101
6.4 影響數(shù)據(jù)模型選擇的因素 103
第7章 數(shù)據(jù)分布 106
7.1 數(shù)據(jù)分布的單位 106
7.1.1 數(shù)據(jù)分布以文件為單位 106
7.1.2 數(shù)據(jù)分布以片段為單位 106
7.1.3 數(shù)據(jù)分布以key-value對為單位 107
7.2 數(shù)據(jù)分布面臨的挑戰(zhàn) 107
7.3 依賴于數(shù)據(jù)分布的管理方面 110
7.3.1 查詢處理 110
7.3.2 數(shù)據(jù)一致性、事務(wù)的實現(xiàn) 111
7.3.3 安全訪問控制 111
7.3.4 擴(kuò)展性 111
7.3.5 并行處理 112
7.3.6 可用性 112
7.3.7 其他 112
第8章 數(shù)據(jù)分布模型 113
8.1 沒有數(shù)據(jù)分布模型的困難 113
8.1.1 系統(tǒng)通用性變差 113
8.1.2 應(yīng)用系統(tǒng)開發(fā)效率低下 114
8.1.3 跨系統(tǒng)管理困難 114
8.1.4 系統(tǒng)進(jìn)化困難 115
8.1.5 大數(shù)據(jù)管理系統(tǒng)難以落地 116
8.2 構(gòu)建數(shù)據(jù)分布模型的可能性 116
8.2.1 數(shù)據(jù)分布模型特點 116
8.2.2 ER模型是數(shù)據(jù)模型的概念基礎(chǔ) ll7
8.2.3 現(xiàn)實世界是分布式存在、層次管理的 ll8
8.2.4 復(fù)雜信息管理系統(tǒng)的核心與基礎(chǔ) 119
8.2.5 社會發(fā)展的必然結(jié)果 120
8.3 數(shù)據(jù)分布模型要考慮的因素 121
8.3.1 性能 121
8.3.2 多種因素的平衡 122
8.3.3 數(shù)據(jù)的語義 124
8.3.4 系統(tǒng)學(xué)的基本原理 125
8.3.5 可變性 127
8.3.6 簡單性 128
8.3.7 定性與定量的統(tǒng)一 129
第三篇 多根層次數(shù)據(jù)分布模型MHM
第9章 MHM的提出 133
9.1 基于多根樹的MHM 133
9.2 從圖到多根樹 l35
9.2.1 數(shù)據(jù)圖中的菱形與回路 135
9.2.2 模式圖與數(shù)據(jù)圖之間的關(guān)系 l36
9.2.3 將數(shù)據(jù)圖近似成多根樹 137
9.3 祖先完整性與控制完整性 l38
9.3.1 祖先完整性 138
9.3.2 控制完整性 138
9.3.3 祖先完整性與控制完整性的現(xiàn)實意義 140
9.4 多根樹的操作及現(xiàn)實意義 141
9.4.1 并 141
9.4.2 差 143
9.4.3 交 144
9.4.4 縮窄 144
9.4.5 融合 147
9.4.6 提取 148
9.4.7 基線 150
第10章 MHM與數(shù)據(jù)分布 154
10.1 MHM作為數(shù)據(jù)分布模型 l54
10.1.1 控制節(jié)點選取的原則 154
10.1.2 與其他數(shù)據(jù)模型的區(qū)別 l55
10.2 基于MHM的數(shù)據(jù)分布例子 156
10.3 基于非關(guān)系數(shù)據(jù)模型的MHM l59
10.3.1 基于XML的MHM 159
10.3.2 基于層次數(shù)據(jù)模型的MHM 159
10.3.3 基于網(wǎng)狀數(shù)據(jù)模型的MHM 159
10.3.4 基于key value的MHM 160
第11章 MHM與系統(tǒng)科學(xué)范式 161
11.1 MHM與系統(tǒng)科學(xué)原理 161
11.1.1 MHM的整體性 161
11.1.2 MHM的層次性 162
11.1.3 MHM的開放性 163
11.1.4 MHM的目的性 163
11.1.5 MHM的突變性 164
11.1.6 MHM的穩(wěn)定性 l65
11.1.7 MHM的自組織性 165
11.1.8 MHM的相似性 l65
11.2 MHM與系統(tǒng)論規(guī)律 166
11.2.1 MHM與結(jié)構(gòu)功能相關(guān)律 l66
11.2.2 MHM與信息反饋律 166
11.2.3 MHM與競爭協(xié)同律 167
11.2.4 MHM與漲落有序律 167
11.2.5 MHM與優(yōu)化演化律 167
第四篇 基于MHM的數(shù)據(jù)管理
第12章 基于MHM的數(shù)據(jù)一致性 171
12.1 數(shù)據(jù)一致性與數(shù)據(jù)溯源 171
12.2 物理時間戳與邏輯時間戳 174
12.3 基于模糊物理時間戳的多版本 175
12.4 引用數(shù)據(jù)的復(fù)制 177
12.4.1 引用數(shù)據(jù)的異步復(fù)制 177
12.4.2 引用數(shù)據(jù)復(fù)制與完整性約束 178
12.4.3 幾點說明 l79
第13章 基于MHM的事務(wù)處理 182
13.1 基于本地封閉式世界假設(shè)的事務(wù)模型 l82
13.2 數(shù)據(jù)最終一致性對事務(wù)的支持 184
13.3 基于MHM的事務(wù)的隔離性級別 l87
13.4 不一致性與隔離性級別 189
13.5 事務(wù)提交與撤銷 190
第14章 MHM可用性 192
14.1 跨層訪問 192
14.2 多根樹復(fù)制 193
14.2.1 多根樹復(fù)制 193
14.2.2 多根樹緩存 194
14.3 副本更新 195
第15章 基于MHM的訪問控制 197
15.1 大規(guī)模分布式系統(tǒng)的訪問控制 197
15.2 用戶＆區(qū)域 198
15.3 基于數(shù)據(jù)域的訪問控制模型 201
15.4 基于MHM訪問控制示例 202
15.4.1 在TPGC中應(yīng)用 202
15.4.2 —個實際項目中的應(yīng)用 204
第16章 MHM擴(kuò)展性 206
16.1 擴(kuò)展性與性能 206
16.2 擴(kuò)展性與效率 209
16.3 MHM的擴(kuò)展性 210
16.3.1 擴(kuò)展的實現(xiàn) 210
16.3.2 基于MHM的TPC C擴(kuò)展性 212
第17章 MHM的性能實驗及適用范圍 214
17.1 TPC C應(yīng)用例子 214
17.1.1 基于MHM的性能實驗環(huán)境 214
17.1.2 TPGC實驗結(jié)果 216
17.1.3 實驗結(jié)果分析 218
17.2 MHM適用范圍 218
17.2.1 數(shù)據(jù)倉庫 218
17.2.2 電商數(shù)據(jù)庫 220
17.2.3 社交網(wǎng)絡(luò)數(shù)據(jù)庫 22l
17.2.4 無線傳感器網(wǎng)絡(luò)數(shù)據(jù)庫 223
17.2.5 移動數(shù)據(jù)庫 224
17.2.6 GIS數(shù)據(jù)庫 225
參考文獻(xiàn) 226
插圖目錄
圖4.1 數(shù)據(jù)金字塔 42
圖5.1 數(shù)據(jù)系統(tǒng)示例 64
圖5.2 多根樹例子 74
圖5.3 買家賣家模式圖 76
圖5.4 單根控制 78
圖5.5 多根獨立控制 79
圖5.6 買家多根主輔控制 80
圖5.7 賣家多根主輔控制 80
圖5.8 聯(lián)合控制 81
圖6.1 ER圖中的時間 103
圖9.1 子結(jié)構(gòu)特征 135
圖9.2 Empi是個孤立點 139
圖9.3 多根樹：并、交、差 142
圖9.4 縮窄 146
圖9.5 融合 147
圖9.6 多根樹提取 149
圖9.7 基線 152
圖10.1 TPGC模式 157
圖10.2 服務(wù)器間架構(gòu) 157
圖12.1 模糊時間戳 177
圖13.1 模糊時間戳與事務(wù)一致性 186
圖14.1 跨層訪問 192
圖14.2 透明訪問 193
圖15.1 服務(wù)器&區(qū)域 199
圖15.2 TPC C架構(gòu)例子 203
圖15.3 權(quán)限管理實例 205
圖16.1 TPGC擴(kuò)展 213
圖17.1 性能實驗環(huán)境 215
圖17.2 最大的TPM 217
圖17.3 24節(jié)點不同并行活動的TPM 217
表格目錄
表13.1 隔離性級別 190
表15.1 各區(qū)域中的用戶 204