數(shù)據(jù)浪潮:大數(shù)據(jù)技術(shù)演進(jìn)之路
定 價(jià):89.8 元
- 作者:吳垚
- 出版時(shí)間:2022/9/1
- ISBN:9787115579249
- 出 版 社:人民郵電出版社
- 中圖法分類:TP274
- 頁碼:300
- 紙張:
- 版次:01
- 開本:16開
近年來,基礎(chǔ)軟件的發(fā)展越來越受到重視,越來越多的計(jì)算機(jī)從業(yè)者對(duì)數(shù)據(jù)管理系統(tǒng)和大數(shù)據(jù)的知識(shí)產(chǎn)生了強(qiáng)烈的需求。
本書既介紹了數(shù)據(jù)管理系統(tǒng)的技術(shù)發(fā)展史,又介紹了數(shù)據(jù)管理系統(tǒng)的關(guān)鍵技術(shù)內(nèi)涵,同時(shí)還介紹了一系列主流的商業(yè)化產(chǎn)品及其架構(gòu),并對(duì)前沿技術(shù)進(jìn)行了討論分析,給出作者自己的見解和洞察。本書內(nèi)容主要包括數(shù)據(jù)庫與大數(shù)據(jù)的誕生、發(fā)展和商業(yè)應(yīng)用,數(shù)據(jù)庫與大數(shù)據(jù)之間的關(guān)系,國產(chǎn)數(shù)據(jù)庫的國際化,數(shù)據(jù)管理系統(tǒng)的共同之處,數(shù)據(jù)管理系統(tǒng)的算法理論、前沿技術(shù)等。
本書適合數(shù)據(jù)管理系統(tǒng)或大數(shù)據(jù)方向的技術(shù)人員和科研人員閱讀,也適合互聯(lián)網(wǎng)科技公司的技術(shù)人員及管理人員,以及對(duì)特定領(lǐng)域的商業(yè)和歷史感興趣的讀者閱讀。
1.內(nèi)容新穎,結(jié)構(gòu)合理
本書結(jié)合大數(shù)據(jù)和數(shù)據(jù)庫系統(tǒng),從技術(shù)歷史的角度介紹數(shù)據(jù)管理系統(tǒng)的發(fā)展,既有系統(tǒng)架構(gòu)的演進(jìn),又有商業(yè)產(chǎn)品的興衰,適合不同的讀者。
2.案例豐富,深入淺出
本書有針對(duì)性地介紹了如Oracle、IBM、Google等公司數(shù)據(jù)庫和大數(shù)據(jù)產(chǎn)品的迭代,也介紹了關(guān)于Spark、MySQL、TiDB等主流系統(tǒng)的架構(gòu)設(shè)計(jì),同時(shí)有對(duì)分布式算法、一致性算法等的講解。從公司、產(chǎn)品、技術(shù)、人物等角度列舉了諸多實(shí)例。
3.配套資源,優(yōu)化學(xué)習(xí)
讀者可到異步社區(qū)網(wǎng)站下載與本書配套的彩圖,方便讀者提升學(xué)習(xí)效果
吳垚,畢業(yè)于中國人民大學(xué),是中國人民大學(xué)和加利福尼亞大學(xué)爾灣分校(UCI)聯(lián)合培養(yǎng)的博士,目前就職于華為公司加拿大研究院。其國內(nèi)導(dǎo)師陳紅是CCF數(shù)據(jù)庫專委委員,國家科技進(jìn)步二等獎(jiǎng)獲得者;國外導(dǎo)師Michael J. Carey是美國工程院院士、ACM和IEEE Fellow。博士在讀期間作者參與的項(xiàng)目包括:物聯(lián)網(wǎng)搜索中的隱私保護(hù)研究、新一代高時(shí)效安全可靠流數(shù)據(jù)系統(tǒng)、“Big Active Data:From Petabyte Data to Million People”等。畢業(yè)后就職于華為高斯部門,先后在高斯產(chǎn)品部、高斯實(shí)驗(yàn)室和多倫多實(shí)驗(yàn)室工作,在GaussDB、XY Kernel、HP Kernel等項(xiàng)目中參與AP數(shù)據(jù)庫、AI數(shù)據(jù)庫、TP數(shù)據(jù)庫的研發(fā)。
第 1篇 數(shù)據(jù)管理系統(tǒng)之?dāng)?shù)據(jù)庫——掌上明珠
第 1章 數(shù)據(jù)庫的誕生——“圖靈”獎(jiǎng)經(jīng)典人物 3
1.1 網(wǎng)狀數(shù)據(jù)管理系統(tǒng) 4
1.2 關(guān)系數(shù)據(jù)庫模型 6
1.3 數(shù)據(jù)庫并發(fā)與事務(wù) 8
1.4 數(shù)據(jù)庫優(yōu)化與實(shí)踐 10
1.5 小結(jié) 13
1.6 參考資料 13
第 2章 數(shù)據(jù)庫的工業(yè)繁榮——商業(yè)機(jī)遇 14
2.1 System R 14
2.2 PostgreSQL 16
2.3 Oracle 18
2.4 MySQL 20
2.5 IBM Db2 23
2.6 SQL Server 27
2.7 小結(jié) 29
2.8 參考資料 30
第3章 國產(chǎn)數(shù)據(jù)庫的熱潮——四大家族 31
3.1 人大金倉 31
3.2 南大通用 32
3.3 武漢達(dá)夢 32
3.4 神舟通用 33
3.5 小結(jié) 34
3.6 參考資料 35
第 2篇 數(shù)據(jù)管理系統(tǒng)之大數(shù)據(jù)——異軍突起
第4章 大數(shù)據(jù)降臨——生逢其時(shí) 39
4.1 Google的“三駕馬車” 39
4.1.1 GFS 40
4.1.2 MapReduce系統(tǒng) 41
4.1.3 Bigtable系統(tǒng) 42
4.2 Amazon的“云上時(shí)代” 43
4.3 Facebook的“社交帝國” 44
4.4 LinkedIn的“職業(yè)搖籃” 46
4.5 學(xué)術(shù)界的徘徊輾轉(zhuǎn) 48
4.6 小結(jié) 49
4.7 參考資料 49
第5章 大數(shù)據(jù)分布式系統(tǒng)——高潮迭起 50
5.1 容錯(cuò)內(nèi)存迭代式計(jì)算 50
5.2 實(shí)時(shí)流式大數(shù)據(jù)計(jì)算 52
5.2.1 Storm系統(tǒng) 52
5.2.2 Flink系統(tǒng) 53
5.3 大規(guī)模機(jī)器學(xué)習(xí)系統(tǒng) 54
5.4 數(shù)據(jù)中心的資源管理 56
5.5 全球分布式數(shù)據(jù)服務(wù) 58
5.6 小結(jié) 59
5.7 參考資料 59
第6章 開源整合架構(gòu)演進(jìn)——融會(huì)貫通 60
6.1 鏈家架構(gòu)演進(jìn) 60
6.1.1 大數(shù)據(jù)平臺(tái)架構(gòu)演進(jìn) 60
6.1.2 日志平臺(tái)設(shè)計(jì)與技術(shù) 61
6.2 美團(tuán)架構(gòu)演進(jìn) 62
6.2.1 由淺入深架構(gòu)解析 62
6.2.2 基礎(chǔ)系統(tǒng)架構(gòu)演進(jìn) 64
6.3 Airbnb架構(gòu)演進(jìn) 65
6.3.1 大數(shù)據(jù)平臺(tái)架構(gòu)解析 65
6.3.2 平臺(tái)發(fā)展的經(jīng)驗(yàn)和教訓(xùn) 66
6.4 58同城架構(gòu)演進(jìn) 68
6.4.1 大數(shù)據(jù)三層平臺(tái)架構(gòu) 68
6.4.2 關(guān)鍵技術(shù)演進(jìn)與實(shí)現(xiàn) 70
6.5 滴滴出行架構(gòu)演進(jìn) 71
6.5.1 實(shí)時(shí)計(jì)算平臺(tái)架構(gòu)演進(jìn) 71
6.5.2 實(shí)時(shí)計(jì)算平臺(tái)架構(gòu) 72
6.6 小米架構(gòu)演進(jìn) 73
6.6.1 流式平臺(tái)整體架構(gòu) 73
6.6.2 3個(gè)階段的演進(jìn)歷程 74
6.7 小結(jié) 77
6.8 參考資料 77
第7章 大數(shù)據(jù)的魅力——廣泛應(yīng)用 78
7.1 工業(yè)應(yīng)用 78
7.2 銀行金融 79
7.3 智慧城市 81
7.4 健康醫(yī)療 82
7.5 小結(jié) 83
7.6 參考資料 84
第3篇 大數(shù)據(jù)管理系統(tǒng)——誰主沉浮
第8章 數(shù)據(jù)庫與大數(shù)據(jù)之戰(zhàn)——華山論劍 87
8.1 ACM雙方論戰(zhàn) 87
8.2 MPP絕對(duì)優(yōu)勢 89
8.3 大數(shù)據(jù)強(qiáng)勢發(fā)展 91
8.4 數(shù)據(jù)庫自我革命 94
8.5 NewSQL兼容并包 96
8.6 老牌數(shù)據(jù)庫的反擊 99
8.7 小結(jié) 101
8.8 參考資料 102
第9章 大數(shù)據(jù)管理系統(tǒng)——求同存異 103
9.1 Hadoop生態(tài) 104
9.2 BDAS平臺(tái) 105
9.3 AsterixDB系統(tǒng) 106
9.4 Apache Beam框架 108
9.5 SnappyData模型 109
9.6 SageDB愿景 110
9.7 ShardingSphere項(xiàng)目 112
9.8 小結(jié) 114
9.9 參考資料 115
第 10章 新型數(shù)據(jù)管理系統(tǒng)——百花齊放 116
10.1 大數(shù)據(jù)輸入和輸出 116
10.2 大數(shù)據(jù)調(diào)度管控 119
10.3 大數(shù)據(jù)用戶交互 123
10.4 大數(shù)據(jù)安全隱私 124
10.5 大數(shù)據(jù)新型引擎 127
10.6 大數(shù)據(jù)通用語言 129
10.7 大數(shù)據(jù)網(wǎng)絡(luò)賦能 130
10.8 小結(jié) 134
10.9 參考資料 135
第 11章 國產(chǎn)數(shù)據(jù)庫的國際化——齊頭并進(jìn) 137
11.1 TiDB 137
11.1.1 研發(fā)背景 137
11.1.2 早期架構(gòu) 138
11.1.3 架構(gòu)升級(jí) 139
11.1.4 穩(wěn)定架構(gòu) 140
11.2 OceanBase 142
11.2.1 設(shè)計(jì)考量 142
11.2.2 架構(gòu)演進(jìn) 144
11.2.3 厚積薄發(fā) 150
11.3 TDSQL 150
11.3.1 分布式TDSQL 150
11.3.2 分析型TBase 152
11.3.3 云原生CynosDB 153
11.3.4 產(chǎn)品戰(zhàn)略統(tǒng)一 154
11.4 GaussDB 155
11.4.1 OLTP成長史 155
11.4.2 OLAP成長史 156
11.4.3 HTAP成長史 157
11.4.4 AI-Native成長史 157
11.5 Bigflow 158
11.6 ByteGraph 160
11.7 小結(jié) 163
11.8 參考資料 164
第4篇 大數(shù)據(jù)管理系統(tǒng)的架構(gòu)——路在何方
第 12章 高速電子計(jì)算機(jī)與大數(shù)據(jù)管理系統(tǒng)——萬法歸宗 167
12.1 以計(jì)算為中心的計(jì)算機(jī) 167
12.2 以存儲(chǔ)為中心的數(shù)據(jù)機(jī) 170
12.3 大數(shù)據(jù)管理的系統(tǒng)模型 172
12.4 數(shù)據(jù)管理系統(tǒng)的總結(jié)抽象 176
12.5 小結(jié) 178
12.6 參考資料 179
第 13章 無處不在的操作系統(tǒng)——?dú)w納演繹 180
13.1 計(jì)算機(jī)的操作系統(tǒng) 180
13.2 數(shù)據(jù)管理系統(tǒng)的操作系統(tǒng) 184
13.3 數(shù)據(jù)中心的操作系統(tǒng) 185
13.4 資源抽象與應(yīng)用接口 189
13.5 小結(jié) 192
13.6 參考資料 192
第 14章 大數(shù)據(jù)管理系統(tǒng)的未來架構(gòu)——沙漠綠洲 194
14.1 大數(shù)據(jù)操作系統(tǒng) 195
14.1.1 數(shù)據(jù)輸入 197
14.1.2 數(shù)據(jù)存儲(chǔ) 198
14.1.3 數(shù)據(jù)計(jì)算 200
14.1.4 數(shù)據(jù)控制 201
14.1.5 數(shù)據(jù)輸出 202
14.2 自動(dòng)化可插拔引擎 203
14.3 分布式彈性數(shù)據(jù)模型 203
14.4 易用抽象作業(yè)執(zhí)行框架 204
14.5 深度智能系統(tǒng)管理內(nèi)核 204
14.6 大數(shù)據(jù)管理系統(tǒng)biggy原型 204
14.7 小結(jié) 205
14.8 參考資料 206
第5篇 大數(shù)據(jù)管理系統(tǒng)的精髓——無上心法
第 15章 大數(shù)據(jù)管理系統(tǒng)的基礎(chǔ)——算法理論 209
15.1 存儲(chǔ)類算法 209
15.1.1 大數(shù)據(jù)LSM的優(yōu)勢 209
15.1.2 B+-Tree與LSM-Tree對(duì)比 210
15.1.3 LSM的優(yōu)化算法 211
15.2 執(zhí)行器算法 212
15.2.1 Spark RDD中DAG的應(yīng)用 212
15.2.2 分布式數(shù)據(jù)庫的算子運(yùn)算 213
15.2.3 大數(shù)據(jù)DAG與數(shù)據(jù)庫算子的異同 214
15.3 一致性算法 214
15.3.1 常見一致性算法簡介 214
15.3.2 Paxos算法進(jìn)階深入 215
15.3.3 一致性的Consensus與Consistency 216
15.4 持久化算法 218
15.4.1 經(jīng)典的WAL 218
15.4.2 前沿的WBL 219
15.5 分布式算法 220
15.5.1 分布式P2P協(xié)議 220
15.5.2 一致性哈希算法 220
15.6 事務(wù)類算法 222
15.6.1 兩階段提交 222
15.6.2 三階段提交 223
15.7 分布式容錯(cuò)機(jī)制 224
15.7.1 分布式系統(tǒng)容錯(cuò)機(jī)制 225
15.7.2 數(shù)據(jù)庫系統(tǒng)容錯(cuò)機(jī)制 227
15.7.3 工業(yè)實(shí)踐與學(xué)術(shù)創(chuàng)新 227
15.8 高并發(fā)控制機(jī)制 229
15.8.1 并發(fā)控制類別 229
15.8.2 并發(fā)控制實(shí)現(xiàn) 230
15.9 系統(tǒng)健壯性機(jī)制 232
15.10 小結(jié) 234
15.11 參考資料 234
第 16章 大數(shù)據(jù)管理系統(tǒng)的前沿——另辟蹊徑 236
16.1 數(shù)據(jù)上下文管理系統(tǒng)Ground 236
16.2 自治數(shù)據(jù)管理系統(tǒng)Peloton 239
16.3 分布式預(yù)測系統(tǒng)Clipper 240
16.4 數(shù)據(jù)管理中人的作用CrowdDB 241
16.5 新硬件帶來的變革doppioDB 242
16.6 端云協(xié)同實(shí)時(shí)數(shù)據(jù)庫Firebase 243
16.7 自組裝數(shù)據(jù)庫XuanYuan 245
16.8 數(shù)據(jù)治理新思路Tamr 248
16.9 系統(tǒng)性能調(diào)優(yōu)AITuning 249
16.10 小結(jié) 253
16.11 參考資料 253
第 17章 大數(shù)據(jù)管理系統(tǒng)的謎團(tuán)——撥云見日 255
17.1 分布式機(jī)器學(xué)習(xí)與分布式數(shù)據(jù)庫 255
17.2 分布式一致性與數(shù)據(jù)庫一致性 257
17.3 可變的數(shù)據(jù)與不可變的數(shù)據(jù) 260
17.4 區(qū)塊鏈與數(shù)據(jù)庫的異同 261
17.5 NewSQL與OldSQL 263
17.6 云計(jì)算、邊緣計(jì)算與物聯(lián)網(wǎng) 266
17.7 大數(shù)據(jù)Java還是C/C++ 270
17.8 流數(shù)據(jù)與批處理的界線 270
17.9 分布式事務(wù)與遞增式時(shí)間 272
17.10 小結(jié) 273
17.11 參考資料 274
第 18章 大數(shù)據(jù)的標(biāo)準(zhǔn)——游戲規(guī)則 275
18.1 TPC標(biāo)準(zhǔn)測試 275
18.2 SQL通用語言 277
18.3 頂級(jí)學(xué)術(shù)會(huì)議 277
18.4 設(shè)計(jì)范式 279
18.5 流行趨勢 281
18.6 研究機(jī)構(gòu) 283
18.7 小結(jié) 284
18.8 參考資料 284
附錄 285
A.工業(yè)與學(xué)術(shù) 285
B.國產(chǎn)與國際 286
C.開放與封閉 288
D.資本與技術(shù) 292
E.個(gè)人與企業(yè) 295
F.過去與未來 299
G.參考資料 300