目 錄
第1章 數(shù)據(jù)庫發(fā)展歷程 1
1.1 數(shù)據(jù)庫發(fā)展概述 2
1.1.1 萌芽 2
1.1.2 商業(yè)化起步 3
1.1.3 發(fā)展成熟 3
1.1.4 云原生與分布式時代 4
1.2 數(shù)據(jù)庫技術(shù)發(fā)展趨勢 6
1.2.1 云原生與分布式 6
1.2.2 大數(shù)據(jù)與數(shù)據(jù)庫一體化 6
1.2.3 軟硬件一體化 7
1.2.4 多模 7
1.2.5 智能化運維 8
1.2.6 安全可信 8
1.3 關(guān)系數(shù)據(jù)庫主要技術(shù)原理 8
1.3.1 接入管理 9
1.3.2 查詢引擎 10
1.3.3 事務(wù)處理 14
1.3.4 存儲引擎 17
參考文獻 19
第2章 數(shù)據(jù)庫與云原生 20
2.1 數(shù)據(jù)庫在云時代的發(fā)展 21
2.1.1 云計算時代的興起 21
2.1.2 數(shù)據(jù)庫作為一種服務(wù) 22
2.2 數(shù)據(jù)庫在云原生時代面臨的挑戰(zhàn) 23
2.3 云原生數(shù)據(jù)庫的主要特點 24
2.3.1 分層架構(gòu) 24
2.3.2 資源解耦與池化 24
2.3.3 彈性伸縮能力 24
2.3.4 高可用與數(shù)據(jù)一致性 25
2.3.5 多租戶與資源隔離 26
2.3.6 智能化運維 26
參考文獻 26
第3章 云原生數(shù)據(jù)庫架構(gòu) 27
3.1 設(shè)計理念 28
3.1.1 云原生數(shù)據(jù)庫的本質(zhì) 28
3.1.2 計算與存儲分離 29
3.2 架構(gòu)設(shè)計 30
3.3 典型的云原生數(shù)據(jù)庫 31
3.3.1 AWS Aurora 31
3.3.2 PolarDB 37
3.3.3 Microsoft Socrates 40
參考文獻 44
第4章 存儲引擎 45
4.1 數(shù)據(jù)組織 46
4.1.1 B+樹 47
4.1.2 InnoDB引擎中的B+樹 49
4.1.3 LSM-tree 52
4.2 并發(fā)控制 56
4.2.1 基本概念 56
4.2.2 鎖方法 56
4.2.3 時間戳方法 58
4.2.4 MVCC 61
4.2.5 InnoDB MVCC的實現(xiàn) 63
4.3 日志與恢復(fù) 65
4.3.1 基本概念 65
4.3.2 邏輯日志 66
4.3.3 物理日志 66
4.3.4 恢復(fù)原理 67
4.3.5 MySQL的Binlog 68
4.3.6 InnoDB的物理日志 68
4.4 新型LSM存儲引擎 70
4.4.1 PolarDB X-Engine 70
4.4.2 高性能事務(wù)處理 72
4.4.3 軟硬結(jié)合優(yōu)化 75
4.4.4 低成本分層存儲 78
4.4.5 雙存儲引擎技術(shù) 84
4.4.6 實驗評估 85
參考文獻 88
第5章 高可用共享存儲系統(tǒng) 89
5.1 高可用基礎(chǔ) 90
5.1.1 Primary-Backup 90
5.1.2 Quorum 92
5.1.3 Paxos 93
5.1.4 Raft 95
5.1.5 Parallel Raft 98
5.2 集群高可用 100
5.2.1 MySQL集群高可用 100
5.2.2 PolarDB高可用 103
5.3 共享存儲架構(gòu) 116
5.3.1 Aurora存儲系統(tǒng) 117
5.3.2 PolarFS 119
5.4 文件系統(tǒng)優(yōu)化 121
5.4.1 用戶態(tài)I/O計算 121
5.4.2 近存儲計算 124
參考文獻 130
第6章 數(shù)據(jù)庫緩存 131
6.1 數(shù)據(jù)庫緩存簡介 132
6.1.1 數(shù)據(jù)庫緩沖作用 132
6.1.2 緩沖池 132
6.2 緩存恢復(fù) 133
6.2.1 云環(huán)境對緩存的挑戰(zhàn) 133
6.2.2 基于CPU與內(nèi)存分離的緩存恢復(fù) 133
6.3 PolarDB的實踐 135
6.3.1 緩沖池的優(yōu)化 135
6.3.2 數(shù)據(jù)字典緩存和文件系統(tǒng)緩存的優(yōu)化 140
6.3.3 基于RDMA的共享內(nèi)存池 141
參考文獻 146
第7章 計算引擎 147
7.1 查詢處理概述 148
7.1.1 數(shù)據(jù)庫查詢處理概述 148
7.1.2 并行查詢概述 149
7.2 查詢執(zhí)行模型 151
7.2.1 火山模型 151
7.2.2 編譯執(zhí)行模型 152
7.2.3 向量化執(zhí)行模型 152
7.3 查詢優(yōu)化概述 153
7.3.1 查詢優(yōu)化整體介紹 153
7.3.2 邏輯查詢優(yōu)化 153
7.3.3 物理查詢優(yōu)化 154
7.3.4 其他優(yōu)化方法 154
7.4 PolarDB查詢引擎實踐 155
7.4.1 PolarDB的并行查詢技術(shù) 155
7.4.2 PolarDB的執(zhí)行計劃管理 168
7.4.3 PolarDB的向量化執(zhí)行 175
參考文獻 178
第8章 云原生與分布式融合 179
8.1 分布式數(shù)據(jù)庫的基本原理 180
8.1.1 分布式數(shù)據(jù)庫架構(gòu) 180
8.1.2 數(shù)據(jù)分區(qū) 181
8.1.3 分布式事務(wù) 183
8.1.4 MPP并行查詢處理 187
8.2 分布式與云原生 188
8.2.1 共享存儲架構(gòu) 189
8.2.2 無共享存儲架構(gòu) 189
8.3 云原生分布式數(shù)據(jù)庫 PolarDB-X 190
8.3.1 架構(gòu)設(shè)計 190
8.3.2 拆分方式 191
8.3.3 全局二級索引 192
8.3.4 分布式事務(wù) 193
8.3.5 HTAP 193
參考文獻 194
第9章 云原生數(shù)據(jù)庫PolarDB 應(yīng)用實踐 195
9.1 創(chuàng)建云上實例 196
9.2 數(shù)據(jù)庫接入 198
9.2.1 相關(guān)賬號的創(chuàng)建 198
9.2.2 圖形化訪問 198
9.2.3 連接方式訪問 199
9.3 基本操作 202
9.3.1 數(shù)據(jù)庫與表創(chuàng)建 202
9.3.2 創(chuàng)建測試數(shù)據(jù) 203
9.3.3 賬號與權(quán)限管理 204
9.3.4 數(shù)據(jù)查詢 205
9.4 云上數(shù)據(jù)遷移 208
9.4.1 云上數(shù)據(jù)的遷入 208
9.4.2 云上數(shù)據(jù)的導(dǎo)出 211
第10章 PolarDB運維管理 212
10.1 數(shù)據(jù)庫運維概述 213
10.2 擴展資源 213
10.2.1 系統(tǒng)擴展 213
10.2.2 手動升降配 213
10.2.3 手動增減節(jié)點 214
10.2.4 自動升降配和增減節(jié)點 214
10.3 備份與恢復(fù) 215
10.3.1 備份 215
10.3.2 恢復(fù) 217
10.4 監(jiān)控與診斷 218
10.4.1 監(jiān)控與報警 218
10.4.2 診斷與優(yōu)化 218
參考文獻 220