目 錄
第 1章 認(rèn)識(shí)大數(shù)據(jù)／1
1.1 大數(shù)據(jù)概述／1
1.2 大數(shù)據(jù)的發(fā)展／2
1.3 大數(shù)據(jù)的應(yīng)用／4
1.3.1 互聯(lián)網(wǎng)領(lǐng)域／4
1.3.2 物流領(lǐng)域／5
1.3.3 教育領(lǐng)域／6
1.3.4 金融領(lǐng)域／7
1.3.5 電信領(lǐng)域／7
1.4 本章小結(jié)／8

第 2章 大數(shù)據(jù)技術(shù)生態(tài)／9
2.1 大數(shù)據(jù)技術(shù)生態(tài)總覽／9
2.2 大數(shù)據(jù)采集技術(shù)／10
2.3 大數(shù)據(jù)存儲(chǔ)技術(shù)／10
2.3.1 分布式文件系統(tǒng)：HDFS／10
2.3.2 海量數(shù)據(jù)列式存儲(chǔ)： HBase／13
2.3.3 其他數(shù)據(jù)存儲(chǔ)技術(shù)／18
2.4 大數(shù)據(jù)計(jì)算分析技術(shù)／19
2.4.1 批處理計(jì)算的基石：MapReduce／19
2.4.2 流計(jì)算的代表：Storm、Spark Streaming和Flink／21
2.4.3 OLAP引擎：Hive、Impala和Presto／24
2.5 大數(shù)據(jù)管理調(diào)度技術(shù)／30
2.5.1 分布式集群資源調(diào)度框架：YARN／30
2.5.2 容器集群管理系統(tǒng)：Kubernetes／32
2.5.3 大數(shù)據(jù)的"動(dòng)物園管理員"：ZooKeeper／33
2.5.4 常用的工作流調(diào)度平臺(tái)：Azkaban、Oozie和Airflow／34
2.6 大數(shù)據(jù)商業(yè)產(chǎn)品／36
2.7 本章小結(jié)／38

第3章 數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)與構(gòu)建／39
3.1 數(shù)據(jù)倉(cāng)庫(kù)概述／39
3.1.1 什么是數(shù)據(jù)倉(cāng)庫(kù)／39
3.1.2 數(shù)據(jù)倉(cāng)庫(kù)的發(fā)展過(guò)程／41
3.1.3 數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)集市、數(shù)據(jù)湖、數(shù)據(jù)中臺(tái)的區(qū)別／43
3.2 數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)／44
3.2.1 架構(gòu)分層設(shè)計(jì)／44
3.2.2 數(shù)據(jù)模型設(shè)計(jì)／46
3.3 數(shù)據(jù)倉(cāng)庫(kù)構(gòu)建／50
3.3.1 數(shù)據(jù)倉(cāng)庫(kù)的構(gòu)建方法與評(píng)價(jià)標(biāo)準(zhǔn)／50
3.3.2 數(shù)據(jù)倉(cāng)庫(kù)實(shí)例／51
3.4 本章小結(jié)／58

第4章 大數(shù)據(jù)項(xiàng)目開(kāi)發(fā)流程／59
4.1 大數(shù)據(jù)項(xiàng)目開(kāi)發(fā)概覽／59
4.2 數(shù)據(jù)的采集與存儲(chǔ)／60
4.2.1 服務(wù)端日志采集／61
4.2.2 客戶(hù)端日志采集／62
4.2.3 數(shù)據(jù)同步／64
4.2.4 大數(shù)據(jù)存儲(chǔ)／66
4.3 大數(shù)據(jù)計(jì)算／67
4.4 大數(shù)據(jù)監(jiān)控／71
4.4.1 數(shù)據(jù)監(jiān)控／71
4.4.2 運(yùn)維監(jiān)控／72
4.5 大數(shù)據(jù)項(xiàng)目開(kāi)發(fā)案例／73
4.5.1 項(xiàng)目背景介紹／74
4.5.2 項(xiàng)目需求分析／74
4.5.3 項(xiàng)目開(kāi)發(fā)流程／76
4.6 本章小結(jié)／83

第5章 大數(shù)據(jù)測(cè)試方法／84
5.1 大數(shù)據(jù)測(cè)試概述／84
5.1.1 什么是大數(shù)據(jù)測(cè)試／84
5.1.2 大數(shù)據(jù)測(cè)試與傳統(tǒng)數(shù)據(jù)測(cè)試／84
5.2 大數(shù)據(jù)測(cè)試類(lèi)型／85
5.2.1 功能測(cè)試／85
5.2.2 性能測(cè)試／89
5.2.3 其他非功能性測(cè)試／93
5.3 大數(shù)據(jù)測(cè)試流程／94
5.4 大數(shù)據(jù)基準(zhǔn)測(cè)試／96
5.4.1 大數(shù)據(jù)基準(zhǔn)測(cè)試簡(jiǎn)介／97
5.4.2 大數(shù)據(jù)基準(zhǔn)測(cè)試的步驟／97
5.4.3 大數(shù)據(jù)基準(zhǔn)測(cè)試工具／98
5.5 大數(shù)據(jù)ETL測(cè)試／100
5.5.1 大數(shù)據(jù)ETL測(cè)試類(lèi)型／100
5.5.2 大數(shù)據(jù)ETL測(cè)試場(chǎng)景／103
5.5.3 大數(shù)據(jù)ETL測(cè)試工具／107
5.6 大數(shù)據(jù)測(cè)試總結(jié)／108
5.6.1 大數(shù)據(jù)測(cè)試中的典型問(wèn)題／108
5.6.2 大數(shù)據(jù)測(cè)試經(jīng)驗(yàn)總結(jié)／112
5.6.3 大數(shù)據(jù)測(cè)試面臨的挑戰(zhàn)／113
5.7 本章小結(jié)／113

第6章 大數(shù)據(jù)測(cè)試實(shí)踐／114
6.1 BI報(bào)表測(cè)試／114
6.1.1 BI工具簡(jiǎn)介／114
6.1.2 Tableau簡(jiǎn)介／115
6.1.3 BI報(bào)表測(cè)試實(shí)踐／120
6.2 數(shù)據(jù)挖掘產(chǎn)品測(cè)試／128
6.2.1 數(shù)據(jù)挖掘的定義和流程／128
6.2.2 數(shù)據(jù)挖掘產(chǎn)品簡(jiǎn)介／129
6.2.3 數(shù)據(jù)挖掘產(chǎn)品測(cè)試實(shí)踐／130
6.3 用戶(hù)行為分析平臺(tái)測(cè)試／139
6.3.1 用戶(hù)行為分析平臺(tái)測(cè)試概覽／139
6.3.2 數(shù)據(jù)采集階段測(cè)試／140
6.3.3 實(shí)時(shí)數(shù)據(jù)處理階段測(cè)試／140
6.3.4 離線數(shù)據(jù)處理階段測(cè)試／153
6.3.5 數(shù)據(jù)查詢(xún)展示階段測(cè)試／153
6.4 本章小結(jié)／156

第7章 數(shù)據(jù)質(zhì)量管理／157
7.1 數(shù)據(jù)質(zhì)量管理概述／157
7.2 數(shù)據(jù)質(zhì)量管理流程／158
7.2.1 建立數(shù)據(jù)質(zhì)量管理辦法／159
7.2.2 制定數(shù)據(jù)標(biāo)準(zhǔn)／161
7.2.3 數(shù)據(jù)質(zhì)量自查評(píng)估／162
7.2.4 數(shù)據(jù)質(zhì)量問(wèn)題修復(fù)／170
7.3 本章小結(jié)／173

第8章 大數(shù)據(jù)測(cè)試平臺(tái)實(shí)踐／174
8.1 大數(shù)據(jù)測(cè)試平臺(tái)背景／174
8.2 大數(shù)據(jù)測(cè)試的開(kāi)源技術(shù)調(diào)研／175
8.2.1 great_expectations／176
8.2.2 WeBankFinTech Qualitis／178
8.3 大數(shù)據(jù)測(cè)試的商業(yè)方案分析／181
8.3.1 QuerySurge／182
8.3.2 RightData／184
8.4 從零開(kāi)始搭建大數(shù)據(jù)測(cè)試平臺(tái)／186
8.4.1 需求分析／187
8.4.2 架構(gòu)設(shè)計(jì)／187
8.4.3 功能實(shí)現(xiàn)／189
8.4.4 頁(yè)面演示／196
8.4.5 總結(jié)和展望／201
8.5 本章小結(jié)／203

第9章 數(shù)據(jù)治理平臺(tái)建設(shè)／204
9.1 數(shù)據(jù)治理概述／204
9.1.1 數(shù)據(jù)治理的基本概念／204
9.1.2 數(shù)據(jù)治理的重要意義／205
9.1.3 數(shù)據(jù)治理面臨的主要挑戰(zhàn)／206
9.1.4 如何開(kāi)展數(shù)據(jù)治理／206
9.2 數(shù)據(jù)治理平臺(tái)體系／207
9.3 元數(shù)據(jù)管理平臺(tái)／208
9.3.1 平臺(tái)產(chǎn)生背景／208
9.3.2 平臺(tái)架構(gòu)／208
9.3.3 模塊設(shè)計(jì)：數(shù)據(jù)采集／209
9.3.4 模塊設(shè)計(jì)：數(shù)據(jù)查詢(xún)／212
9.3.5 模塊設(shè)計(jì)：數(shù)據(jù)分析／214
9.4 數(shù)據(jù)質(zhì)量監(jiān)控平臺(tái)／219
9.4.1 平臺(tái)產(chǎn)生背景／219
9.4.2 平臺(tái)架構(gòu)／220
9.4.3 模塊設(shè)計(jì)：規(guī)則引擎／221
9.4.4 模塊設(shè)計(jì)：任務(wù)中心／230
9.4.5 模塊設(shè)計(jì)：報(bào)警系統(tǒng) ／230
9.5 本章小結(jié)／232

第 10章 DataOps的理念與實(shí)踐／233
10.1 DataOps概述／233
10.1.1 什么是DataOps／233
10.1.2 為什么需要DataOps／235
10.1.3 DataOps與DevOps、MLOps的聯(lián)系和區(qū)別／237
10.2 DataOps的能力與特性／239
10.2.1 數(shù)據(jù)工程／239
10.2.2 數(shù)據(jù)集成／240
10.2.3 數(shù)據(jù)安全和數(shù)據(jù)隱私保護(hù)／241
10.2.4 數(shù)據(jù)質(zhì)量／242
10.2.5 DataOps的4個(gè)特性／243
10.3 DataOps技術(shù)實(shí)踐／244
10.3.1 DataOps技術(shù)工具／245
10.3.2 數(shù)據(jù)管道技術(shù)示例／246
10.4 本章小結(jié)／253

第 11章 大數(shù)據(jù)測(cè)試的學(xué)習(xí)路線和發(fā)展趨勢(shì)／254
11.1 為什么學(xué)習(xí)大數(shù)據(jù)測(cè)試／254
11.2 如何學(xué)習(xí)大數(shù)據(jù)測(cè)試／255
11.2.1 大數(shù)據(jù)測(cè)試的學(xué)習(xí)路線／255
11.2.2 大數(shù)據(jù)測(cè)試的技能圖譜／259
11.3 大數(shù)據(jù)測(cè)試的發(fā)展趨勢(shì)／269
11.4 本章小結(jié)／270

附錄 大數(shù)據(jù)技術(shù)經(jīng)典面試題／271
參考文獻(xiàn)／276