第1章 數(shù)據(jù)倉(cāng)庫(kù)概論 1
1.1 數(shù)據(jù)倉(cāng)庫(kù)的概念與特點(diǎn) 1
1.2 數(shù)據(jù)倉(cāng)庫(kù)的演進(jìn)過(guò)程 2
1.3 數(shù)據(jù)倉(cāng)庫(kù)技術(shù) 3
1.4 數(shù)據(jù)倉(cāng)庫(kù)基本架構(gòu) 5
1.5 數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)的區(qū)別 8
1.6 學(xué)前導(dǎo)讀 9
1.6.1 學(xué)習(xí)的基礎(chǔ)要求 9
1.6.2 你將學(xué)到什么 9
1.7 本章總結(jié) 9
第2章 項(xiàng)目需求描述 11
2.1 前期調(diào)研 11
2.2 項(xiàng)目架構(gòu)分析 12
2.2.1 金融租賃行業(yè)簡(jiǎn)介 12
2.2.2 金融租賃數(shù)據(jù)倉(cāng)庫(kù)產(chǎn)品描述 12
2.2.3 系統(tǒng)功能結(jié)構(gòu) 13
2.2.4 系統(tǒng)流程圖 14
2.3 項(xiàng)目業(yè)務(wù)概述 14
2.3.1 數(shù)據(jù)采集模塊業(yè)務(wù)描述 14
2.3.2 數(shù)據(jù)倉(cāng)庫(kù)需求業(yè)務(wù)描述 15
2.3.3 數(shù)據(jù)可視化業(yè)務(wù)描述 17
2.4 系統(tǒng)運(yùn)行環(huán)境 18
2.4.1 硬件環(huán)境 18
2.4.2 軟件環(huán)境 19
2.5 本章總結(jié) 21
第3章 項(xiàng)目部署的環(huán)境準(zhǔn)備 22
3.1 集群規(guī)劃與服務(wù)器配置 22
3.2 安裝JDK與Hadoop 22
3.2.1 準(zhǔn)備虛擬機(jī)環(huán)境 22
3.2.2 安裝JDK 26
3.2.3 安裝Hadoop 27
3.2.4 Hadoop的分布式集群部署 28
3.3 本章總結(jié) 35
第4章 業(yè)務(wù)數(shù)據(jù)采集模塊 36
4.1 金融租賃業(yè)務(wù)概述 36
4.1.1 金融租賃業(yè)務(wù)流程 36
4.1.2 業(yè)務(wù)表結(jié)構(gòu) 40
4.2 數(shù)據(jù)同步 43
4.2.1 數(shù)據(jù)同步策略 43
4.2.2 數(shù)據(jù)同步工具選擇 45
4.3 環(huán)境準(zhǔn)備 46
4.3.1 安裝DataX 46
4.3.2 安裝Maxwell 47
4.3.3 安裝ZooKeeper 52
4.3.4 安裝Kafka 54
4.3.5 安裝Flume 57
4.4 模擬業(yè)務(wù)數(shù)據(jù) 59
4.4.1 MySQL安裝 59
4.4.2 數(shù)據(jù)模擬 61
4.5 業(yè)務(wù)數(shù)據(jù)的采集 62
4.5.1 全量同步 62
4.5.2 增量同步 67
4.6 采集通道啟動(dòng)和停止腳本 76
4.7 本章總結(jié) 77
第5章 數(shù)據(jù)倉(cāng)庫(kù)搭建模塊 78
5.1 數(shù)據(jù)倉(cāng)庫(kù)理論準(zhǔn)備 78
5.1.1 數(shù)據(jù)建模概述 78
5.1.2 關(guān)系模型與范式理論 79
5.1.3 維度模型 82
5.1.4 維度建模理論之事實(shí)表 83
5.1.5 維度建模理論之維度表 86
5.1.6 星形模型、雪花模型與星座模型 89
5.2 數(shù)據(jù)倉(cāng)庫(kù)建模實(shí)踐 91
5.2.1 名詞概念 91
5.2.2 為什么要分層 92
5.2.3 數(shù)據(jù)倉(cāng)庫(kù)搭建流程 93
5.2.4 數(shù)據(jù)倉(cāng)庫(kù)開(kāi)發(fā)規(guī)范 97
5.3 數(shù)據(jù)倉(cāng)庫(kù)搭建環(huán)境準(zhǔn)備 101
5.3.1 Hive安裝 101
5.3.2 Hive on Spark配置 104
5.3.3 YARN容量調(diào)度器并發(fā)度問(wèn)題 106
5.3.4 數(shù)據(jù)倉(cāng)庫(kù)開(kāi)發(fā)環(huán)境配置 106
5.3.5 模擬數(shù)據(jù)準(zhǔn)備 109
5.3.6 復(fù)雜數(shù)據(jù)類型 111
5.4 數(shù)據(jù)倉(cāng)庫(kù)搭建——ODS層 112
5.4.1 ODS層表格的創(chuàng)建 112
5.4.2 ODS層業(yè)務(wù)數(shù)據(jù)導(dǎo)入腳本 116
5.5 數(shù)據(jù)倉(cāng)庫(kù)搭建——DIM層 117
5.5.1 部門(mén)維度表（全量） 117
5.5.2 員工維度表（全量） 119
5.5.3 行業(yè)維度表（全量） 120
5.5.4 DIM層每日數(shù)據(jù)裝載腳本 121
5.6 數(shù)據(jù)倉(cāng)庫(kù)搭建——DWD層 121
5.6.1 審批域金融租賃全流程累積快照事實(shí)表 121
5.6.2 DWD層首日數(shù)據(jù)裝載腳本 133
5.6.3 DWD層每日數(shù)據(jù)裝載腳本 133
5.7 數(shù)據(jù)倉(cāng)庫(kù)搭建——ADS層 133
5.7.1 待審/在審項(xiàng)目主題指標(biāo) 133
5.7.2 已審項(xiàng)目主題指標(biāo) 154
5.7.3 已審項(xiàng)目轉(zhuǎn)化主題指標(biāo) 167
5.7.4 ADS層數(shù)據(jù)導(dǎo)入腳本 170
5.8 數(shù)據(jù)模型評(píng)估及優(yōu)化 170
5.9 本章總結(jié) 171
第6章 DolphinScheduler全流程調(diào)度 172
6.1 DolphinScheduler概述與安裝部署 172
6.1.1 DolphinScheduler概述 172
6.1.2 DolphinScheduler安裝部署 173
6.2 創(chuàng)建MySQL數(shù)據(jù)庫(kù)和表 179
6.3 DataX數(shù)據(jù)導(dǎo)出 188
6.4 全流程調(diào)度 192
6.4.1 數(shù)據(jù)準(zhǔn)備 192
6.4.2 全流程調(diào)度配置 192
6.5 電子郵件報(bào)警 198
6.5.1 注冊(cè)郵箱 198
6.5.2 配置電子郵件報(bào)警 199
6.6 本章總結(jié) 202
第7章 數(shù)據(jù)可視化模塊 203
7.1 部署FineBI 203
7.1.1 安裝 203
7.1.2 初始化 205
7.2 數(shù)據(jù)源的配置 210
7.2.1 配置數(shù)據(jù)連接 210
7.2.2 配置數(shù)據(jù)源 213
7.3 制作圖表 215
7.3.1 制作堆積柱狀圖 215
7.3.2 制作餅狀圖 219
7.3.3 制作多系列柱狀圖 227
7.3.4 制作儀表板 229
7.4 本章總結(jié) 234