目    錄

第1章  數(shù)據(jù)倉(cāng)庫(kù)、商業(yè)智能及維度建模初步          1

1.1  數(shù)據(jù)獲取與數(shù)據(jù)分析的區(qū)別        1

1.2  數(shù)據(jù)倉(cāng)庫(kù)與商業(yè)智能的目標(biāo)        2

1.3  維度建模簡(jiǎn)介        5

1.3.1  星型模式與OLAP多維數(shù)據(jù)庫(kù)  6

1.3.2  用于度量的事實(shí)表    7

1.3.3  用于描述環(huán)境的維度表    9

1.3.4  星型模式中維度與事實(shí)的連接         11

1.4    Kimball的DW/BI架構(gòu)       14

1.4.1  操作型源系統(tǒng)    14

1.4.2  獲取-轉(zhuǎn)換-加載(ETL)系統(tǒng)  14

1.4.3  用于支持商業(yè)智能決策的展現(xiàn)區(qū)    16

1.4.4  商業(yè)智能應(yīng)用    17

1.4.5  以餐廳為例描述Kimball架構(gòu)   17

1.5  其他DW/BI架構(gòu)   19

1.5.1  獨(dú)立數(shù)據(jù)集市架構(gòu)    19

1.5.2  輻射狀企業(yè)信息工廠Inmon架構(gòu)    20

1.5.3  混合輻射狀架構(gòu)與Kimball架構(gòu)       22

1.6  維度建模神話        22

1.6.1  神話1：維度模型僅包含匯總數(shù)據(jù) 23

1.6.2  神話2：維度模型是部門級(jí)而不是企業(yè)級(jí)的 23

1.6.3  神話3：維度模型是不可擴(kuò)展的      23

1.6.4  神話4：維度模型僅用于預(yù)測(cè) 23

1.6.5  神話5：維度模型不能被集成 24

1.7  考慮使用維度模型的更多理由   24

1.8  本章小結(jié)        25

第2章 Kimball維度建模技術(shù)概述    27

2.1  基本概念        27

2.1.1  收集業(yè)務(wù)需求與數(shù)據(jù)實(shí)現(xiàn)         27

2.1.2  協(xié)作維度建模研討    27

2.1.3  4步驟維度設(shè)計(jì)過(guò)程 28

2.1.4  業(yè)務(wù)過(guò)程    28

2.1.5  粒度    28

2.1.6  描述環(huán)境的維度         28

2.1.7  用于度量的事實(shí)         29

2.1.8  星型模式與OLAP多維數(shù)據(jù)庫(kù)  29

2.1.9  方便地?cái)U(kuò)展到維度模型    29

2.2  事實(shí)表技術(shù)基礎(chǔ)   29

2.2.1  事實(shí)表結(jié)構(gòu)         29

2.2.2  可加、半可加、不可加事實(shí)    29

2.2.3  事實(shí)表中的空值         30

2.2.4  一致性事實(shí)         30

2.2.5  事務(wù)事實(shí)表         30

2.2.6  周期快照事實(shí)表         30

2.2.7  累積快照事實(shí)表         30

2.2.8  無(wú)事實(shí)的事實(shí)表         31

2.2.9  聚集事實(shí)表或OLAP多維數(shù)據(jù)庫(kù)      31

2.2.10  合并事實(shí)表       31

2.3  維度表技術(shù)基礎(chǔ)   31

2.3.1  維度表結(jié)構(gòu)         31

2.3.2  維度代理鍵         32

2.3.3  自然鍵、持久鍵和超自然鍵    32

2.3.4  下鉆    32

2.3.5  退化維度    32

2.3.6  非規(guī)范化扁平維度    32

2.3.7  多層次維度         32

2.3.8  文檔屬性的標(biāo)識(shí)與指示器         33

2.3.9  維度表中的空值屬性         33

2.3.10  日歷日期維度  33

2.3.11  扮演角色的維度       33

2.3.12  雜項(xiàng)維度  33

2.3.13  雪花維度  33

2.3.14  支架維度  34

2.4  使用一致性維度集成   34

2.4.1  一致性維度         34

2.4.2  縮減維度    34

2.4.3  跨表鉆取    34

2.4.4  價(jià)值鏈         34

2.4.5  企業(yè)數(shù)據(jù)倉(cāng)庫(kù)總線架構(gòu)    35

2.4.6  企業(yè)數(shù)據(jù)倉(cāng)庫(kù)總線矩陣    35

2.4.7  總線矩陣實(shí)現(xiàn)細(xì)節(jié)    35

2.4.8  機(jī)會(huì)/利益相關(guān)方矩陣       35

2.5  處理緩慢變化維度屬性        35

2.5.1  類型0：原樣保留      35

2.5.2  類型1：重寫      35

2.5.3  類型2：增加新行      36

2.5.4  類型3：增加新屬性 36

2.5.5  類型4：增加微型維度      36

2.5.6  類型5：增加微型維度及類型1支架      36

2.5.7  類型6：增加類型1屬性到類型2維度  36

2.5.8  類型7：雙類型1和類型2維度      36

2.6  處理維度層次關(guān)系        37

2.6.1  固定深度位置的層次         37

2.6.2  輕微參差不齊/可變深度層次   37

2.6.3  具有層次橋接表的參差不齊/可變深度層次   37

2.6.4  具有路徑字符屬性的可變深度層次         37

2.7  高級(jí)事實(shí)表技術(shù)   37

2.7.1  事實(shí)表代理鍵    37

2.7.2  蜈蚣事實(shí)表         38

2.7.3  屬性或事實(shí)的數(shù)字值         38

2.7.4  日志/持續(xù)時(shí)間事實(shí)   38

2.7.5  頭/行事實(shí)表       38

2.7.6  分配的事實(shí)         38

2.7.7  利用分配建立利潤(rùn)與損失事實(shí)表    38

2.7.8  多種貨幣事實(shí)    39

2.7.9  多種度量事實(shí)單位    39

2.7.10  年-日事實(shí) 39

2.7.11  多遍SQL以避免事實(shí)表間的連接  39

2.7.12  針對(duì)事實(shí)表的時(shí)間跟蹤  39

2.7.13  遲到的事實(shí)       40

2.8  高級(jí)維度技術(shù)        40

2.8.1  維度表連接         40

2.8.2  多值維度與橋接表    40

2.8.3  隨時(shí)間變化的多值橋接表         40

2.8.4  標(biāo)簽的時(shí)間序列行為         40

2.8.5  行為研究分組    40

2.8.6  聚集事實(shí)作為維度屬性    41

2.8.7  動(dòng)態(tài)值范圍         41

2.8.8  文本注釋維度    41

2.8.9  多時(shí)區(qū)         41

2.8.10  度量類型維度  41

2.8.11  步驟維度  41

2.8.12  熱交換維度       42

2.8.13  抽象通用維度  42

2.8.14  審計(jì)維度  42

2.8.15  最后產(chǎn)生的維度       42

2.9  特殊目的模式        42

2.9.1  異構(gòu)產(chǎn)品的超類與子類模式    43

2.9.2  實(shí)時(shí)事實(shí)表         43

2.9.3  錯(cuò)誤事件模式    43

第3章  零售業(yè)務(wù)          45

3.1  維度模型設(shè)計(jì)的4步過(guò)程    46

3.1.1  第1步：選擇業(yè)務(wù)過(guò)程     46

3.1.2  第2步：聲明粒度     46

3.1.3  第3步：確定維度     47

3.1.4  第4步：確定事實(shí)     47

3.2  零售業(yè)務(wù)案例研究        47

3.2.1  第1步：選擇業(yè)務(wù)過(guò)程     49

3.2.2  第2步：聲明粒度     49

3.2.3  第3步：確定維度     50

3.2.4  第4步：確定事實(shí)     50

3.3  維度表設(shè)計(jì)細(xì)節(jié)   53

3.3.1  日期維度    53

3.3.2  產(chǎn)品維度    56

3.3.3  商店維度    59

3.3.4  促銷維度    60

3.3.5  其他零售業(yè)維度         62

3.3.6  事務(wù)號(hào)碼的退化維度         63

3.4  實(shí)際的銷售模式   63

3.5  零售模式的擴(kuò)展能力   64

3.6  無(wú)事實(shí)的事實(shí)表   65

3.7  維度與事實(shí)表鍵   66

3.7.1  維度表代理鍵    66

3.7.2  維度中自然和持久的超自然鍵         68

3.7.3  退化維度的代理鍵    68

3.7.4  日期維度的智能鍵    68

3.7.5  事實(shí)表的代理鍵         69

3.8  抵制規(guī)范化的沖動(dòng)        70

3.8.1  具有規(guī)范化維度的雪花模式    70

3.8.2  支架表         72

3.8.3  包含大量維度的蜈蚣事實(shí)表    72

3.9  本章小結(jié)        74

第4章  庫(kù)存          75

4.1  價(jià)值鏈簡(jiǎn)介   75

4.2  庫(kù)存模型        76

4.2.1  庫(kù)存周期快照    76

4.2.2  庫(kù)存事務(wù)    79

4.2.3  庫(kù)存累積快照    80

4.3  事實(shí)表類型   81

4.3.1  事務(wù)事實(shí)表         81

4.3.2  周期快照事實(shí)表         82

4.3.3  累積快照事實(shí)表         82

4.3.4  輔助事實(shí)表類型         83

4.4  價(jià)值鏈集成   83

4.5  企業(yè)數(shù)據(jù)倉(cāng)庫(kù)總線架構(gòu)        84

4.5.1  理解總線架構(gòu)    84

4.5.2  企業(yè)數(shù)據(jù)倉(cāng)庫(kù)總線矩陣    85

4.6  一致性維度   89

4.6.1  多事實(shí)表鉆取    89

4.6.2  相同的一致性維度    89

4.6.3  包含屬性子集的縮減上卷一致性維度    90

4.6.4  包含行子集的縮減一致性維度         91

4.6.5  總線矩陣的縮減一致性維度    91

4.6.6  有限一致性         92

4.6.7  數(shù)據(jù)治理與管理的重要性         92

4.6.8  一致性維度與敏捷開發(fā)    94

4.7  一致性事實(shí)   94

4.8  本章小結(jié)        95

第5章  采購(gòu)          97

5.1  采購(gòu)案例研究        97

5.2  采購(gòu)事務(wù)與總線矩陣   98

5.2.1  單一事務(wù)事實(shí)表與多事務(wù)事實(shí)表    98

5.2.2  輔助采購(gòu)快照    101

5.3  緩慢變化維度(SCD)基礎(chǔ)       101

5.3.1  類型0：保留原始值 102

5.3.2  類型1：重寫      102

5.3.3  類型2：增加新行      104

5.3.4  類型3：增加新屬性 106

5.3.5  類型4：增加微型維度      108

5.4  混合緩慢變化維度技術(shù)        110

5.4.1  類型5：微型維度與類型1支架表 110

5.4.2  類型6：將類型1屬性增加到類型2維度      111

5.4.3  類型7：雙重類型1與類型2維度  112

5.5  緩慢變化維度總結(jié)        113

5.6  本章小結(jié)        114

第6章  訂單管理          115

6.1  訂單管理總線矩陣        116

6.2  訂單事務(wù)        116

6.2.1  事實(shí)表規(guī)范化    117

6.2.2  維度角色扮演    117

6.2.3  重新審視產(chǎn)品維度    119

6.2.4  客戶維度    120

6.2.5  交易維度    122

6.2.6  針對(duì)訂單號(hào)的退化維度    123

6.2.7  雜項(xiàng)維度    124

6.2.8  應(yīng)該避免的表頭/明細(xì)模式       125

6.2.9  多幣種         126

6.2.10  不同粒度的事務(wù)事實(shí)       128

6.2.11  另外一種需要避免的表頭/明細(xì)模式     129

6.3  發(fā)票事務(wù)        130

6.3.1  作為事實(shí)、維度或兩者兼顧的服務(wù)級(jí)性能    131

6.3.2  利潤(rùn)與損益事實(shí)         131

6.3.3  審計(jì)維度    133

6.4  用于訂單整個(gè)流水線的累積快照        134

6.4.1  延遲計(jì)算    136

6.4.2  多種度量單位    137

6.4.3  超越后視鏡         138

6.5  本章小結(jié)        138

第7章  會(huì)計(jì)          139

7.1  會(huì)計(jì)案例研究與總線矩陣   139

7.2  總賬數(shù)據(jù)        141

7.2.1  總賬周期快照    141

7.2.2  會(huì)計(jì)科目表         141

7.2.3  結(jié)賬    141

7.2.4  年度-日期事實(shí)   143

7.2.5  再次討論多幣種問(wèn)題         143

7.2.6  總賬日記賬事務(wù)         143

7.2.7  多種財(cái)務(wù)會(huì)計(jì)日歷    144

7.2.8  多級(jí)別層次下鉆         145

7.2.9  財(cái)務(wù)報(bào)表    145

7.3  預(yù)算編制過(guò)程        146

7.4  維度屬性層次        148

7.4.1  固定深度的位置層次         148

7.4.2  具有輕微不整齊的可變深度層次    149

7.4.3  不整齊可變深度層次         149

7.4.4  不規(guī)則層次中的共享所有權(quán)    152

7.4.5  隨時(shí)間變化的不規(guī)則層次         153

7.4.6  修改不規(guī)則層次         153

7.4.7  其他不規(guī)則層次的建模方法    154

7.4.8  應(yīng)用于不規(guī)則層次的橋接表方法的優(yōu)點(diǎn)         156

7.5  合并事實(shí)表   156

7.6  OLAP角色及分析方案包      157

7.7  本章小結(jié)        158

第8章  客戶關(guān)系管理          159

8.1  客戶關(guān)系管理概述        160

8.2  客戶維度屬性        162

8.2.1  名字與地址的語(yǔ)法分析    162

8.2.2  國(guó)際姓名和地址的考慮    164

8.2.3  客戶為中心的日期    165

8.2.4  作為維度屬性的聚集事實(shí)         166

8.2.5  分段屬性與記分         166

8.2.6  包含類型2維度變化的計(jì)算     169

8.2.7  低粒度屬性集合的支架表         169

8.2.8  客戶層次的考慮         170

8.3  應(yīng)用于多值維度的橋接表   171

8.3.1  稀疏屬性的橋接表    172

8.3.2  應(yīng)用于客戶多種聯(lián)系方式的橋接表         173

8.4  復(fù)雜的客戶行為   173

8.4.1  客戶隊(duì)列的行為研究分組         173

8.4.2  連續(xù)行為的步驟維度         175

8.4.3  時(shí)間范圍事實(shí)表         176

8.4.4  使用滿意度指標(biāo)標(biāo)記事實(shí)表    177

8.4.5  使用異常情景指標(biāo)標(biāo)記事實(shí)表         178

8.5  客戶數(shù)據(jù)集成方法        178

8.5.1  建立單一客戶維度的主數(shù)據(jù)管理    179

8.5.2  多客戶維度的局部一致性         180

8.5.3  避免對(duì)應(yīng)事實(shí)表的連接    180

8.6  低延遲的實(shí)現(xiàn)檢查        181

8.7  本章小結(jié)        182

第9章  人力資源管理          183

9.1  雇員檔案跟蹤        183

9.1.1  精確的有效和失效時(shí)間范圍    184

9.1.2  維度變化原因跟蹤    185

9.1.3  作為類型2屬性或事實(shí)事件的檔案變化         185

9.2  雇員總數(shù)周期快照        186

9.3  人力資源過(guò)程的總線矩陣   187

9.4  分析解決方案軟件包與數(shù)據(jù)模型        188

9.5  遞歸式雇員層次   189

9.5.1  針對(duì)嵌入式經(jīng)理主鍵變化的跟蹤    190

9.5.2  上鉆或下鉆管理層次         190

9.6  多值技能關(guān)鍵字屬性   191

9.6.1  技能關(guān)鍵字橋接表    191

9.6.2  技能關(guān)鍵字文本字符串    192

9.7  調(diào)查問(wèn)卷數(shù)據(jù)        193

9.8  本章小結(jié)        194

第10章  金融服務(wù)       195

10.1  銀行案例研究與總線矩陣 195

10.2  分類維度以避免出現(xiàn)維度太少的情況      196

10.2.1  家庭維度  199

10.2.2  多值維度與權(quán)重因子       199

10.2.3  再談微型維度  200

10.2.4  在橋接表中增加微型維度       202

10.2.5  動(dòng)態(tài)值范圍事實(shí)       202

10.3  異構(gòu)產(chǎn)品的超類和子類模式      203

10.4  熱可交換維度      205

10.5  本章小結(jié)      205

第11章  電信       207

11.1  電信業(yè)案例研究與總線矩陣      207

11.2  設(shè)計(jì)評(píng)審的一般性考慮      209

11.2.1  業(yè)務(wù)需求與實(shí)際可用資源的權(quán)衡  209

11.2.2  關(guān)注業(yè)務(wù)過(guò)程  209

11.2.3  粒度  210

11.2.4  統(tǒng)一的事實(shí)表粒度  210

11.2.5  維度的粒度和層次  210

11.2.6  日期維度  211

11.2.7  退化維度  211

11.2.8  代理鍵       212

11.2.9  維度解碼與描述符  212

11.2.10  一致的承諾    212

11.3  設(shè)計(jì)評(píng)審指導(dǎo)      212

11.4  草案設(shè)計(jì)訓(xùn)練的討論 214

11.5  重新建模已存在的數(shù)據(jù)結(jié)構(gòu)      215

11.6  地理位置維度      216

11.7  本章小結(jié)      216

第12章  交通運(yùn)輸       217

12.1  航空案例研究與總線矩陣 217

12.1.1  多種事實(shí)表粒度       218

12.1.2  連接區(qū)段形成旅程  220

12.1.3  相關(guān)事實(shí)表       221

12.2  擴(kuò)展至其他行業(yè) 221

12.2.1  貨物托運(yùn)人       221

12.2.2  旅行服務(wù)  222

12.3  相關(guān)維度合并      222

12.3.1  服務(wù)類別  223

12.3.2  始發(fā)地與目的地       224

12.4  更多有關(guān)日期和時(shí)間的考慮      225

12.4.1  用作支架表的特定國(guó)家日歷  225

12.4.2  多時(shí)區(qū)的日期和時(shí)間       226

12.5  本地化概要 226

12.6  本章小結(jié)      227

第13章  教育       229

13.1  大學(xué)案例研究與總線矩陣 229

13.2  累積快照事實(shí)表 231

13.2.1  申請(qǐng)流水線       231

13.2.2  科研資助項(xiàng)目流水線       232

13.3  無(wú)事實(shí)的事實(shí)表 232

13.3.1  招生事件  233

13.3.2  課程注冊(cè)  233

13.3.3  設(shè)施使用  235

13.3.4  學(xué)生考勤  236

13.4  更多關(guān)于教育分析的情況 237

13.5  本章小結(jié)      237

第14章  醫(yī)療衛(wèi)生       239

14.1  醫(yī)療衛(wèi)生案例研究與總線矩陣 239

14.2  報(bào)銷單據(jù)與支付 241

14.2.1  日期維度角色扮演  243

14.2.2  多值診斷  243

14.2.3  收費(fèi)的超類與子類  245

14.3  電子醫(yī)療記錄      246

14.3.1  度量稀疏事實(shí)的類型維度       246

14.3.2  自由文本注釋  247

14.3.3  圖像  247

14.4  設(shè)施/設(shè)備的庫(kù)存利用         247

14.5  處理可追溯的變化      248

14.6  本章小結(jié)      248

第15章  電子商務(wù)       249

15.1  點(diǎn)擊流源數(shù)據(jù)      249

15.2  點(diǎn)擊流維度模型 252

15.2.1  網(wǎng)頁(yè)維度  252

15.2.2  事件維度  253

15.2.3  會(huì)話維度  254

15.2.4  推薦維度  254

15.2.5  點(diǎn)擊流會(huì)話事實(shí)表  255

15.2.6  點(diǎn)擊流網(wǎng)頁(yè)事件事實(shí)表  256

15.2.7  步驟維度  258

15.2.8  聚集點(diǎn)擊流事實(shí)表  258

15.2.9 Google Analytics(GA)         259

15.3  將點(diǎn)擊流集成到Web零售商總線矩陣中         259

15.4  包含Web的跨渠道贏利能力    261

15.5  本章小結(jié)      263

第16章  保險(xiǎn)業(yè)務(wù)       265

16.1  保險(xiǎn)案例研究      266

16.1.1  保險(xiǎn)業(yè)價(jià)值鏈  266

16.1.2  總線矩陣草案  267

16.2  保單事務(wù)      268

16.2.1  維度角色扮演  268

16.2.2  緩慢變化維度  268

16.2.3  針對(duì)大型和快速變化維度的微型維度  269

16.2.4  多值維度屬性  269

16.2.5  作為事實(shí)或維度的數(shù)值屬性  270

16.2.6  退化維度  270

16.2.7  低粒度維度表  270

16.2.8  審計(jì)維度  270

16.2.9  保單事務(wù)事實(shí)表       270

16.2.10  異構(gòu)的超類和子類產(chǎn)品         271

16.2.11  輔助保險(xiǎn)累積快照         272

16.3  保費(fèi)周期快照      272

16.3.1  一致性維度       272

16.3.2  一致性事實(shí)       273

16.3.3  預(yù)付事實(shí)  273

16.3.4  再談異構(gòu)超類與子類       273

16.3.5  再談多值維度  274

16.4  更多保險(xiǎn)案例研究背景      274

16.4.1  更新保險(xiǎn)行業(yè)總線矩陣  275

16.4.2  總線矩陣實(shí)現(xiàn)細(xì)節(jié)  275

16.5  索賠事務(wù)      277

16.6  索賠累積快照      278

16.6.1  復(fù)雜工作流的累積快照  279

16.6.2  時(shí)間范圍累積快照  279

16.6.3  周期而不是累積快照       280

16.7  保單/索賠合并的周期快照         280

16.8  無(wú)事實(shí)的意外事件      280

16.9  需要避免的常見維度建模錯(cuò)誤 281

16.9.1  錯(cuò)誤10：在事實(shí)表中放入文本屬性      281

16.9.2  錯(cuò)誤9：限制使用冗長(zhǎng)的描述符以節(jié)省空間        281

16.9.3  錯(cuò)誤8：將層次劃分為多個(gè)維度   282

16.9.4  錯(cuò)誤7：忽略對(duì)維度變化進(jìn)行跟蹤的需要   282

16.9.5  錯(cuò)誤6：使用更多的硬件解決所有的性能問(wèn)題   282

16.9.6  錯(cuò)誤5：使用操作型鍵連接維度和事實(shí)        282

16.9.7  錯(cuò)誤4：忽視對(duì)事實(shí)粒度的聲明并混淆事實(shí)粒度        282

16.9.8  錯(cuò)誤3：使用報(bào)表設(shè)計(jì)維度模型   283

16.9.9  錯(cuò)誤2：希望用戶查詢規(guī)范化的原子數(shù)據(jù)   283

16.9.10  錯(cuò)誤1：違反事實(shí)和維度的一致性要求      283

16.10  本章小結(jié)   284

第17章 Kimball DW/BI生命周期概述       285

17.1  生命周期路標(biāo)      286

17.2  生命周期初始活動(dòng)      287

17.2.1  程序/項(xiàng)目規(guī)劃與管理     287

17.2.2  業(yè)務(wù)需求定義  290

17.3  生命周期技術(shù)路徑      294

17.3.1  技術(shù)架構(gòu)設(shè)計(jì)  294

17.3.2  產(chǎn)品選擇與安裝       296

17.4  生命周期數(shù)據(jù)路徑      297

17.4.1  維度建模  297

17.4.2  物理設(shè)計(jì)  297

17.4.3 ETL設(shè)計(jì)與開發(fā)        299

17.5  生命周期BI應(yīng)用路徑         299

17.5.1 BI應(yīng)用規(guī)范      299

17.5.2 BI應(yīng)用開發(fā)      299

17.6  生命周期總結(jié)活動(dòng)      300

17.6.1  部署  300

17.6.2  維護(hù)和發(fā)展       300

17.7  應(yīng)當(dāng)避免的常見錯(cuò)誤 301

17.8  本章小結(jié)      302

第18章  維度建模過(guò)程與任務(wù)   303

18.1  建模過(guò)程概述      303

18.2  組織工作      304

18.2.1  確定參與人，特別是業(yè)務(wù)代表們  304

18.2.2  業(yè)務(wù)需求評(píng)審  305

18.2.3  利用建模工具  305

18.2.4  利用數(shù)據(jù)分析工具  306

18.2.5  利用或建立命名規(guī)則       306

18.2.6  日歷和設(shè)施的協(xié)調(diào)  306

18.3  維度模型設(shè)計(jì)      307

18.3.1  統(tǒng)一對(duì)高層氣泡圖的理解       307

18.3.2  開發(fā)詳細(xì)的維度模型       308

18.3.3  模型評(píng)審與驗(yàn)證       311

18.3.4  形成設(shè)計(jì)文檔  312

18.4  本章小結(jié)      312

第19章 ETL子系統(tǒng)與技術(shù)         313

19.1  需求綜合      314

19.1.1  業(yè)務(wù)需求  314

19.1.2  合規(guī)性       314

19.1.3  數(shù)據(jù)質(zhì)量  314

19.1.4  安全性       315

19.1.5  數(shù)據(jù)集成  315

19.1.6  數(shù)據(jù)延遲  316

19.1.7  歸檔與世系       316

19.1.8 BI發(fā)布接口      316

19.1.9  可用的技能       317

19.1.10  傳統(tǒng)的許可證書    317

19.2  ETL的34個(gè)子系統(tǒng)     317

19.3  獲�。簩�數(shù)據(jù)插入到數(shù)據(jù)倉(cāng)庫(kù)中      318

19.3.1  子系統(tǒng)1：數(shù)據(jù)分析        318

19.3.2  子系統(tǒng)2：變化數(shù)據(jù)獲取系統(tǒng)        319

19.3.3  子系統(tǒng)3：獲取系統(tǒng)        320

19.4  清洗與整合數(shù)據(jù) 321

19.4.1  提高數(shù)據(jù)質(zhì)量文化與過(guò)程       322

19.4.2  子系統(tǒng)4：數(shù)據(jù)清洗系統(tǒng)        323

19.4.3  子系統(tǒng)5：錯(cuò)誤事件模式        324

19.4.4  子系統(tǒng)6：審計(jì)維度裝配器   325

19.4.5  子系統(tǒng)7：重復(fù)數(shù)據(jù)刪除(deduplication)系統(tǒng)        326

19.4.6  子系統(tǒng)8：一致性系統(tǒng)   326

19.5  發(fā)布：準(zhǔn)備展現(xiàn) 328

19.5.1  子系統(tǒng)9：緩慢變化維度管理器   328

19.5.2  子系統(tǒng)10：代理鍵產(chǎn)生器      332

19.5.3  子系統(tǒng)11：層次管理器 332

19.5.4  子系統(tǒng)12：特定維度管理器 333

19.5.5  子系統(tǒng)13：事實(shí)表建立器      335

19.5.6  子系統(tǒng)14：代理鍵流水線      336

19.5.7  子系統(tǒng)15：多值維度橋接表建立器      337

19.5.8  子系統(tǒng)16：遲到數(shù)據(jù)處理器 338

19.5.9  子系統(tǒng)17：維度管理器系統(tǒng) 339

19.5.10  子系統(tǒng)18：事實(shí)提供者系統(tǒng)        339

19.5.11  子系統(tǒng)19：聚集建立器        340

19.5.12  子系統(tǒng)20：OLAP多維數(shù)據(jù)庫(kù)建立器  340

19.5.13  子系統(tǒng)21：數(shù)據(jù)傳播管理器        340

19.6  管理ETL環(huán)境      341

19.6.1  子系統(tǒng)22：任務(wù)調(diào)度器 341

19.6.2  子系統(tǒng)23：備份系統(tǒng)      342

19.6.3  子系統(tǒng)24：恢復(fù)與重啟系統(tǒng) 343

19.6.4  子系統(tǒng)25：版本控制系統(tǒng)      344

19.6.5  子系統(tǒng)26：版本遷移系統(tǒng)      345

19.6.6  子系統(tǒng)27：工作流監(jiān)視器      345

19.6.7  子系統(tǒng)28：排序系統(tǒng)      346

19.6.8  子系統(tǒng)29：世系及依賴分析器      346

19.6.9  子系統(tǒng)30：?jiǎn)栴}提升系統(tǒng)      346

19.6.10  子系統(tǒng)31：并行/流水線系統(tǒng)      347

19.6.11  子系統(tǒng)32：安全系統(tǒng)   347

19.6.12  子系統(tǒng)33：合規(guī)性管理器   348

19.6.13  子系統(tǒng)34：元數(shù)據(jù)存儲(chǔ)庫(kù)管理器        350

19.7  本章小結(jié)      350

第20章 ETL系統(tǒng)設(shè)計(jì)與開發(fā)過(guò)程和任務(wù)         351

20.1  ETL過(guò)程概覽       351

20.2  ETL開發(fā)規(guī)劃       351

20.2.1  第1步：設(shè)計(jì)高層規(guī)劃  352

20.2.2  第2步：選擇ETL工具   352

20.2.3  第3步：開發(fā)默認(rèn)策略  353

20.2.4  第4步：按照目標(biāo)表鉆取數(shù)據(jù)       354

20.2.5  開發(fā)ETL規(guī)范文檔   355

20.3  開發(fā)一次性的歷史加載過(guò)程      356

20.3.1  第5步：用歷史數(shù)據(jù)填充維度表  356

20.3.2  第6步：完成事實(shí)表歷史加載       360

20.4  開發(fā)增量式ETL過(guò)程  363

20.4.1  第7步：維度表增量處理過(guò)程       363

20.4.2  第8步：事實(shí)表增量處理過(guò)程       365

20.4.3  第9步：聚集表與OLAP加載         367

20.4.4  第10步：ETL系統(tǒng)操作與自動(dòng)化  368

20.5  實(shí)時(shí)的影響 368

20.5.1  實(shí)時(shí)分類  369

20.5.2  實(shí)時(shí)結(jié)構(gòu)權(quán)衡  370

20.5.3  展現(xiàn)服務(wù)器上的實(shí)時(shí)分區(qū)       371

20.6  本章小結(jié)      372

第21章  大數(shù)據(jù)分析   373

21.1  大數(shù)據(jù)概覽 373

21.1.1  擴(kuò)展的RDBMS結(jié)構(gòu)         374

21.1.2 MapReduce/Hadoop結(jié)構(gòu)         375

21.1.3  大數(shù)據(jù)結(jié)構(gòu)比較       376

21.2  推薦的應(yīng)用于大數(shù)據(jù)的最佳實(shí)踐      376

21.2.1  面向大數(shù)據(jù)管理的最佳實(shí)踐  376

21.2.2  面向大數(shù)據(jù)結(jié)構(gòu)的最佳實(shí)踐  377

21.2.3  應(yīng)用于大數(shù)據(jù)的數(shù)據(jù)建模最佳實(shí)踐       381

21.2.4  大數(shù)據(jù)的數(shù)據(jù)治理最佳實(shí)踐  383

21.3  本章小結(jié)      384