數(shù)據(jù)中臺(tái)建設(shè):從方法論到落地實(shí)戰(zhàn)
定 價(jià):89 元
- 作者:彭勇
- 出版時(shí)間:2021/8/1
- ISBN:9787121417245
- 出 版 社:電子工業(yè)出版社
- 中圖法分類:F272.7
- 頁(yè)碼:316
- 紙張:
- 版次:01
- 開(kāi)本:32開(kāi)
數(shù)字化發(fā)展在各個(gè)行業(yè)落地生根。本書首先介紹了工業(yè)、智慧農(nóng)業(yè)、智慧服務(wù)業(yè)、智慧城市的數(shù)字化建設(shè)現(xiàn)狀和發(fā)展趨勢(shì),讓讀者初步了解數(shù)字化發(fā)展。數(shù)據(jù)中臺(tái)是企業(yè)數(shù)字化建設(shè)的基礎(chǔ)。本書重點(diǎn)介紹了數(shù)據(jù)中臺(tái)的定義、整體框架和建設(shè)的方法論。該方法論主要涉及企業(yè)數(shù)字化發(fā)展戰(zhàn)略、組織架構(gòu)變革、數(shù)據(jù)的存儲(chǔ)和建模、數(shù)據(jù)平臺(tái)的建設(shè)、數(shù)據(jù)服務(wù)框架、數(shù)據(jù)產(chǎn)品化和數(shù)據(jù)智能化建設(shè)等多個(gè)方面的內(nèi)容。本書通過(guò)企業(yè)中兩個(gè)熱門場(chǎng)景的應(yīng)用詳細(xì)介紹了數(shù)據(jù)中臺(tái)的落地實(shí)戰(zhàn)。第一個(gè)是營(yíng)銷場(chǎng)景。企業(yè)通過(guò)營(yíng)銷中臺(tái)的建設(shè),構(gòu)建了智能化營(yíng)銷體系,有效地提升了數(shù)據(jù)驅(qū)動(dòng)營(yíng)銷的效能。第二個(gè)是風(fēng)險(xiǎn)管理場(chǎng)景。企業(yè)通過(guò)風(fēng)險(xiǎn)管理中臺(tái)的建設(shè),支持事前—事中—事后的智能風(fēng)險(xiǎn)管理,大幅提升了企業(yè)風(fēng)險(xiǎn)管理的效率和能力。
彭勇,國(guó)家公派留法計(jì)算機(jī)博士,中關(guān)村管委會(huì)技術(shù)專家,中國(guó)保險(xiǎn)學(xué)會(huì)特聘保險(xiǎn)科技專家。彭勇從事大數(shù)據(jù)研究和應(yīng)用相關(guān)工作約16年,負(fù)責(zé)大數(shù)據(jù)創(chuàng)新項(xiàng)目超過(guò)100個(gè),在數(shù)據(jù)倉(cāng)庫(kù)建設(shè)、數(shù)據(jù)中臺(tái)建設(shè)、保險(xiǎn)產(chǎn)品定制和創(chuàng)新、精算定價(jià)、精準(zhǔn)營(yíng)銷、產(chǎn)品推薦、風(fēng)險(xiǎn)管理、智能理賠、人工智能、數(shù)字化轉(zhuǎn)型等方面經(jīng)驗(yàn)豐富。彭勇現(xiàn)就職于全球知名保險(xiǎn)定制平臺(tái)——保準(zhǔn)牛,擔(dān)任首席科學(xué)家。
第1章 數(shù)字化轉(zhuǎn)型是大勢(shì)所趨 / 1
1.1 科技加速理論 / 2
1.2 各個(gè)行業(yè)積極擁抱數(shù)字化變革 / 4
1.2.1 工業(yè)4.0的數(shù)字化發(fā)展趨勢(shì) / 4
1.2.2 智慧農(nóng)業(yè)的數(shù)字化發(fā)展趨勢(shì) / 6
1.2.3 智慧服務(wù)業(yè)的數(shù)字化發(fā)展趨勢(shì) / 7
1.2.4 智慧城市的數(shù)字化發(fā)展趨勢(shì) / 11
1.2.5 小結(jié) / 12
1.3 DT時(shí)代已來(lái) / 13
1.3.1 DT時(shí)代和IT時(shí)代的差異 / 13
1.3.2 DT時(shí)代面臨諸多挑戰(zhàn) / 16
1.4 數(shù)據(jù)中臺(tái)呼之欲出 / 17
第2章 認(rèn)知數(shù)據(jù)中臺(tái) / 18
2.1 什么是數(shù)據(jù)中臺(tái) / 19
2.1.1 行業(yè)對(duì)數(shù)據(jù)中臺(tái)的不同理解 / 19
2.1.2 數(shù)據(jù)中臺(tái)的定義 / 20
2.1.3 對(duì)數(shù)據(jù)中臺(tái)的詮釋 / 20
2.2 建設(shè)數(shù)據(jù)中臺(tái)的價(jià)值 / 23
2.3 數(shù)據(jù)中臺(tái)的建設(shè)目標(biāo) / 25
2.3.1 總體目標(biāo) / 25
2.3.2 數(shù)據(jù)中臺(tái)的標(biāo)準(zhǔn)化 / 27
2.3.3 數(shù)據(jù)中臺(tái)業(yè)務(wù)化 / 28
2.3.4 數(shù)據(jù)中臺(tái)平臺(tái)化 / 29
2.3.5 數(shù)據(jù)中臺(tái)服務(wù)化 / 30
2.4 數(shù)據(jù)中臺(tái)與上下游平臺(tái)的關(guān)系 / 31
2.4.1 “前臺(tái)-中臺(tái)-后臺(tái)”關(guān)系 / 31
2.4.2 數(shù)據(jù)中臺(tái)和業(yè)務(wù)中臺(tái)的關(guān)系 / 32
2.5 數(shù)據(jù)中臺(tái)建設(shè)的9大誤區(qū) / 34
2.5.1 數(shù)據(jù)中臺(tái)等同于數(shù)據(jù)工具的集合 / 34
2.5.2 數(shù)據(jù)中臺(tái)等同于數(shù)據(jù)平臺(tái) / 35
2.5.3 企業(yè)小,不需要數(shù)據(jù)中臺(tái) / 35
2.5.4 建設(shè)數(shù)據(jù)中臺(tái)是互聯(lián)網(wǎng)企業(yè)的事,傳統(tǒng)行業(yè)用不著 / 35
2.5.5 建設(shè)數(shù)據(jù)中臺(tái)是數(shù)據(jù)部門的工作,與其他部門
關(guān)系不大 / 36
2.5.6 數(shù)據(jù)中臺(tái)直連前臺(tái)更敏捷,沒(méi)必要建設(shè)業(yè)務(wù)中臺(tái) / 36
2.5.7 在數(shù)據(jù)中臺(tái)成型后,不需要煙囪式的臨時(shí)技術(shù)
團(tuán)隊(duì) / 38
2.5.8 不著急建設(shè)數(shù)據(jù)中臺(tái),等業(yè)務(wù)成熟之后再說(shuō) / 38
2.5.9 建設(shè)數(shù)據(jù)中臺(tái)可以一蹴而就 / 39
2.6 行業(yè)對(duì)數(shù)據(jù)中臺(tái)的4個(gè)認(rèn)知階段 / 40
2.6.1 數(shù)據(jù)模型實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)化 / 40
2.6.2 數(shù)據(jù)平臺(tái)實(shí)現(xiàn)數(shù)據(jù)高可用性 / 41
2.6.3 實(shí)現(xiàn)數(shù)據(jù)業(yè)務(wù)化和服務(wù)化 / 41
2.6.4 實(shí)現(xiàn)數(shù)據(jù)和業(yè)務(wù)智能化 / 42
2.7 數(shù)據(jù)中臺(tái)服務(wù)化發(fā)展階段 / 42
2.7.1 實(shí)現(xiàn)服務(wù)手工可配置 / 43
2.7.2 實(shí)現(xiàn)服務(wù)智能組合和自適應(yīng) / 43
2.7.3 實(shí)現(xiàn)服務(wù)的智慧生態(tài) / 44
第3章 數(shù)據(jù)中臺(tái)建設(shè)方法論 / 45
3.1 數(shù)字化戰(zhàn)略 / 46
3.1.1 數(shù)字化戰(zhàn)略的價(jià)值 / 46
3.1.2 戰(zhàn)略和執(zhí)行雙輪驅(qū)動(dòng) / 47
3.1.3 數(shù)據(jù)中臺(tái)戰(zhàn)略制定 / 51
3.2 數(shù)據(jù)中臺(tái)的整體框架 / 54
3.2.1 統(tǒng)一數(shù)據(jù)基礎(chǔ)設(shè)施平臺(tái) / 56
3.2.2 數(shù)據(jù)接入和匯聚平臺(tái) / 57
3.2.3 統(tǒng)一數(shù)據(jù)模型平臺(tái) / 58
3.2.4 統(tǒng)一ID和標(biāo)簽平臺(tái) / 58
3.2.5 數(shù)據(jù)開(kāi)發(fā)和運(yùn)維平臺(tái) / 59
3.2.6 數(shù)據(jù)智能平臺(tái) / 59
3.2.7 數(shù)據(jù)管理平臺(tái) / 60
3.2.8 數(shù)據(jù)服務(wù)平臺(tái) / 62
3.3 數(shù)據(jù)中臺(tái)的8大設(shè)計(jì)準(zhǔn)則 / 63
3.3.1 有數(shù)能用 / 64
3.3.2 讓數(shù)據(jù)可用 / 64
3.3.3 讓數(shù)據(jù)好用 / 65
3.3.4 讓數(shù)據(jù)易用 / 66
3.3.5 讓數(shù)據(jù)放心用 / 66
3.3.6 讓數(shù)據(jù)更智能 / 67
3.3.7 讓數(shù)據(jù)服務(wù)化 / 67
3.3.8 讓數(shù)據(jù)可控 / 68
3.4 數(shù)據(jù)中臺(tái)行動(dòng)攻略 / 68
3.4.1 “九看”方法論 / 68
3.4.2 數(shù)據(jù)中臺(tái)MVP建設(shè)路徑 / 73
3.5 數(shù)據(jù)中臺(tái)技術(shù)選型 / 77
3.5.1 4種選型方案 / 77
3.5.2 開(kāi)源解決方案 / 78
3.6 總結(jié) / 88
第4章 統(tǒng)一數(shù)據(jù)模型:讓數(shù)據(jù)資產(chǎn)化 / 89
4.1 數(shù)據(jù)標(biāo)準(zhǔn)化體系的價(jià)值 / 90
4.1.1 數(shù)據(jù)標(biāo)準(zhǔn)化體系是數(shù)字化戰(zhàn)略的基礎(chǔ) / 90
4.1.2 數(shù)據(jù)管理是事前遠(yuǎn)見(jiàn),數(shù)據(jù)治理是事后亡羊補(bǔ)牢 / 94
4.2 數(shù)據(jù)資產(chǎn)管理體系介紹 / 95
4.2.1 6個(gè)常用的數(shù)據(jù)資產(chǎn)管理體系 / 95
4.2.2 制定數(shù)據(jù)管理戰(zhàn)略 / 97
4.3 高效數(shù)據(jù)建模,讓數(shù)據(jù)好用起來(lái) / 98
4.3.1 統(tǒng)一數(shù)據(jù)模型的意義 / 98
4.3.2 統(tǒng)一數(shù)據(jù)模型具體做什么 / 100
4.3.3 如何建設(shè)統(tǒng)一數(shù)據(jù)模型 / 101
4.4 對(duì)維度建模進(jìn)一步探索 / 113
4.4.1 維度建模設(shè)計(jì)過(guò)程 / 114
4.4.2 維度建模示例 / 116
4.5 統(tǒng)一建模的注意事項(xiàng) / 118
4.5.1 數(shù)據(jù)標(biāo)準(zhǔn)化只停留在數(shù)據(jù)部門 / 118
4.5.2 缺少元數(shù)據(jù)管理支持 / 119
4.5.3 監(jiān)控體系缺失 / 120
4.5.4 事實(shí)表的設(shè)計(jì)注意事項(xiàng) / 120
4.5.5 維度爆炸 / 121
4.5.6 對(duì)維度過(guò)度退化 / 121
4.5.7 緩慢變化維 / 122
4.5.8 大表的抽取 / 123
4.6 總結(jié) / 124
第5章 數(shù)據(jù)計(jì)算平臺(tái):讓數(shù)據(jù)“飛”起來(lái) / 125
5.1 計(jì)算平臺(tái)的應(yīng)用場(chǎng)景 / 126
5.2 應(yīng)用場(chǎng)景一:批處理 / 128
5.2.1 批處理計(jì)算引擎介紹 / 128
5.2.2 批處理計(jì)算引擎應(yīng)用舉例 / 131
5.2.3 批處理計(jì)算總結(jié) / 132
5.3 應(yīng)用場(chǎng)景二:實(shí)時(shí)計(jì)算 / 133
5.3.1 實(shí)時(shí)計(jì)算流程介紹 / 133
5.3.2 實(shí)時(shí)計(jì)算和離線計(jì)算如何高效共存 / 134
5.3.3 實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù) / 136
5.3.4 流式計(jì)算實(shí)時(shí)統(tǒng)計(jì)GMV示例 / 138
5.4 應(yīng)用場(chǎng)景三:實(shí)時(shí)查詢 / 140
5.5 應(yīng)用場(chǎng)景四:海量日志和信息檢索 / 140
5.5.1 檢索方案介紹 / 140
5.5.2 日志檢索方案示例 / 142
5.6 應(yīng)用場(chǎng)景五:多維分析 / 145
5.6.1 多維分析方案介紹 / 145
5.6.2 基于ClickHouse實(shí)現(xiàn)多維分析示例 / 146
5.7 應(yīng)用場(chǎng)景六:圖計(jì)算 / 148
5.7.1 圖計(jì)算框架介紹 / 148
5.7.2 圖計(jì)算應(yīng)用案例——團(tuán)體反欺詐 / 149
5.8 應(yīng)用場(chǎng)景七:人工智能計(jì)算框架 / 151
5.8.1 主流的人工智能計(jì)算框架介紹 / 151
5.8.2 量子計(jì)算 / 152
5.8.3 人工智能平臺(tái)應(yīng)用案例——智能客服 / 153
第6章 算法即服務(wù):最大化實(shí)現(xiàn)數(shù)據(jù)價(jià)值 / 155
6.1 算法的價(jià)值 / 156
6.2 建模標(biāo)準(zhǔn)化流程 / 158
6.2.1 業(yè)務(wù)理解貫穿始終 / 159
6.2.2 數(shù)據(jù)準(zhǔn)備 / 160
6.2.3 數(shù)據(jù)預(yù)處理 / 165
6.2.4 特征工程 / 168
6.2.5 模型構(gòu)建 / 173
6.2.6 模型評(píng)估 / 186
6.2.7 模型部署,讓模型服務(wù)化 / 192
6.2.8 模型監(jiān)控和迭代 / 196
6.3 算法即服務(wù)應(yīng)用實(shí)踐 / 196
6.3.1 保險(xiǎn)關(guān)系網(wǎng)絡(luò)分析 / 197
6.3.2 交叉銷售 / 201
6.3.3 反欺詐示例 / 206
6.4 算法即服務(wù)須遵循的原則 / 212
6.4.1 算法即服務(wù)需要業(yè)務(wù)知識(shí)的輸入,業(yè)務(wù)理解貫穿
建模始終 / 213
6.4.2 算法不是萬(wàn)能的,有適用的場(chǎng)景 / 213
6.4.3 要合理地平衡算法的計(jì)算性能和效果 / 213
6.4.4 要優(yōu)先選擇混合模型 / 214
6.4.5 要盡量實(shí)現(xiàn)建模全流程自動(dòng)化 / 214
第7章 數(shù)據(jù)產(chǎn)品:讓數(shù)據(jù)應(yīng)用更便捷 / 215
7.1 自助取數(shù)和自助分析 / 216
7.1.1 自助取數(shù)工具 / 217
7.1.2 自助分析工具 / 219
7.2 數(shù)據(jù)爬蟲(chóng) / 221
7.3 客戶畫像 / 221
7.4 標(biāo)簽圈選 / 222
7.5 客戶分群 / 224
7.6 數(shù)據(jù)可視化工具 / 226
7.6.1 Matplotlib / 227
7.6.2 Pandas+Seaborn舉例 / 231
7.7 規(guī)則引擎 / 232
第8章 營(yíng)銷中臺(tái):讓營(yíng)銷更精準(zhǔn)、更及時(shí) / 235
8.1 數(shù)字化營(yíng)銷是大勢(shì)所趨 / 236
8.2 營(yíng)銷體系升級(jí) / 239
8.2.1 營(yíng)銷理論的多次升級(jí) / 239
8.2.2 營(yíng)銷的幾個(gè)重要的方法論 / 243
8.2.3 營(yíng)銷體系的三個(gè)發(fā)展階段 / 246
8.3 營(yíng)銷中臺(tái)建設(shè) / 254
8.3.1 營(yíng)銷中臺(tái)框架圖 / 254
8.3.2 營(yíng)銷中臺(tái)功能介紹 / 255
8.4 營(yíng)銷中臺(tái)應(yīng)用案例 / 263
8.4.1 電話營(yíng)銷續(xù)保精準(zhǔn)營(yíng)銷 / 263
8.4.2 廣告精準(zhǔn)投放獲客+線索轉(zhuǎn)化 / 266
8.4.3 保險(xiǎn)智能銷售助手 / 268
第9章 風(fēng)險(xiǎn)管理中臺(tái):360°的風(fēng)險(xiǎn)管家 / 271
9.1 風(fēng)險(xiǎn)管理中臺(tái) / 272
9.1.1 汽車保險(xiǎn)的主要風(fēng)險(xiǎn)管理節(jié)點(diǎn)示例 / 272
9.1.2 風(fēng)險(xiǎn)管理中臺(tái)框架圖 / 273
9.1.3 風(fēng)險(xiǎn)管理中臺(tái)功能介紹 / 273
9.1.4 風(fēng)險(xiǎn)管理的標(biāo)準(zhǔn)化流程 / 289
9.2 風(fēng)險(xiǎn)管理中臺(tái)的應(yīng)用案例 / 292
9.2.1 反“薅羊毛” / 292
9.2.2 語(yǔ)音質(zhì)檢風(fēng)險(xiǎn)篩查 / 292
9.2.3 車險(xiǎn)理賠反欺詐 / 293
9.2.4 團(tuán)體保險(xiǎn)風(fēng)險(xiǎn)管理體系 / 295
9.2.5 人身險(xiǎn)風(fēng)險(xiǎn)管理建設(shè) / 296