中臺落地手記——業(yè)務(wù)服務(wù)化與數(shù)據(jù)資產(chǎn)化
定 價:89 元
叢書名:數(shù)字經(jīng)濟(jì)創(chuàng)新驅(qū)動與技術(shù)賦能叢書
- 作者:張亮 編著
- 出版時間:2021/6/1
- ISBN:9787111682608
- 出 版 社:機械工業(yè)出版社
- 中圖法分類:F272.7-39
- 頁碼:208
- 紙張:
- 版次:
- 開本:16開
當(dāng)前,中臺落地手記 業(yè)務(wù)服務(wù)化與數(shù)據(jù)資產(chǎn)化建設(shè)如火如荼,相關(guān)技術(shù)也在快速發(fā)展。本書試圖幫助讀者撥開迷霧,旨在向讀者提供一個“step by step”的中臺建設(shè)實操指導(dǎo)。本書從中臺的規(guī)劃、設(shè)計、實現(xiàn)、運維等多個方面入手,從組織架構(gòu)、業(yè)務(wù)流程、技術(shù)選型角度,以一個典型的民航生產(chǎn)系統(tǒng)落地場景為例,對基于微服務(wù)的“業(yè)務(wù)中臺”、基于大數(shù)據(jù)的“數(shù)據(jù)中臺”以及基于企業(yè)戰(zhàn)略的“組織中臺”分別進(jìn)行了闡述。
中臺落地手記 業(yè)務(wù)服務(wù)化與數(shù)據(jù)資產(chǎn)化分10章,內(nèi)容主要涉及總體規(guī)劃、業(yè)務(wù)服務(wù)化建設(shè)、微服務(wù)解決方案、收集各類數(shù)據(jù)、數(shù)據(jù)預(yù)處理、數(shù)據(jù)湖和數(shù)據(jù)倉庫數(shù)據(jù)處理、數(shù)據(jù)計算開發(fā)、深入挖掘業(yè)務(wù)數(shù)據(jù)、安全措施和中臺運營及周邊。
中臺落地手記 業(yè)務(wù)服務(wù)化與數(shù)據(jù)資產(chǎn)化的主要讀者對象為企業(yè)信息化人員(包括管理人員及產(chǎn)品設(shè)計、開發(fā)人員等)、數(shù)字化轉(zhuǎn)型研究方向和專業(yè)的高校師生等。
前言
第1章 總體規(guī)劃1
1.1 統(tǒng)一內(nèi)部認(rèn)識1
1.2 把握外部環(huán)境2
1.3 中臺具體建設(shè)思路3
1.3.1 阿里巴巴中臺建設(shè)思路拆解3
1.3.2 企業(yè)組織變革5
1.3.3 業(yè)務(wù)與數(shù)據(jù)邏輯架構(gòu)設(shè)計7
1.4 運營中臺規(guī)劃與設(shè)計8
1.4.1 運營中臺面臨的幾個典型痛點8
1.4.2 行業(yè)規(guī)范與趨勢8
1.4.3 運營中臺前期準(zhǔn)備情況9
第2章 業(yè)務(wù)服務(wù)化建設(shè)11
2.1 多種方法梳理業(yè)務(wù)11
2.2 領(lǐng)域驅(qū)動(DDD)業(yè)務(wù)建模13
2.2.1 領(lǐng)域驅(qū)動建模介紹13
2.2.2 業(yè)務(wù)架構(gòu)設(shè)計16
2.3 業(yè)務(wù)服務(wù)化帶來的效益19
2.4 服務(wù)提供者20
2.5 服務(wù)消費者21
2.6 服務(wù)管理者22
2.7 運營中臺業(yè)務(wù)服務(wù)化設(shè)計26
2.7.1 梳理各業(yè)務(wù)線流程26
2.7.2 定義業(yè)務(wù)領(lǐng)域28
2.7.3 確定聚合與聚合根28
2.7.4 確定限界上下文29
第3章 微服務(wù)解決方案31
3.1 RPC框架:Apache Dubbo32
3.1.1 架構(gòu)分層剖析32
3.1.2 核心流程介紹33
3.1.3 關(guān)鍵生態(tài)組件介紹34
3.1.4 Dubbo使用舉例35
3.2 Spring框架:Spring Cloud40
3.2.1 網(wǎng)關(guān)平臺40
3.2.2 服務(wù)注冊與發(fā)現(xiàn)41
3.2.3 配置管理41
3.2.4 負(fù)載均衡42
3.2.5 服務(wù)保護(hù)43
3.2.6 鏈路追蹤44
3.2.7 安全控制44
3.3 微服務(wù)難點剖析45
3.3.1 網(wǎng)絡(luò)延遲45
3.3.2 分布式事務(wù)46
3.3.3 分布式計算48
3.4 服務(wù)網(wǎng)格Service Mesh50
3.5 無服務(wù)架構(gòu)Serviceless51
3.6 運營中臺基于微服務(wù)技術(shù)搭建業(yè)務(wù)中臺52
3.6.1 微服務(wù)劃分52
3.6.2 整體微服務(wù)架構(gòu)53
3.6.3 緩存方案54
3.6.4 搜索方案57
3.6.5 通信方案58
3.6.6 SPI與插件化方案59
第4章 收集各類數(shù)據(jù)62
4.1 多渠道收集數(shù)據(jù)64
4.2 多數(shù)據(jù)結(jié)構(gòu)收集數(shù)據(jù)65
4.3 收集工具介紹66
4.3.1 Apache Flume66
4.3.2 Apache Sqoop67
4.3.3 Alibaba DataX71
4.3.4 爬蟲系統(tǒng)工具74
4.3.5 Apache Kafka76
4.3.6 Alibaba Canal83
4.4 運營中臺數(shù)據(jù)收集過程92
第5章 數(shù)據(jù)預(yù)處理94
5.1 數(shù)據(jù)標(biāo)準(zhǔn)建立95
5.2 數(shù)據(jù)建模子系統(tǒng)95
5.2.1 關(guān)系型數(shù)據(jù)建模95
5.2.2 數(shù)據(jù)倉庫建模96
5.2.3 非關(guān)系型數(shù)據(jù)建模99
5.2.4 通用建模步驟99
5.3 元數(shù)據(jù)管理子系統(tǒng)101
5.3.1 元數(shù)據(jù)的內(nèi)涵101
5.3.2 元數(shù)據(jù)管理的意義102
5.3.3 元數(shù)據(jù)管理開源方案:Apache Atlas102
5.4 數(shù)據(jù)質(zhì)量控制子系統(tǒng)104
5.4.1 數(shù)據(jù)質(zhì)量維度度量104
5.4.2 數(shù)據(jù)質(zhì)量控制方案105
5.4.3 數(shù)據(jù)質(zhì)量管理開源方案:Apache Griffin106
5.5 運營中臺數(shù)據(jù)預(yù)處理107
5.5.1 建立內(nèi)部數(shù)據(jù)標(biāo)準(zhǔn)107
5.5.2 與業(yè)務(wù)模型對應(yīng)的數(shù)據(jù)模型子系統(tǒng)108
5.5.3 自研元數(shù)據(jù)管理子系統(tǒng)110
5.5.4 自研數(shù)據(jù)質(zhì)量控制子系統(tǒng)112
第6章 數(shù)據(jù)湖和數(shù)據(jù)倉庫數(shù)據(jù)處理113
6.1 數(shù)據(jù)倉庫113
6.1.1 數(shù)據(jù)倉庫分層113
6.1.2 數(shù)據(jù)倉庫分類114
6.2 數(shù)據(jù)湖與大數(shù)據(jù)116
6.2.1 Lambda架構(gòu)116
6.2.2 Kappa架構(gòu)117
6.2.3 大數(shù)據(jù)平臺118
6.3 開源數(shù)據(jù)湖方案:Apache Hudi119
6.3.1 Hudi存儲120
6.3.2 Hudi讀取122
6.4 運營中臺數(shù)據(jù)倉庫和數(shù)據(jù)湖的建設(shè)情況123
6.4.1 基于Hive的離線數(shù)據(jù)倉庫123
6.4.2 基于Kylin的準(zhǔn)實時數(shù)據(jù)倉庫125
6.4.3 基于Flink+TiDB的實時數(shù)據(jù)倉庫126
6.4.4 基于Hudi的數(shù)據(jù)湖建設(shè)127
第7章 數(shù)據(jù)計算開發(fā)130
7.1 離線計算130
7.1.1 MapReduce經(jīng)典計算引擎130
7.1.2 Apache Spark內(nèi)存計算引擎132
7.2 在線計算137
7.2.1 事務(wù)優(yōu)先類引擎137
7.2.2 非事務(wù)優(yōu)先類引擎143
7.2.3 預(yù)計算類引擎151
7.3 流式計算154
7.3.1 無狀態(tài)計算引擎:Apache Storm154
7.3.2 有狀態(tài)計算引擎:Apache Flink156
7.4 運營中臺數(shù)據(jù)資產(chǎn)化過程163
7.4.1 典型問題解決方案165
7.4.2 性能調(diào)優(yōu)168
第8章 深入挖掘業(yè)務(wù)數(shù)據(jù)174
8.1 利用機器學(xué)習(xí)進(jìn)行數(shù)據(jù)挖掘174
8.1.1 監(jiān)督學(xué)習(xí)175
8.1.2 非監(jiān)督學(xué)習(xí)176
8.1.3 強化學(xué)習(xí)177
8.2 機器學(xué)習(xí)通用步驟177
8.2.1 數(shù)據(jù)清洗處理178
8.2.2 特征工程179
8.2.3 對模型進(jìn)行訓(xùn)練182
8.2.4 評估模型的泛化程度184
8.2.5 模型保存及導(dǎo)入185
8.3 運營中臺業(yè)務(wù)數(shù)據(jù)挖掘188
8.3.1 客戶數(shù)據(jù)挖掘:分類營銷188
8.3.2 安全數(shù)據(jù)挖掘:運行事件預(yù)測190
第9章 安全措施192
9.1 安全體系范疇192
9.1.1 平臺安全192
9.1.2 數(shù)據(jù)安全193
9.1.3 隱私安全194
9.2 大數(shù)據(jù)平臺安全開源方案:Apache Ranger195
9.3 運營中臺安全措施197
9.3.1 運營中臺安全告警系統(tǒng)199
9.3.2 運營中臺兩地三中心數(shù)據(jù)容災(zāi)方案199
第10章 中臺運營及周邊203
10.1 運營中的運維:維護(hù)優(yōu)勢203
10.2 運營中的營收:提升價值204
10.3 各類中臺形態(tài)204
10.3.1 數(shù)據(jù)中臺204
10.3.2 業(yè)務(wù)中臺205
10.3.3 AI中臺206
10.4 運營中臺的運營規(guī)劃207
后記208