本書介紹了數(shù)據(jù)網(wǎng)格——一種來自現(xiàn)代分布式架構(gòu)的去中心化社會技術(shù)范式,它提供了一種大規(guī)模采購、共享、訪問和管理分析型數(shù)據(jù)的新方法。
本書分為五部分。
第1部分介紹Data Mesh的四個原則,以及它們所組成的高級模型。
第2部分比較Data Mesh與以前的數(shù)據(jù)架構(gòu)的區(qū)別。
第3部分介紹Data Mesh組件的高層次架構(gòu),幫助你設(shè)計(jì)Data Mesh架構(gòu)以及評估與Data Mesh匹配的現(xiàn)成技術(shù)。
第4部分介紹Data Mesh中的一個核心概念(數(shù)據(jù)產(chǎn)品)的詳細(xì)設(shè)計(jì),幫助你識別與Data Mesh愿景兼容的設(shè)計(jì)技術(shù),并將它們與不兼容的技術(shù)區(qū)分開來。
第5部分介紹如何演進(jìn)式地執(zhí)行Data Mesh的轉(zhuǎn)換,以及如何圍繞團(tuán)隊(duì)結(jié)構(gòu)、激勵、文化等做出組織設(shè)計(jì)決策的可行建議。
適讀人群 :數(shù)據(jù)分析從業(yè)者、架構(gòu)師、技術(shù)領(lǐng)導(dǎo)者和決策者 我們正處于數(shù)據(jù)時代的拐點(diǎn),當(dāng)下的數(shù)據(jù)管理解決方案很難在應(yīng)對組織的復(fù)雜性、數(shù)據(jù)源的激增等挑戰(zhàn)的同時,通過AI和分析從數(shù)據(jù)中獲取價值。本書從實(shí)踐出發(fā)介紹了Data Mesh,這是一種從現(xiàn)代分布式架構(gòu)中提取的去中心化的社會技術(shù)范式,提供了一種大規(guī)模獲取、共享、訪問和管理分析型數(shù)據(jù)的新方法。
本書將帶領(lǐng)數(shù)據(jù)領(lǐng)域從業(yè)者、架構(gòu)師、技術(shù)領(lǐng)導(dǎo)者和決策者,以大數(shù)據(jù)架構(gòu)為起點(diǎn),逐步落地分布式和多維度的分析型數(shù)據(jù)管理方法。Data Mesh將數(shù)據(jù)視為產(chǎn)品,將領(lǐng)域視為首要關(guān)注點(diǎn),應(yīng)用平臺思維創(chuàng)建自助數(shù)據(jù)基礎(chǔ)設(shè)施,并引入數(shù)據(jù)治理的聯(lián)合計(jì)算模型。
學(xué)完本書,你將能夠:
全面了解Data Mesh的原則及其具體內(nèi)容。
設(shè)計(jì)Data Mesh架構(gòu)。
指導(dǎo)Data Mesh策略和執(zhí)行。
從組織設(shè)計(jì)轉(zhuǎn)向去中心化的數(shù)據(jù)所有權(quán)模型。
超越傳統(tǒng)的數(shù)據(jù)倉庫和數(shù)據(jù)湖,轉(zhuǎn)向分布式的Data Mesh。
我們正處于數(shù)據(jù)時代的拐點(diǎn),當(dāng)下的數(shù)據(jù)管理解決方案很難在應(yīng)對組織的復(fù)雜性、數(shù)據(jù)源的激增等挑戰(zhàn)的同時,通過AI和分析從數(shù)據(jù)中獲取價值。本書從實(shí)踐出發(fā)介紹了Data Mesh,這是一種從現(xiàn)代分布式架構(gòu)中提取的去中心化的社會技術(shù)范式,提供了一種大規(guī)模獲取、共享、訪問和管理分析型數(shù)據(jù)的新方法。
本書將帶領(lǐng)數(shù)據(jù)領(lǐng)域從業(yè)者、架構(gòu)師、技術(shù)領(lǐng)導(dǎo)者和決策者,以大數(shù)據(jù)架構(gòu)為起點(diǎn),逐步落地分布式和多維度的分析型數(shù)據(jù)管理方法。Data Mesh將數(shù)據(jù)視為產(chǎn)品,將領(lǐng)域視為首要關(guān)注點(diǎn),應(yīng)用平臺思維創(chuàng)建自助數(shù)據(jù)基礎(chǔ)設(shè)施,并引入數(shù)據(jù)治理的聯(lián)邦計(jì)算模型。
學(xué)完本書,你將能夠:
*全面了解Data Mesh的原則及其具體內(nèi)容。
*設(shè)計(jì)Data Mesh架構(gòu)。
*指導(dǎo)Data Mesh戰(zhàn)略和執(zhí)行。
*從組織設(shè)計(jì)轉(zhuǎn)向去中心化的數(shù)據(jù)所有權(quán)模型。
*超越傳統(tǒng)的數(shù)據(jù)倉庫和數(shù)據(jù)湖,轉(zhuǎn)向分布式的Data Mesh。
Nile Platform 聯(lián)合創(chuàng)始人兼CPO,Kafka: The Definitive Guide一書的作者
Zhamak Dehghani是Thoughtworks的技術(shù)總監(jiān)。她專注于企業(yè)中的分布式系統(tǒng)和數(shù)據(jù)架構(gòu)領(lǐng)域,是多個技術(shù)咨詢委員會的成員,包括Thoughtworks的技術(shù)委員會。
Zhamak倡導(dǎo)一切事物的去中心化,包括架構(gòu)、數(shù)據(jù)等。她是Data Mesh的創(chuàng)始人。
引言 想象Data Mesh9
第一部分 什么是Data Mesh
第1章 Data Mesh概述23
1.1 成果23
1.2 轉(zhuǎn)變24
1.3 原則25
1.4 原則之間的相互作用28
1.5 Data Mesh概覽29
1.6 數(shù)據(jù)29
1.7 起源31
第2章 領(lǐng)域所有權(quán)原則33
2.1 領(lǐng)域驅(qū)動設(shè)計(jì)簡介34
2.2 把DDD戰(zhàn)略應(yīng)用到數(shù)據(jù)35
2.3 領(lǐng)域數(shù)據(jù)類型37
2.4 過渡到領(lǐng)域所有權(quán)40
2.5 回顧43
第3章 數(shù)據(jù)即產(chǎn)品原則45
3.1 把產(chǎn)品思維應(yīng)用到數(shù)據(jù)中46
3.2 過渡到數(shù)據(jù)即產(chǎn)品56
3.3 回顧59
第4章 自助數(shù)據(jù)平臺原則60
4.1 Data Mesh平臺:比較和對比61
4.2 Data Mesh平臺思維66
4.3 過渡到自助Data Mesh平臺72
4.4 回顧75
第5章 聯(lián)邦計(jì)算治理原則76
5.1 把系統(tǒng)思考應(yīng)用到Data Mesh治理78
5.2 把聯(lián)邦應(yīng)用到治理模型83
5.3 把計(jì)算應(yīng)用到治理模型89
5.4 過渡到聯(lián)邦計(jì)算治理92
5.5 回顧94
第二部分 為什么需要Data Mesh
第6章 拐點(diǎn)99
6.1 數(shù)據(jù)的遠(yuǎn)大期望100
6.2 數(shù)據(jù)的巨大鴻溝102
6.3 規(guī);盒碌脑庥103
6.4 超越秩序104
6.5 到達(dá)回報的平臺期104
6.6 回顧105
第7章 拐點(diǎn)之后107
7.1 在復(fù)雜的業(yè)務(wù)中優(yōu)雅地應(yīng)對變化108
7.2 在增長的同時保持敏捷性112
7.3 提高數(shù)據(jù)對投資的價值比率115
7.4 回顧116
第8章 拐點(diǎn)之前119
8.1 分析型數(shù)據(jù)架構(gòu)的演進(jìn)119
8.2 分析型數(shù)據(jù)架構(gòu)的特征123
8.3 回顧131
第三部分 如何設(shè)計(jì)Data Mesh架構(gòu)
第9章 邏輯架構(gòu)135
9.1 面向領(lǐng)域的分析型數(shù)據(jù)共享接口138
9.2 數(shù)據(jù)產(chǎn)品即架構(gòu)量子140
9.3 多平面數(shù)據(jù)平臺148
9.4 嵌入式計(jì)算策略151
9.5 回顧154
第10章 多平面數(shù)據(jù)平臺架構(gòu)157
10.1 設(shè)計(jì)一個由用戶旅程驅(qū)動的平臺159
10.2 數(shù)據(jù)產(chǎn)品開發(fā)者之旅160
10.3 數(shù)據(jù)產(chǎn)品消費(fèi)者之旅168
10.4 回顧172
第四部分 如何設(shè)計(jì)數(shù)據(jù)產(chǎn)品架構(gòu)
第11章 按可供性設(shè)計(jì)數(shù)據(jù)產(chǎn)品175
11.1 數(shù)據(jù)產(chǎn)品可供性176
11.2 數(shù)據(jù)產(chǎn)品架構(gòu)特征178
11.3 受復(fù)雜適應(yīng)性系統(tǒng)的簡單性影響的設(shè)計(jì)179
11.4 回顧181
第12章 設(shè)計(jì)數(shù)據(jù)的消費(fèi)、轉(zhuǎn)換和服務(wù)182
12.1 提供數(shù)據(jù)182
12.2 消費(fèi)數(shù)據(jù)195
12.3 轉(zhuǎn)換數(shù)據(jù)202
12.4 回顧206
第13章 設(shè)計(jì)數(shù)據(jù)的發(fā)現(xiàn)、理解和組合207
13.1 發(fā)現(xiàn),理解,信任,探索207
13.2 組合數(shù)據(jù)215
13.3 回顧224
第14章 設(shè)計(jì)數(shù)據(jù)的管理、治理和觀測225
14.1 管理生命周期225
14.2 治理數(shù)據(jù)227
14.3 觀測,調(diào)試,審計(jì)231
14.4 回顧234
第五部分 如何開始
第15章 戰(zhàn)略和執(zhí)行239
15.1 今天你應(yīng)該采用Data Mesh嗎239
15.2 Data Mesh作為數(shù)據(jù)戰(zhàn)略的一部分242
15.3 Data Mesh執(zhí)行框架245
15.4 回顧264
第16章 組織與文化265
16.1 變革267
16.2 文化268
16.3 獎勵271
16.4 結(jié)構(gòu)273
16.5 人員283
16.6 流程287
16.7 回顧289