推 薦 序
我是2019年6月份認(rèn)識超華的,得知他準(zhǔn)備出版自己的新書,而且還是中臺方向,我就非常感興趣?赐晷聲醺,我就從自己的角度聊聊中臺以及我對這本書的理解。
中臺這個概念近幾年非;馃,對于很多公司來說,如果不做中臺都顯得自己跟不上時代或者公司不夠“高大上”,可實際上真正懂中臺、做過中臺、了解如何使用中臺的人并不多。這就出現(xiàn)了一種情況,很多公司的中臺戰(zhàn)略都停留在口頭上和會議室里,實際落地到業(yè)務(wù)和系統(tǒng)中卻什么也沒有。
導(dǎo)致這種現(xiàn)象的原因有兩種:第一種,有些公司對自身業(yè)務(wù)特點不了解,硬上中臺,結(jié)果水土不服;第二種,有些公司缺少對中臺的認(rèn)知和實操經(jīng)驗,使用方法錯誤。其實,一家公司在上馬中臺戰(zhàn)略以前,一定要明確:中臺是否適合于本公司。為什么這么說呢?因為很多公司其實是不需要中臺的。在我看來,只有業(yè)務(wù)密度和復(fù)雜度達到一定量級的公司,才有中臺存在的必要。如果只是簡單的業(yè)務(wù)組件化或者系統(tǒng)模塊化,就算沒有中臺,公司也可以實現(xiàn)。所以,支撐復(fù)雜業(yè)務(wù)的業(yè)務(wù)中臺以及支撐海量數(shù)據(jù)的數(shù)據(jù)中臺才是中臺的核心價值所在。
學(xué)習(xí)中臺的最好方式就是通過成功案例和實操經(jīng)驗獲取知識,因為這都是最真實可落地的東西,比起一堆的概念或者噱頭來說要有用得多。超華對中臺有著豐富的實踐經(jīng)驗,在大型企業(yè)中負(fù)責(zé)業(yè)務(wù)中臺和數(shù)據(jù)中臺從0到1搭建的過程,這種實戰(zhàn)經(jīng)驗是非常可貴的,能讓理論落地。
不管是數(shù)據(jù)中臺,還是業(yè)務(wù)中臺,從概念到落地、從方案到經(jīng)驗,需要經(jīng)過實踐和打磨,非短期突擊能實現(xiàn)。超華在這方面有自己獨到的經(jīng)驗和方法論。在書中,他對于數(shù)據(jù)中臺的幾個核心環(huán)節(jié)(采集、存儲、打通、應(yīng)用)的概括非常完整,這是構(gòu)建數(shù)據(jù)中臺的重要方法,憑此可以讓數(shù)據(jù)中臺一步一步落地并實現(xiàn)。
如果你未來準(zhǔn)備往中臺產(chǎn)品經(jīng)理發(fā)展,或者你所在的公司準(zhǔn)備構(gòu)建自己的中臺體系項目,那么這本既有方法、也有案例的書會是你不錯的實踐參考。開卷有益,希望對你有所幫助。
《產(chǎn)品經(jīng)理必懂的技術(shù)那點事兒》作者、
公眾號“唐韌”主理人 唐韌
前 言
親愛的讀者,你好,我是本書作者董超華,行業(yè)內(nèi)都叫我“華仔”。我曾就職于科大訊飛,現(xiàn)任富力環(huán)球商品貿(mào)易港數(shù)據(jù)中臺產(chǎn)品負(fù)責(zé)人,是人人都是產(chǎn)品經(jīng)理社區(qū)、PMTalk社區(qū)、產(chǎn)品100社區(qū)的專欄作者,公眾號“改變世界的產(chǎn)品經(jīng)理”的主理人。
自從2015年阿里巴巴提出中臺的概念后,中臺的概念就迅速傳遍整個互聯(lián)網(wǎng)圈。我知道,很多朋友應(yīng)該看過朋友圈里流傳的相關(guān)文章,甚至有人曾經(jīng)為了聽“大廠”職工們講中臺的干貨,奔走在各種大小行業(yè)會議之間。我也知道,這種碎片化的吸收雖然增加了大家的知識,卻也增加了大家的焦慮,因為技術(shù)不平等廣泛存在于業(yè)界。
阿里巴巴早在2015年就公布了中臺的概念,說明其早已把中臺體系做得很成熟,如果你不是阿里巴巴的員工,沒有親身經(jīng)歷中臺的搭建,就很難理解中臺究竟是干什么的。
2019年5月13日,我寫了一篇關(guān)于數(shù)據(jù)中臺的文章,發(fā)表在人人都是產(chǎn)品經(jīng)理社區(qū)中,第二天該文章的閱讀量就破了1萬次。截至2020年6月,我的數(shù)據(jù)中臺實戰(zhàn)系列文章的全網(wǎng)閱讀量已經(jīng)突破34萬次。為什么我的數(shù)據(jù)中臺實戰(zhàn)系列文章這么“火”呢?除了如今中臺的概念比較“火”之外,還因為深入了解中臺的人少之又少,大多數(shù)人都只能講概念,很少有人能寫出關(guān)于中臺搭建的實戰(zhàn)干貨。我在富力集團有幸經(jīng)歷了業(yè)務(wù)中臺、數(shù)據(jù)中臺的從0到1搭建全過程,而與富力集團合作搭建中臺的正是阿里系中臺搭建工作的直接參與者,這使得我在富力集團搭建中臺的過程中吸收了很多關(guān)于中臺的實戰(zhàn)經(jīng)驗。
本書基于我多年搭建數(shù)據(jù)中臺的實戰(zhàn)經(jīng)驗,從“采集”“存儲”“打通”“應(yīng)用”的角度,毫無保留地為你解析從0到1搭建數(shù)據(jù)中臺的全過程。本書的讀者范圍很廣,無論你是正在進行數(shù)據(jù)化轉(zhuǎn)型的公司高層、一線的產(chǎn)品經(jīng)理/運營人員/設(shè)計師/開發(fā)人員,還是對數(shù)據(jù)領(lǐng)域感興趣的從業(yè)人員或求職學(xué)生,都可以從中學(xué)到想要的內(nèi)容。
第1章“數(shù)據(jù)中臺入門攻略”讓你快速了解中臺基礎(chǔ)知識。首先,這一章清晰地解答了什么是中臺、什么是業(yè)務(wù)中臺、什么是數(shù)據(jù)中臺、為什么要搭建數(shù)據(jù)中臺、什么企業(yè)適合搭建數(shù)據(jù)中臺等典型問題。其次,這一章通過雙中臺實戰(zhàn)的案例,進一步加深你對中臺的了解。最后,這一章通過數(shù)據(jù)中臺的人員構(gòu)成、開發(fā)流程、如何與其他部門合作等講解,進一步剖析數(shù)據(jù)中臺究竟是什么。
第2章“數(shù)據(jù)采集”介紹數(shù)據(jù)中臺的數(shù)據(jù)采集模塊。在這一章中,你會學(xué)到如何通過數(shù)據(jù)埋點采集用戶行為數(shù)據(jù)、如何采集產(chǎn)品線業(yè)務(wù)數(shù)據(jù)。這一章通過多個實戰(zhàn)案例為你介紹為什么要進行數(shù)據(jù)采集、要采集哪些內(nèi)容、怎么進行數(shù)據(jù)采集。
第3章“數(shù)據(jù)存儲與計算”介紹數(shù)據(jù)中臺數(shù)據(jù)存儲與計算模塊。在這一章中,你會學(xué)到如何打造一套高效、沒有歧義的指標(biāo)管理體系。這一章還會為你介紹數(shù)據(jù)中臺的分層建模體系,通過實戰(zhàn)案例講解從ODS層到DWD/DWS層,再到ADS層建模和數(shù)據(jù)計算的全過程,讓你從模型設(shè)計和數(shù)據(jù)計算的角度進一步理解數(shù)據(jù)中臺。
第4章“數(shù)據(jù)打通”介紹數(shù)據(jù)中臺的智能化應(yīng)用標(biāo)簽平臺。標(biāo)簽平臺是用戶畫像和推薦系統(tǒng)的基礎(chǔ),從寬表的定義、標(biāo)簽體系的搭建、標(biāo)簽的生成、用戶的圈選開始學(xué)習(xí),從0到1教你搭建標(biāo)簽平臺。這一章通過多個實戰(zhàn)案例,讓你學(xué)會如何打通用戶的行為數(shù)據(jù)和用戶的業(yè)務(wù)數(shù)據(jù)、如何打通公司內(nèi)部各條產(chǎn)品線的數(shù)據(jù),消除數(shù)據(jù)孤島,釋放數(shù)據(jù)的最大化價值。
第5章“用戶分析”、第6章“商品分析”、第7章“流量分析”、第8章“交易分析”依次講解數(shù)據(jù)中臺的數(shù)據(jù)應(yīng)用模塊。用戶分析、商品分析、流量分析是我們經(jīng)常說的“人、貨、場分析”,大多數(shù)的互聯(lián)網(wǎng)產(chǎn)品都會用到。交易數(shù)據(jù)是公司最核心的數(shù)據(jù),交易分析部分的內(nèi)容會介紹如何為領(lǐng)導(dǎo)層設(shè)計交易看板、如何為運營人員設(shè)計交易分析模塊。每章都會有具體實戰(zhàn)案例講解數(shù)據(jù)中臺如何通過數(shù)據(jù)實現(xiàn)企業(yè)的數(shù)據(jù)化運營、如何提高運營人員的效率、如何用數(shù)據(jù)賦能業(yè)務(wù),從而在搭建數(shù)據(jù)中臺時避開各種陷阱。
第9章“自助分析平臺”介紹數(shù)據(jù)中臺的自助分析平臺。自助分析平臺可以解決數(shù)據(jù)中臺中數(shù)據(jù)可視化的問題。有了自助分析平臺可以幫助數(shù)據(jù)中臺大幅度提升開發(fā)效率,讓數(shù)據(jù)中臺專注于數(shù)據(jù)開發(fā)和模型設(shè)計。業(yè)務(wù)人員可以通過數(shù)據(jù)中臺配置專屬自己的數(shù)據(jù)看板,形成了看板的千人千面。
第10章“自動化營銷平臺”介紹數(shù)據(jù)中臺的數(shù)據(jù)智能應(yīng)用——全渠道的自動化營銷平臺。通過全渠道的自動化營銷平臺,業(yè)務(wù)人員在做營銷活動時只需專注于策略的制定與選擇,其他的工作都可以交給機器來完成。這一章還會通過實戰(zhàn)案例講解如何做一場優(yōu)惠券的營銷活動,比如做一次周期性的短信觸達營銷活動。自動化營銷平臺能夠加深你對數(shù)據(jù)智能的了解。
第11章“推薦平臺”介紹數(shù)據(jù)中臺的數(shù)據(jù)智能應(yīng)用——推薦平臺。這一章會為你介紹推薦系統(tǒng)的經(jīng)典架構(gòu)、幾個經(jīng)典的推薦算法、如何從0到1打造一個離線的推薦系統(tǒng)、如何從0到1搭建一個實時的推薦系統(tǒng)。推薦系統(tǒng)屬于AI應(yīng)用,通過推薦系統(tǒng)可以讓你更清楚地知道什么是數(shù)據(jù)智能。
最后,我要感謝一下長期支持我的人。
感謝我的母親賈春南和愛人黃淑麗,她們一直陪伴和信任我,在我寫作的過程中,給予我極大的肯定和鼓舞。
感謝我在富力集團的領(lǐng)導(dǎo)李照瑜。我的成長和搭建數(shù)據(jù)中臺的實踐都是在與領(lǐng)導(dǎo)共事的過程中一點一滴地積累起來的,可以說,沒有領(lǐng)導(dǎo)的幫助,本書是不可能完成的。
感謝老曹(曹成明)、BLUES(蘭軍)、蘇杰、唐韌、王偉等圈內(nèi)好友和行業(yè)大咖。各位大咖的作品讓我受益匪淺。在他們的身上,我學(xué)習(xí)到了很多干貨,希望日后可以見面交流,進行更深入的討論。
感謝電子工業(yè)出版社博文視點的編輯林瑞和老師,他不厭其煩地修改并提出了很多修改意見,使本書的質(zhì)量變得更好。
數(shù)據(jù)中臺目前還處于發(fā)展初期,限于我自身的知識儲備、閱歷和格局,本書可能存在不足和偏頗之處,希望各位讀者批評指正。大家可以通過微信公眾號“改變世界的產(chǎn)品經(jīng)理”給我留言,和我討論與數(shù)據(jù)中臺相關(guān)的問題,我會認(rèn)真地思考和回復(fù)每條留言。在這個微信公眾號上,大家也可以找到我的個人微信號,與我直接進行交流。
董超華
2020年6月
第1章 數(shù)據(jù)中臺入門攻略 1
1.1 什么是中臺 1
1.1.1 業(yè)務(wù)中臺與數(shù)據(jù)中臺有什么關(guān)系 3
1.1.2 什么企業(yè)適合搭建中臺 3
1.2 雙中臺實戰(zhàn)案例 4
1.2.1 業(yè)務(wù)中臺架構(gòu) 5
1.2.2 數(shù)據(jù)中臺架構(gòu) 7
1.3 數(shù)據(jù)中臺人員構(gòu)成 8
1.4 數(shù)據(jù)中臺開發(fā)流程 12
1.5 數(shù)據(jù)中臺內(nèi)外合作機制 15
1.5.1 數(shù)據(jù)中臺如何與其他部門合作 15
1.5.2 數(shù)據(jù)中臺內(nèi)部項目管理流程 18
第2章 數(shù)據(jù)采集 20
2.1 數(shù)據(jù)采集的分類 20
2.2 用戶行為數(shù)據(jù)采集 21
2.2.1 與第三方移動應(yīng)用統(tǒng)計公司合作的數(shù)據(jù)采集方式 21
2.2.2 前后端埋點結(jié)合的數(shù)據(jù)采集方式 22
2.2.3 可視化埋點與后端埋點結(jié)合的數(shù)據(jù)采集方式 31
2.3 數(shù)據(jù)采集流程 33
2.4 數(shù)據(jù)埋點實戰(zhàn)案例 34
第3章 數(shù)據(jù)存儲與計算 38
3.1 數(shù)據(jù)指標(biāo)的定義 39
3.1.1 數(shù)據(jù)指標(biāo)的重要性 39
3.1.2 如何定義數(shù)據(jù)指標(biāo) 39
3.1.3 如何識別虛榮指標(biāo) 42
3.2 數(shù)據(jù)模型設(shè)計 43
3.2.1 什么是數(shù)據(jù)庫和數(shù)據(jù)倉庫 43
3.2.2 數(shù)據(jù)倉庫的分層建模體系 45
3.3 數(shù)據(jù)模型設(shè)計實戰(zhàn)案例 48
3.3.1 ODS層模型設(shè)計 49
3.3.2 DWD層/DWS層模型設(shè)計 54
3.3.3 ADS層模型設(shè)計 63
3.4 數(shù)據(jù)計算實戰(zhàn)案例 65
3.4.1 從ODS層到DWD層計算過程 65
3.4.2 從DWD層到DWS層計算過程 68
3.4.3 從DWS層到ADS層計算過程 70
第4章 數(shù)據(jù)打通 72
4.1 標(biāo)簽平臺設(shè)計思路 72
4.2 標(biāo)簽平臺快速入門 75
4.2.1 標(biāo)簽平臺主流程介紹 75
4.2.2 數(shù)據(jù)寬表 76
4.2.3 標(biāo)簽體系 77
4.2.4 標(biāo)簽工廠 81
4.2.5 人群圈選 83
4.3 用戶畫像 87
4.3.1 個人用戶畫像 88
4.3.2 群體用戶畫像 89
4.4 標(biāo)簽平臺實戰(zhàn)案例 91
第5章 用戶分析 95
5.1 用戶分析的思路 95
5.2 用戶拉新分析 96
5.2.1 用戶拉新渠道注冊碼管理 96
5.2.2 用戶拉新相關(guān)指標(biāo) 98
5.2.3 用戶拉新頁面轉(zhuǎn)化率 98
5.2.4 用戶拉新ROI模型 100
5.3 用戶活躍分析 101
5.4 用戶留存分析 102
5.5 用戶轉(zhuǎn)化分析 103
5.6 用戶裂變分析 105
5.7 用戶生命周期分析 106
第6章 商品分析 110
6.1 商品售前分析 111
6.1.1 供應(yīng)商的選擇 112
6.1.2 商品定位 113
6.1.3 商品數(shù)量規(guī)劃 114
6.1.4 商品上架分析 115
6.2 商品售中分析 116
6.3 商品售后分析 121
第7章 流量分析 123
7.1 網(wǎng)頁分析 124
7.1.1 推廣頁 125
7.1.2 商品詳情頁 126
7.2 路徑分析 127
7.3 坑位分析 130
第8章 交易分析 134
8.1 針對公司領(lǐng)導(dǎo)層的交易分析設(shè)計 134
8.1.1 領(lǐng)導(dǎo)層移動端交易分析設(shè)計 136
8.1.2 自動化短信推送 137
8.1.3 數(shù)據(jù)大屏設(shè)計 139
8.2 針對產(chǎn)品/運營人員的交易分析設(shè)計 140
8.2.1 交易分析數(shù)據(jù)總覽 141
8.2.2 渠道交易分析 141
8.2.3 交易來源分析 143
8.2.4 購物頻次分析和購物間隔分析 145
第9章 自助分析平臺 148
9.1 自助分析平臺產(chǎn)品方案 149
9.2 快速入門三種數(shù)據(jù)自助分析可視化產(chǎn)品 150
9.2.1 帆軟自助看板模塊介紹 151
9.2.2 達芬奇自助看板模塊介紹 153
9.2.3 Superset自助看板模塊介紹 155
9.3 自助分析平臺技術(shù)選型 157
9.4 自助分析平臺實戰(zhàn)案例 157
9.4.1 數(shù)據(jù)中臺集成達芬奇 157
9.4.2 自助分析平臺實戰(zhàn)案例 162
第10章 自動化營銷平臺 167
10.1 自動化營銷平臺的設(shè)計思路 168
10.2 自動化營銷平臺介紹 169
10.2.1 常規(guī)營銷活動的內(nèi)容制作 170
10.2.2 營銷活動人群圈選 176
10.2.3 營銷活動觸達任務(wù) 176
10.2.4 活動效果分析 180
10.3 自動化營銷平臺實戰(zhàn)案例 182
10.3.1 優(yōu)惠券營銷活動實戰(zhàn)案例 182
10.3.2 周期性短信觸達營銷活動實戰(zhàn)案例 184
第11章 推薦平臺 187
11.1 什么是推薦系統(tǒng) 187
11.2 推薦系統(tǒng)架構(gòu) 189
11.2.1 推薦系統(tǒng)功能架構(gòu) 189
11.2.2 推薦系統(tǒng)技術(shù)架構(gòu) 191
11.3 推薦平臺項目實施流程 192
11.4 兩種經(jīng)典的推薦算法 193
11.4.1 基于用戶的協(xié)同過濾算法 194
11.4.2 基于物品的協(xié)同過濾算法 195
11.5 推薦系統(tǒng)的評測指標(biāo) 196
11.6 推薦系統(tǒng)的冷啟動 199
11.7 從0到1打造一個離線推薦系統(tǒng) 201
11.7.1 離線推薦系統(tǒng)設(shè)計思路 201
11.7.2 離線推薦系統(tǒng)算法選型 201
11.7.3 離線推薦系統(tǒng)開發(fā)過程 204
11.7.4 離線推薦系統(tǒng)測試 208
11.8 從0到1打造一個實時推薦系統(tǒng) 210