前　言

篇　推薦系統(tǒng)基礎(chǔ)認(rèn)知

第1章　推薦系統(tǒng)介紹 2

1.1　推薦系統(tǒng)產(chǎn)生的背景 2

1.2　推薦系統(tǒng)解決什么問題 3

1.3　推薦系統(tǒng)的應(yīng)用領(lǐng)域 3

1.4　推薦系統(tǒng)的定義 4

1.5　常用的推薦算法 5

1.5.1　基于內(nèi)容的推薦 5

1.5.2　協(xié)同過濾 5

1.5.3　基于模型的推薦 6

1.5.4　基于社交關(guān)系的推薦 6

1.6　構(gòu)建推薦系統(tǒng)的阻礙與挑戰(zhàn) 6

1.7　推薦系統(tǒng)的價(jià)值 7

1.8　本章小結(jié) 8

第二篇　推薦系統(tǒng)基礎(chǔ)算法

第2章　推薦算法基礎(chǔ) 10

2.1　推薦系統(tǒng)范式 10

2.2　推薦算法3階段pipeline架構(gòu) 14

2.3　推薦召回算法 15

2.3.1　完全非個(gè)性化范式 15

2.3.2　完全個(gè)性化范式 15

2.3.3　群組個(gè)性化范式 19

2.3.4　標(biāo)的物關(guān)聯(lián)標(biāo)的物范式 20

2.3.5　笛卡兒積范式 22

2.4　排序算法 22

2.4.1　logistic回歸模型 23

2.4.2　GBDT模型 24

2.4.3　Wide & Deep模型 24

2.5　推薦算法落地需要關(guān)注的幾個(gè)問題 24

2.5.1　推薦算法工程落地一定要用到排序模塊嗎 24

2.5.2　推薦算法服務(wù)于用戶的兩種形式 25

2.5.3　推薦系統(tǒng)評(píng)估 25

2.6　本章小結(jié) 25

第3章　基于內(nèi)容的推薦算法 27

3.1　什么是基于內(nèi)容的推薦算法 27

3.2　基于內(nèi)容的推薦算法的實(shí)現(xiàn)原理 28

3.2.1　基于用戶和標(biāo)的物特征為用戶推薦的核心思想 29

3.2.2　構(gòu)建用戶特征表示 29

3.2.3　構(gòu)建標(biāo)的物特征表示 30

3.2.4　為用戶做個(gè)性化推薦 36

3.3　基于內(nèi)容的推薦算法應(yīng)用場(chǎng)景 39

3.4　基于內(nèi)容的推薦算法的優(yōu)缺點(diǎn) 40

3.4.1　優(yōu)點(diǎn) 41

3.4.2　缺點(diǎn) 41

3.5　基于內(nèi)容的推薦算法落地需要關(guān)注的問題 42

3.5.1　內(nèi)容來源的獲取 42

3.5.2　怎么利用負(fù)向反饋 43

3.5.3　興趣隨時(shí)間變化 44

3.5.4　數(shù)據(jù)清洗 44

3.5.5　加速計(jì)算與節(jié)省資源 44

3.5.6　解決基于內(nèi)容的推薦越推越窄的問題 44

3.5.7　工程落地技術(shù)選型 45

3.5.8　業(yè)務(wù)的安全性 45

3.6　本章小結(jié) 45

第4章　協(xié)同過濾推薦算法 47

4.1　協(xié)同過濾思想簡(jiǎn)介 47

4.2　協(xié)同過濾算法原理介紹 48

4.2.1　基于用戶的協(xié)同過濾 49

4.2.2　基于標(biāo)的物的協(xié)同過濾 49

4.3　離線協(xié)同過濾算法的工程實(shí)現(xiàn) 49

4.3.1　計(jì)算topN相似度 50

4.3.2　為用戶生成推薦 52

4.4　近實(shí)時(shí)協(xié)同過濾算法的工程實(shí)現(xiàn) 54

4.4.1　獲取用戶在一個(gè)時(shí)間窗口內(nèi)的行為 54

4.4.2　基于用戶行為記錄更新標(biāo)的物關(guān)聯(lián)表CR 55

4.4.3　更新用戶的行為記錄HBase表：UAction 55

4.4.4　為用戶生成個(gè)性化推薦 55

4.5　協(xié)同過濾算法的應(yīng)用場(chǎng)景 57

4.5.1　完全個(gè)性化推薦 57

4.5.2　標(biāo)的物關(guān)聯(lián)標(biāo)的物推薦 58

4.5.3　其他應(yīng)用形式及場(chǎng)景 58

4.6　協(xié)同過濾算法的優(yōu)缺點(diǎn) 58

4.6.1　優(yōu)點(diǎn) 59

4.6.2　缺點(diǎn) 59

4.7　協(xié)同過濾算法落地到業(yè)務(wù)場(chǎng)景需要關(guān)注的問題 60

4.7.1　兩種協(xié)同過濾算法的選擇 60

4.7.2　對(duì)時(shí)間加權(quán) 60

4.7.3　關(guān)于用戶對(duì)標(biāo)的物的評(píng)分 61

4.7.4　相似度計(jì)算 61

4.7.5　冷啟動(dòng)問題 62

4.8　本章小結(jié) 63

第5章　基于樸素ML思想的協(xié)同過濾算法 65

5.1　基于關(guān)聯(lián)規(guī)則的推薦算法 65

5.2　基于樸素貝葉斯的推薦算法 67

5.3　基于聚類的推薦算法 70

5.3.1　基于用戶聚類的推薦 70

5.3.2　基于標(biāo)的物聚類的推薦 71

5.4　YouTube基于關(guān)聯(lián)規(guī)則思路的視頻推薦算法 71

5.4.1　計(jì)算兩個(gè)視頻的相似度（關(guān)聯(lián)度） 72

5.4.2　基于單個(gè)種子視頻生成候選視頻集 72

5.4.3　基于用戶行為為用戶生成推薦候選集 72

5.4.4　推薦結(jié)果排序 73

5.5　Google News基于貝葉斯框架的推薦算法 74

5.5.1　基于用戶過去的行為來分析用戶的興趣點(diǎn) 75

5.5.2　利用貝葉斯框架來建模用戶的興趣 75

5.5.3　為用戶做個(gè)性化推薦 78

5.6　Google News基于用戶聚類的推薦算法 78

5.6.1　基于MinHash聚類 78

5.6.2　基于聚類為用戶做推薦 80

5.7　本章小結(jié) 80

第6章　矩陣分解推薦算法 83

6.1　矩陣分解推薦算法的核心思想 83

6.2　矩陣分解推薦算法的算法原理 84

6.3　矩陣分解推薦算法的求解方法 85

6.3.1　利用SGD來求解矩陣分解 85

6.3.2　利用ALS來求解矩陣分解 86

6.4　矩陣分解推薦算法的拓展與優(yōu)化 87

6.4.1　整合偏差項(xiàng) 87

6.4.2　增加更多的用戶信息輸入 87

6.4.3　整合時(shí)間因素 88

6.4.4　整合用戶對(duì)評(píng)分的置信度 89

6.4.5　隱式反饋 89

6.4.6　整合用戶和標(biāo)的物metadata信息 90

6.5　近實(shí)時(shí)矩陣分解算法 91

6.5.1　算法原理 92

6.5.2　工程實(shí)現(xiàn) 94

6.6　矩陣分解算法的應(yīng)用場(chǎng)景 97

6.6.1　應(yīng)用于完全個(gè)性化推薦場(chǎng)景 97

6.6.2　應(yīng)用于標(biāo)的物關(guān)聯(lián)標(biāo)的物場(chǎng)景 98

6.6.3　應(yīng)用于用戶及標(biāo)的物聚類 98

6.6.4　應(yīng)用于群組個(gè)性化場(chǎng)景 98

6.7　矩陣分解算法的優(yōu)缺點(diǎn) 99

6.7.1　優(yōu)點(diǎn) 99

6.7.2　缺點(diǎn) 100

6.8　本章小結(jié) 101

第7章　因子分解機(jī) 103

7.1　分解機(jī)簡(jiǎn)單介紹 103

7.2　分解機(jī)參數(shù)預(yù)估與模型價(jià)值 105

7.2.1　分解機(jī)在稀疏場(chǎng)景下的參數(shù)估計(jì) 106

7.2.2　分解機(jī)的計(jì)算復(fù)雜度 106

7.2.3　分解機(jī)模型求解 107

7.2.4　模型預(yù)測(cè) 107

7.3　分解機(jī)與其他模型的關(guān)系 108

7.3.1　FM與矩陣分解的聯(lián)系 108

7.3.2　FM與SVM的聯(lián)系 108

7.4　分解機(jī)的工程實(shí)現(xiàn) 110

7.5　分解機(jī)的拓展 112

7.5.1　高階分解機(jī) 112

7.5.2　FFM 113

7.5.3　DeepFM 113

7.6　近實(shí)時(shí)分解機(jī) 114

7.7　分解機(jī)在推薦系統(tǒng)上的應(yīng)用 114

7.7.1　用戶與標(biāo)的物的交互行為信息 115

7.7.2　用戶相關(guān)信息 115

7.7.3　標(biāo)的物相關(guān)信息 115

7.7.4　上下文信息 115

7.8　分解機(jī)的優(yōu)勢(shì) 116

7.9　本章小結(jié) 117

第三篇　推薦系統(tǒng)進(jìn)階算法

第8章　推薦系統(tǒng)冷啟動(dòng) 120

8.1　冷啟動(dòng)的概念 120

8.2　解決冷啟動(dòng)面臨的挑戰(zhàn) 121

8.3　解決冷啟動(dòng)的重要性 121

8.4　解決冷啟動(dòng)的方法和策略 122

8.4.1　用戶冷啟動(dòng) 123

8.4.2　標(biāo)的物冷啟動(dòng) 125

8.4.3　系統(tǒng)冷啟動(dòng) 126

8.4.4　新的視角看冷啟動(dòng) 126

8.5　不同推薦產(chǎn)品形態(tài)解決冷啟動(dòng)的方案 128

8.6　設(shè)計(jì)冷啟動(dòng)需要注意的問題 129

8.7　冷啟動(dòng)的未來發(fā)展趨勢(shì) 130

8.8　本章小結(jié) 131

第9章　嵌入方法在推薦系統(tǒng)中的應(yīng)用 132

9.1　嵌入方法簡(jiǎn)介 132

9.2　嵌入方法應(yīng)用于推薦系統(tǒng)的一般思路 133

9.2.1　學(xué)習(xí)標(biāo)的物的嵌入表示 134

9.2.2　同時(shí)學(xué)習(xí)用戶和標(biāo)的物的嵌入表示 135

9.3　用于推薦系統(tǒng)的嵌入方法的算法原理介紹 135

9.3.1　基于矩陣分解的嵌入 135

9.3.2　基于Word2vec的嵌入 136

9.3.3　基于有向圖的嵌入 137

9.3.4　基于深度神經(jīng)網(wǎng)絡(luò)的嵌入 138

9.4　嵌入方法在推薦系統(tǒng)中的應(yīng)用案例介紹 139

9.4.1　利用矩陣分解嵌入做推薦 139

9.4.2　利用Item2vec獲得標(biāo)的物的嵌入做推薦 139

9.4.3　阿里盒馬的聯(lián)合嵌入推薦模型 140

9.4.4　淘寶基于圖嵌入的推薦算法 143

9.4.5　整合標(biāo)的物多種信息的Content2vec模型 145

9.5　利用嵌入方法解決冷啟動(dòng)問題 146

9.5.1　通過ID間的結(jié)構(gòu)連接關(guān)系及特征遷移解決冷啟動(dòng)問題 146

9.5.2　通過圖片、文本內(nèi)容嵌入解決冷啟動(dòng)問題 148

9.6　本章小結(jié) 148

第10章　深度學(xué)習(xí)在推薦系統(tǒng)中的應(yīng)用 151

10.1　深度學(xué)習(xí)介紹 152

10.2　利用深度學(xué)習(xí)技術(shù)構(gòu)建推薦系統(tǒng)的方法和思路 153

10.2.1　從推薦系統(tǒng)中使用的深度學(xué)習(xí)技術(shù)角度看 154

10.2.2　從推薦系統(tǒng)的預(yù)測(cè)目標(biāo)角度看 154

10.2.3　從推薦算法的歸類角度看 155

10.3　工業(yè)界幾個(gè)經(jīng)典深度學(xué)習(xí)推薦算法介紹 156

10.3.1　YouTube的深度學(xué)習(xí)推薦系統(tǒng) 156

10.3.2　Google的Wide & Deep深度學(xué)習(xí)推薦模型 160

10.3.3　阿里基于興趣樹的深度學(xué)習(xí)推薦算法 163

10.3.4　Google的神經(jīng)網(wǎng)絡(luò)協(xié)同過濾深度學(xué)習(xí)推薦算法 166

10.4　開源深度學(xué)習(xí)框架&推薦算法 168

10.4.1　TensorFlow（Keras） 168

10.4.2　PyTorch（Caffe） 169

10.4.3　MxNet 169

10.4.4　DeepLearning4j 170

10.4.5　百度的PaddlePaddle 170

10.4.6　騰訊的Angel 170

10.4.7　微軟開源的推薦算法庫recommenders 171

10.5　深度學(xué)習(xí)技術(shù)應(yīng)用于推薦系統(tǒng)的優(yōu)缺點(diǎn)及挑戰(zhàn) 171

10.5.1　優(yōu)點(diǎn) 171

10.5.2　缺點(diǎn)與挑戰(zhàn) 172

10.6　深度學(xué)習(xí)推薦系統(tǒng)工程實(shí)施建議 174

10.6.1　深度學(xué)習(xí)的效果真的有那么好嗎 174

10.6.2　團(tuán)隊(duì)是否適合引入深度學(xué)習(xí)推薦技術(shù) 174

10.6.3　打通深度學(xué)習(xí)相關(guān)技術(shù)棧與團(tuán)隊(duì)現(xiàn)有技術(shù)棧 175

10.6.4　從經(jīng)典成熟的模型與跟公司業(yè)務(wù)接近的模型著手 175

10.7　深度學(xué)習(xí)推薦系統(tǒng)的未來發(fā)展 176

10.7.1　算法模型維度 176

10.7.2　工程維度 176

10.7.3　應(yīng)用場(chǎng)景維度 177

10.7.4　數(shù)據(jù)維度 177

10.7.5　產(chǎn)品呈現(xiàn)與交互維度 178

10.8　本章小結(jié) 178

第11章　混合推薦系統(tǒng)介紹 182

11.1　什么是混合推薦系統(tǒng) 182

11.2　混合推薦系統(tǒng)的價(jià)值 183

11.2.1　冷啟動(dòng)問題 183

11.2.2　數(shù)據(jù)稀疏性問題 183

11.2.3　馬太效應(yīng) 183

11.2.4　灰羊效應(yīng) 183

11.2.5　投資組合效應(yīng) 184

11.2.6　穩(wěn)定性/可塑性問題 184

11.3　混合推薦系統(tǒng)的實(shí)現(xiàn)方案 185

11.3.1　單體的混合范式 185

11.3.2　并行的混合范式 186

11.3.3　流水線混合范式 187

11.4　工業(yè)級(jí)推薦系統(tǒng)與混合推薦 188

11.4.1　實(shí)時(shí)推薦系統(tǒng)與混合推薦 190

11.4.2　深度學(xué)習(xí)等復(fù)雜推薦模型整合多數(shù)據(jù)源和多模型 190

11.4.3　特殊情況下的處理策略 191

11.4.4　推薦數(shù)量不足的增補(bǔ) 191

11.4.5　通過混合策略解決用戶冷啟動(dòng) 191

11.5　對(duì)混合推薦系統(tǒng)的思考 192

11.5.1　整合實(shí)時(shí)推薦中用戶的短期和長(zhǎng)期興趣 193

11.5.2　利用單個(gè)復(fù)雜模型建模多源信息 193

11.5.3　多源的標(biāo)的物混合 193

11.5.4　家庭場(chǎng)景中多人興趣的混合推薦 194

11.5.5　用戶在多APP場(chǎng)景下行為的混合 195

11.5.6　用戶多狀態(tài)（場(chǎng)景）的融合推薦 195

11.6　本章小結(jié) 195

第12章　構(gòu)建可解釋性推薦系統(tǒng) 198

12.1　可解釋性推薦系統(tǒng)簡(jiǎn)介 198

12.1.1　什么是推薦解釋 198

12.1.2　推薦解釋的價(jià)值 199

12.1.3　互聯(lián)網(wǎng)推薦產(chǎn)品的推薦解釋模型 200

12.1.4　推薦解釋的形式 200

12.1.5　推薦解釋的現(xiàn)狀 200

12.2　構(gòu)建可解釋性推薦系統(tǒng)的方法 201

12.2.1　基于用戶關(guān)系來做推薦解釋 201

12.2.2　基于標(biāo)的物相似關(guān)系來做推薦解釋 203

12.2.3　基于標(biāo)簽來做推薦解釋 203

12.2.4　其他推薦解釋方式 204

12.3　常用工業(yè)級(jí)推薦產(chǎn)品的推薦解釋 205

12.3.1　完全個(gè)性化范式的推薦解釋 205

12.3.2　標(biāo)的物關(guān)聯(lián)標(biāo)的物范式的推薦解釋 207

12.3.3　其他推薦范式的推薦解釋 208

12.4　做好推薦解釋需要關(guān)注的幾個(gè)問題 208

12.5　構(gòu)建可解釋性推薦系統(tǒng)面臨的挑戰(zhàn)與機(jī)遇 210

12.5.1　混合推薦算法讓推薦解釋更加困難 210

12.5.2　設(shè)計(jì)實(shí)時(shí)個(gè)性化推薦解釋面臨的技術(shù)挑戰(zhàn) 211

12.5.3　企業(yè)管理者/數(shù)據(jù)產(chǎn)品經(jīng)理更關(guān)注精準(zhǔn)度而不是解釋性 211

12.5.4　黑盒推薦算法很難解釋 211

12.5.5　普適的推薦解釋框架 211

12.5.6　利用知識(shí)圖譜做解釋 211

12.5.7　生成對(duì)話式解釋 211

12.6　本章小結(jié) 212

第四篇　推薦系統(tǒng)評(píng)估與價(jià)值

第13章　推薦系統(tǒng)的評(píng)估 214

13.1　推薦系統(tǒng)評(píng)估的目的 214

13.2　評(píng)估推薦系統(tǒng)的常用指標(biāo) 215

13.2.1　用戶的維度 215

13.2.2　平臺(tái)方的維度 216

13.2.3　推薦系統(tǒng)自身的維度 216

13.2.4　標(biāo)的物提供方的維度 217

13.3　推薦系統(tǒng)的評(píng)估方法 218

13.3.1　離線評(píng)估 219

13.3.2　在線評(píng)估階段 223

13.3.3　在線評(píng)估第二階段 224

13.3.4　主觀評(píng)估 225

13.4　推薦系統(tǒng)評(píng)估需要關(guān)注的問題 226

13.5　本章小結(jié) 227

第14章　推薦系統(tǒng)的商業(yè)價(jià)值 228

14.1　為什么要關(guān)注推薦系統(tǒng)的商業(yè)價(jià)值 228

14.2　衡量推薦系統(tǒng)商業(yè)價(jià)值的維度 229

14.2.1　廣告變現(xiàn) 230

14.2.2　電商變現(xiàn) 231

14.2.3　增值服務(wù)變現(xiàn) 231

14.2.4　用戶增長(zhǎng) 232

14.2.5　成本節(jié)省及效率提升 232

14.3　量化推薦系統(tǒng)商業(yè)價(jià)值的思路和方法 233

14.3.1　提升廣告的曝光與轉(zhuǎn)化 233

14.3.2　促進(jìn)標(biāo)的物提供方（即商家）生態(tài)繁榮 233

14.3.3　促進(jìn)標(biāo)的物售賣，獲取更多經(jīng)濟(jì)收益 234

14.3.4　提升會(huì)員的轉(zhuǎn)化與留存 234

14.3.5　提升用戶留存率、活躍度和停留時(shí)長(zhǎng) 234

14.3.6　節(jié)省人力成本 235

14.3.7　提升內(nèi)容分發(fā)效率 235

14.4　提升推薦系統(tǒng)商業(yè)價(jià)值需要關(guān)注的問題及建議 235

14.5　本章小結(jié) 237

第五篇　推薦系統(tǒng)工程實(shí)現(xiàn)

第15章　推薦系統(tǒng)之?dāng)?shù)據(jù)與特征工程 240

15.1　推薦算法建模的一般流程 240

15.2　推薦系統(tǒng)依賴的數(shù)據(jù)源介紹 241

15.2.1　根據(jù)數(shù)據(jù)來源來劃分 241

15.2.2　根據(jù)數(shù)據(jù)載體來劃分 243

15.2.3　根據(jù)數(shù)據(jù)組織形式來劃分 244

15.3　數(shù)據(jù)處理與特征工程簡(jiǎn)介 246

15.3.1　數(shù)據(jù)生成 246

15.3.2　數(shù)據(jù)預(yù)處理 248

15.3.3　特征工程 250

15.4　常用推薦算法之?dāng)?shù)據(jù)與特征工程 258

15.4.1　排行榜推薦 258

15.4.2　標(biāo)的物關(guān)聯(lián)標(biāo)的物推薦 259

15.4.3　個(gè)性化推薦 260

15.5　推薦系統(tǒng)數(shù)據(jù)與特征工程的未來趨勢(shì) 262

15.5.1　融合更多的數(shù)據(jù)源來構(gòu)建更復(fù)雜的推薦模型 262

15.5.2　深度學(xué)習(xí)等復(fù)雜技術(shù)可減少人工特征工程的投入 262

15.5.3　實(shí)時(shí)數(shù)據(jù)處理與實(shí)時(shí)特征工程 263

15.5.4　自動(dòng)化特征工程 263

15.6　本章小結(jié) 264

第16章　推薦系統(tǒng)的工程實(shí)現(xiàn) 266

16.1　推薦系統(tǒng)與大數(shù)據(jù) 266

16.2　推薦系統(tǒng)業(yè)務(wù)流及核心模塊 268

16.2.1　數(shù)據(jù)收集模塊 269

16.2.2　ETL模塊 269

16.2.3　特征工程模塊 269

16.2.4　推薦算法模塊 270

16.2.5　推薦結(jié)果存儲(chǔ)模塊 270

16.2.6　Web服務(wù)模塊 271

16.3　推薦系統(tǒng)支撐模塊 272

16.3.1　評(píng)估模塊 272

16.3.2　調(diào)度模塊 272

16.3.3　監(jiān)控模塊 272

16.3.4　審查模塊 273

16.4　推薦系統(tǒng)架構(gòu)設(shè)計(jì) 273

16.5　推薦系統(tǒng)工程實(shí)現(xiàn)的設(shè)計(jì)哲學(xué) 279

16.5.1　什么是好的推薦系統(tǒng)工程實(shí)現(xiàn) 280

16.5.2　推薦系統(tǒng)工程實(shí)現(xiàn)的原則 280

16.5.3　怎樣設(shè)計(jì)好的推薦系統(tǒng)工程架構(gòu) 280

16.6　近實(shí)時(shí)個(gè)性化推薦 281

16.7　推薦系統(tǒng)業(yè)務(wù)落地需要關(guān)注的問題 282

16.8　推薦系統(tǒng)的技術(shù)選型 284

16.9　推薦系統(tǒng)工程的未來發(fā)展 285

16.10　本章小結(jié) 285

第17章　AB測(cè)試平臺(tái)的工程實(shí)現(xiàn) 286

17.1　什么是AB測(cè)試 286

17.2　AB測(cè)試的價(jià)值 287

17.3　什么時(shí)候需要AB測(cè)試 288

17.4　AB測(cè)試的應(yīng)用場(chǎng)景 289

17.5　AB測(cè)試平臺(tái)的核心模塊 290

17.5.1　分組模塊 290

17.5.2　實(shí)驗(yàn)管理模塊 291

17.5.3　業(yè)務(wù)接入模塊 291

17.5.4　行為記錄分析模塊 291

17.5.5　效果評(píng)估模塊 292

17.6　業(yè)界流行的AB測(cè)試架構(gòu)實(shí)現(xiàn)方案　 292

17.7　推薦系統(tǒng)業(yè)務(wù)AB測(cè)試實(shí)現(xiàn)方案 297

17.8　開發(fā)AB測(cè)試平臺(tái)需要的資源及支持 301

17.9　構(gòu)建AB測(cè)試平臺(tái)需要關(guān)注的重要問題 302

17.10　本章小結(jié) 303

第18章　構(gòu)建優(yōu)質(zhì)的推薦系統(tǒng)服務(wù) 304

18.1　推薦服務(wù)背景介紹 304

18.2　什么是優(yōu)質(zhì)的推薦服務(wù) 306

18.2.1　高性能 306

18.2.2　高可用 306

18.2.3　可伸縮 306

18.2.4　可擴(kuò)展 307

18.2.5　安全性 307

18.3　設(shè)計(jì)優(yōu)質(zhì)的推薦服務(wù)面臨的挑戰(zhàn) 307

18.3.1　需要存儲(chǔ)的數(shù)據(jù)量大 308

18.3.2　需要快速及時(shí)響應(yīng)用戶請(qǐng)求 308

18.3.3　接口訪問并發(fā)量大 308

18.3.4　業(yè)務(wù)相對(duì)復(fù)雜 308

18.4　構(gòu)建優(yōu)質(zhì)服務(wù)的一般原則 309

18.4.1　模塊化 309

18.4.2　數(shù)據(jù)存儲(chǔ)與數(shù)據(jù)緩存 309

18.4.3　負(fù)載均衡 309

18.4.4　異步調(diào)用 310

18.4.5　分布式及去中心化 310

18.4.6　分層思想 310

18.5　設(shè)計(jì)優(yōu)質(zhì)推薦服務(wù)的可行策略 311

18.5.1　高性能 311

18.5.2　高可用 314

18.5.3　可伸縮 315

18.5.4　可擴(kuò)展 316

18.5.5　安全性 317

18.6　本章小結(jié) 318

第19章　推薦系統(tǒng)提供Web服務(wù) 319

19.1　什么是推薦系統(tǒng)Web服務(wù) 319

19.2　推薦系統(tǒng)提供Web服務(wù)的兩種方式 321

19.2.1　事先計(jì)算式Web服務(wù) 322

19.2.2　實(shí)時(shí)裝配式Web服務(wù) 324

19.3　兩種Web服務(wù)方式的優(yōu)劣對(duì)比 326

19.3.1　事先計(jì)算式Web服務(wù)的優(yōu)缺點(diǎn) 326

19.3.2　實(shí)時(shí)裝配式Web服務(wù)的優(yōu)缺點(diǎn) 327

19.4　影響Web服務(wù)方式的因素及選擇原則 328

19.4.1　推薦產(chǎn)品形態(tài)的時(shí)效性對(duì)選擇推薦Web服務(wù)的影響 328

19.4.2　技術(shù)及架構(gòu)復(fù)雜性對(duì)選擇推薦Web服務(wù)的影響 328

19.4.3　推薦階段對(duì)選擇推薦Web服務(wù)的影響 328

19.4.4　算法形態(tài)對(duì)選擇推薦Web服務(wù)的影響 329

19.5　本章小結(jié) 329

第20章　實(shí)時(shí)個(gè)性化推薦 331

20.1　實(shí)時(shí)推薦系統(tǒng)背景介紹 331

20.2　實(shí)時(shí)推薦系統(tǒng)的價(jià)值 333

20.3　實(shí)時(shí)推薦系統(tǒng)的應(yīng)用場(chǎng)景 334

20.3.1　新聞資訊類 335

20.3.2　短視頻類 335

20.3.3　婚戀、陌生人社交類 336

20.3.4　直播類 336

20.3.5　電商類 337

20.3.6　音樂、電臺(tái)類 337

20.4　實(shí)時(shí)推薦系統(tǒng)的整體架構(gòu) 338

20.4.1　Lambda架構(gòu) 339

20.4.2　Kappa架構(gòu) 343

20.5　實(shí)時(shí)推薦系統(tǒng)的技術(shù)選型 345

20.5.1　離線部分算法的技術(shù)選型 345

20.5.2　實(shí)時(shí)部分算法的技術(shù)選型 345

20.6　實(shí)時(shí)推薦算法與工程實(shí)現(xiàn) 346

20.7　構(gòu)建實(shí)時(shí)推薦系統(tǒng)面臨的困難和挑戰(zhàn) 347

20.8　實(shí)時(shí)推薦系統(tǒng)的未來發(fā)展 347

20.8.1　實(shí)時(shí)推薦是未來推薦發(fā)展的方向 348

20.8.2　每個(gè)人都有望擁有為自己服務(wù)的個(gè)性化算法 348

20.8.3　實(shí)時(shí)推薦應(yīng)用場(chǎng)景的多樣性 349

20.8.4　實(shí)時(shí)交互方式趨于多元化 349

20.9　本章小結(jié) 350

第六篇　推薦系統(tǒng)產(chǎn)品與運(yùn)營(yíng)第21章　推薦系統(tǒng)產(chǎn)品 354

21.1　推薦產(chǎn)品簡(jiǎn)介 354

21.2　推薦產(chǎn)品形態(tài)介紹 355

21.2.1　基于用戶維度的推薦 355

21.2.2　基于標(biāo)的物維度的推薦 357

21.2.3　基于用戶和標(biāo)的物交叉維度的推薦 359

21.3　推薦產(chǎn)品的應(yīng)用場(chǎng)景 360

21.4　設(shè)計(jì)優(yōu)質(zhì)推薦產(chǎn)品的要點(diǎn) 361

21.5　本章小結(jié) 362

第22章　推薦系統(tǒng)的UI交互與視覺展示 363

22.1　信息獲取與推薦系統(tǒng) 363

22.2　交互設(shè)計(jì)的基本原則 365

22.3　推薦系統(tǒng)的UI交互 367

22.3.1　什么是推薦系統(tǒng)的UI交互 367

22.3.2　設(shè)計(jì)好的UI交互的原則 368

22.3.3　UI交互在推薦系統(tǒng)中的價(jià)值 371

22.4　推薦系統(tǒng)的視覺展示 372

22.4.1　什么是推薦系統(tǒng)的視覺要素 373

22.4.2　視覺要素展示的一般原則 373

22.4.3　視覺要素展示的價(jià)值 376

22.5　關(guān)于推薦系統(tǒng)UI交互和視覺展示的展望 376

22.6　本章小結(jié) 378

第23章　推薦系統(tǒng)與精細(xì)化運(yùn)營(yíng) 379

23.1　運(yùn)營(yíng)簡(jiǎn)介 379

23.2　數(shù)據(jù)化運(yùn)營(yíng) 381

23.3　精細(xì)化運(yùn)營(yíng) 383

23.3.1　精細(xì)化運(yùn)營(yíng)的概念 383

23.3.2　精細(xì)化運(yùn)營(yíng)的特點(diǎn) 384

23.3.3　為什么說現(xiàn)在進(jìn)入了精細(xì)化運(yùn)營(yíng)時(shí)代 384

23.3.4　精細(xì)化運(yùn)營(yíng)面臨的挑戰(zhàn) 385

23.3.5　精細(xì)化運(yùn)營(yíng)的流程與方法 385

23.4　用戶畫像介紹 386

23.4.1　用戶畫像的概念 387

23.4.2　標(biāo)簽的分類 387

23.4.3　用戶畫像構(gòu)建流程 389

23.4.4　用戶畫像平臺(tái)的基礎(chǔ)架構(gòu) 390

23.4.5　用戶畫像的應(yīng)用場(chǎng)景 391

23.5　推薦系統(tǒng)與精細(xì)化運(yùn)營(yíng) 394

23.5.1　推薦系統(tǒng)是精細(xì)化運(yùn)營(yíng)的形式 394

23.5.2　推薦系統(tǒng)與精細(xì)化運(yùn)營(yíng)的區(qū)別與聯(lián)系 395

23.5.3　利用推薦系統(tǒng)的思路進(jìn)行精細(xì)化運(yùn)營(yíng) 396

23.5.4　利用推薦系統(tǒng)的思路進(jìn)行精細(xì)化運(yùn)營(yíng)面臨的困境 397

23.6　本章小結(jié) 398

第24章　推薦系統(tǒng)的人工調(diào)控策略 399

24.1　什么是推薦系統(tǒng)的人工調(diào)控 399

24.2　為什么要進(jìn)行人工調(diào)控 400

24.2.1　用戶體驗(yàn) 401

24.2.2　安全性 401

24.2.3　商業(yè)價(jià)值 402

24.2.4　運(yùn)營(yíng)需要 402

24.2.5　降低人力成本 403

24.3　怎樣進(jìn)行人工調(diào)控 404

24.3.1　數(shù)據(jù)層面的人工調(diào)控 404

24.3.2　特征層面的人工調(diào)控 405

24.3.3　模型層面的人工調(diào)控 406

24.3.4　結(jié)果層面的人工調(diào)控 407

24.3.5　展示層面的人工調(diào)控 407

24.3.6　效果層面的人工調(diào)控 409

24.4　怎樣評(píng)估人工調(diào)控的價(jià)值 409

24.5　人工調(diào)控面臨的挑戰(zhàn) 410

24.5.1　知識(shí)層面的脫節(jié)，溝通不暢 410

24.5.2　很難精確評(píng)估對(duì)推薦系統(tǒng)的影響范圍 410

24.5.3　為運(yùn)營(yíng)人員提供方便操控的界面是關(guān)鍵 411

24.6　人與機(jī)器的有效協(xié)作 411

24.7　本章小結(jié) 412

第七篇　推薦系統(tǒng)案例分析

第25章　從零開始構(gòu)建企業(yè)級(jí)推薦系統(tǒng) 414

25.1　Why：你的產(chǎn)品為什么需要推薦系統(tǒng) 414

25.2　Who：讓誰來搭建推薦系統(tǒng) 415

25.2.1　自建推薦系統(tǒng) 415

25.2.2　通過外包構(gòu)建推薦系統(tǒng) 416

25.2.3　購(gòu)買推薦系統(tǒng)云服務(wù) 416

25.3　When：在產(chǎn)品的什么階段搭建推薦系統(tǒng) 416

25.4　What、Where：搭建什么樣的推薦系統(tǒng) 417

25.5　How：怎樣搭建推薦系統(tǒng) 418

25.5.1　產(chǎn)品起步階段的推薦 418

25.5.2　產(chǎn)品成長(zhǎng)階段的推薦 420

25.6　How much：關(guān)于構(gòu)建推薦系統(tǒng)的資源投入 420

25.6.1　人力投入 421

25.6.2　計(jì)算資源投入 421

25.7　How feel：對(duì)推薦系統(tǒng)價(jià)值的預(yù)期 422

25.8　從零搭建推薦系統(tǒng)必須做好的3件事 422

25.8.1　產(chǎn)品與算法 423

25.8.2　評(píng)估指標(biāo) 423

25.8.3　AB測(cè)試 423

25.9　幾個(gè)具體實(shí)用的建議 424

25.10　本章小結(jié) 425

第26章　基于標(biāo)簽的實(shí)時(shí)短視頻推薦系統(tǒng) 426

26.1　基于標(biāo)簽的推薦算法應(yīng)用場(chǎng)景 426

26.1.1　完全個(gè)性化推薦 427

26.1.2　標(biāo)的物關(guān)聯(lián)標(biāo)的物推薦 427

26.1.3　主題推薦 428

26.2　基于標(biāo)簽的推薦算法原理 428

26.2.1　個(gè)性化推薦 428

26.2.2　視頻相似推薦 430

26.2.3　主題推薦 430

26.3　推薦產(chǎn)品的整體架構(gòu)及工程實(shí)現(xiàn) 430

26.3.1　個(gè)性化推薦 432

26.3.2　相似視頻推薦 435

26.3.3　主題推薦 437

26.4　個(gè)性化推薦的召回與排序策略 438

26.4.1　召回策略 438

26.4.2　排序策略 439

26.4.3　電視貓個(gè)性化推薦實(shí)時(shí)更新策略 440

26.5　冷啟動(dòng)策略 442

26.6　未來優(yōu)化方向 442

26.6.1　增加模型排序模塊 442

26.6.2　對(duì)重復(fù)的節(jié)目做過濾 442

26.6.3　整合用戶負(fù)反饋 443

26.6.4　針對(duì)標(biāo)簽的優(yōu)化 443

26.7　本章小結(jié) 443

第27章　基于Erlang語言的視頻相似推薦 445

27.1　視頻相似推薦系統(tǒng)簡(jiǎn)介 445

27.2　相似推薦算法原理及實(shí)現(xiàn)細(xì)節(jié) 447

27.2.1　年代 447

27.2.2　標(biāo)題 448

27.2.3　地域 448

27.2.4　豆瓣評(píng)分 449

27.2.5　是否獲獎(jiǎng) 449

27.3　實(shí)現(xiàn)視頻相似推薦系統(tǒng)的問題與難點(diǎn) 449

27.3.1　數(shù)據(jù)量大，增速快 449

27.3.2　需要實(shí)時(shí)計(jì)算 450

27.3.3　計(jì)算與某個(gè)視頻相似的視頻需要遍歷所有視頻 450

27.3.4　需要更新已經(jīng)計(jì)算視頻的相似度 450

27.4　為什么要用Erlang語言開發(fā) 450

27.4.1　Erlang語言簡(jiǎn)介 450

27.4.2　Erlang語言的特性 451

27.4.3　選擇Erlang語言開發(fā)視頻相似推薦系統(tǒng)的原因 452

27.5　系統(tǒng)架構(gòu)與工程實(shí)現(xiàn) 453

27.5.1　Master節(jié)點(diǎn)模塊與功能 454

27.5.2　Slaver主要負(fù)責(zé)計(jì)算任務(wù) 456

27.5.3　Riak集群負(fù)責(zé)終相似推薦結(jié)果的存儲(chǔ) 457

27.5.4　響應(yīng)請(qǐng)求模塊會(huì)基于用戶請(qǐng)求給出推薦結(jié)果 457

27.6　相似推薦的核心亮點(diǎn) 458

27.7　未來的優(yōu)化方向 459

27.8　本章小結(jié) 460

附錄A　推薦算法工程師的成長(zhǎng)之道 461

附錄B　推薦算法團(tuán)隊(duì)組成及目標(biāo)定位 471