|
關(guān)于我們
 書單推薦 新書推薦 |
Alink權(quán)威指南：基于Flink的機(jī)器學(xué)習(xí)實(shí)例入門（Python） 
定 價(jià)：149 元
9 7 4 8 3 7 1 1 2 2 8 1 9 讀者對(duì)象:開發(fā)人員 
全書圍繞Alink（阿里在Flink基礎(chǔ)上做的開源版本）的展開，以實(shí)例為主闡述Alink的使用。?以機(jī)器學(xué)習(xí)的知識(shí)架構(gòu)將各個(gè)章節(jié)串聯(lián)起來(lái)，每個(gè)章節(jié)配合實(shí)例，用戶更容易理解和入手嘗試。?數(shù)據(jù)會(huì)采用讀者能免費(fèi)下載的數(shù)據(jù)集，在加上Alink本身是開源的、免費(fèi)的。用戶試用起來(lái)沒有成本。?實(shí)例實(shí)現(xiàn)的源代碼，準(zhǔn)備放在Alink開源git上，大家容易看到，可以直接下載，代碼旁邊會(huì)有實(shí)體書的介紹?以機(jī)器學(xué)習(xí)的知識(shí)架構(gòu)將各個(gè)章節(jié)串聯(lián)起來(lái)，每個(gè)章節(jié)配合實(shí)例，用戶更容易理解和入手嘗試。?數(shù)據(jù)會(huì)采用讀者能免費(fèi)下載的數(shù)據(jù)集，在加上Alink本身是開源的、免費(fèi)的。用戶試用起來(lái)沒有成本。?實(shí)例實(shí)現(xiàn)的源代碼，準(zhǔn)備放在Alink開源git上，大家容易看到，可以直接下載，代碼旁邊會(huì)有實(shí)體書的介紹
2004年獲南開大學(xué)數(shù)學(xué)博士學(xué)位；隨后在南開大學(xué)信息學(xué)院從事博士后研究工作；2006年加入微軟亞洲研究院，進(jìn)行符號(hào)計(jì)算、大規(guī)模矩陣計(jì)算及機(jī)器學(xué)習(xí)算法研究；2010年加入阿里巴巴，從事大數(shù)據(jù)相關(guān)的統(tǒng)計(jì)和機(jī)器學(xué)習(xí)算法研發(fā)。著有《重構(gòu)大數(shù)據(jù)統(tǒng)計(jì)》《機(jī)器學(xué)習(xí)在線》等。
目 錄
VII 目 錄 第1章 Alink快速上手 ...................................................................................................... 1 1.1 Alink是什么 ..............................................................................................................1 1.2 免費(fèi)下載、安裝 ........................................................................................................2 1.3 Alink的功能 ..............................................................................................................2 1.3.1 豐富的算法庫(kù) ................................................................................................2 1.3.2 多樣的使用體驗(yàn) ............................................................................................3 1.3.3 與SparkML的對(duì)比 .......................................................................................4 1.4 關(guān)于數(shù)據(jù)和代碼 ........................................................................................................5 1.5 簡(jiǎn)單示例 ....................................................................................................................6 1.5.1 數(shù)據(jù)的讀/寫與顯示 .......................................................................................6 1.5.2 批式訓(xùn)練和批式預(yù)測(cè) ....................................................................................7 1.5.3 流式處理和流式預(yù)測(cè) ..................................................................................10 1.5.4 定義Pipeline，簡(jiǎn)化操作 ............................................................................ 11 1.5.5 嵌入預(yù)測(cè)服務(wù)系統(tǒng) ......................................................................................13 第2章 系統(tǒng)概況與核心概念 .......................................................................................... 15 2.1 基本概念 ..................................................................................................................15 2.2 批式任務(wù)與流式任務(wù) ..............................................................................................16 Alink 權(quán)威指南：基于 Flink 的機(jī)器學(xué)習(xí)實(shí)例入門（Python） VIII 2.3 Alink=A+link ...........................................................................................................19 2.3.1 BatchOperator和StreamOperator ...............................................................20 2.3.2 link方式是批式算法/流式算法的通用使用方式 ......................................21 2.3.3 link的簡(jiǎn)化 ...................................................................................................24 2.3.4 組件的主輸出與側(cè)輸出 ..............................................................................25 2.4 Pipeline與PipelineModel .......................................................................................25 2.4.1 概念和定義 ..................................................................................................25 2.4.2 深入介紹 ......................................................................................................27 2.5 觸發(fā)Alink任務(wù)的執(zhí)行 ...........................................................................................29 2.6 模型信息顯示 ..........................................................................................................31 2.7 文件系統(tǒng)與數(shù)據(jù)庫(kù) ..................................................................................................35 2.8 Schema String ..........................................................................................................37 第3章 文件系統(tǒng)與數(shù)據(jù)文件 .......................................................................................... 39 3.1 文件系統(tǒng)簡(jiǎn)介 ..........................................................................................................39 3.1.1 本地文件系統(tǒng) ..............................................................................................40 3.1.2 Hadoop文件系統(tǒng) .........................................................................................42 3.1.3 阿里云OSS文件系統(tǒng) .................................................................................44 3.2 數(shù)據(jù)文件的讀入與導(dǎo)出 ..........................................................................................46 3.2.1 CSV格式 .....................................................................................................47 3.2.2 TSV格式、LibSVM格式和Text格式 ......................................................54 3.2.3 AK格式 .......................................................................................................58 第4章 數(shù)據(jù)庫(kù)與數(shù)據(jù)表 .................................................................................................. 61 4.1 簡(jiǎn)介 ..........................................................................................................................61 4.1.1 Catalog的基本操作 .....................................................................................61 4.1.2 Source組件和Sink組件 .............................................................................62 4.2 Hive示例 .................................................................................................................63 4.3 Derby示例 ...............................................................................................................66 4.4 MySQL示例 ............................................................................................................68 目 錄 IX 第5章 支持Flink SQL ................................................................................................... 70 5.1 基本操作 ..................................................................................................................70 5.1.1 注冊(cè) ..............................................................................................................70 5.1.2 運(yùn)行 ..............................................................................................................71 5.1.3 內(nèi)置函數(shù) ......................................................................................................74 5.1.4 用戶定義函數(shù) ..............................................................................................74 5.2 簡(jiǎn)化操作 ..................................................................................................................75 5.2.1 單表操作 ......................................................................................................76 5.2.2 兩表的連接（JOIN）操作 ..........................................................................80 5.2.3 兩表的集合操作 ..........................................................................................82 第6章 用戶定義函數(shù)（UDF/UDTF） ............................................................................ 87 6.1 用戶定義標(biāo)量函數(shù)（UDF） ..................................................................................87 6.1.1 示例數(shù)據(jù)及問題 ..........................................................................................88 6.1.2 UDF的定義 .................................................................................................88 6.1.3 使用UDF處理批式數(shù)據(jù) ............................................................................89 6.1.4 使用UDF處理流式數(shù)據(jù) ............................................................................90 6.2 用戶定義表值函數(shù)（UDTF） ...............................................................................92 6.2.1 示例數(shù)據(jù)及問題 ..........................................................................................92 6.2.2 UDTF的定義 ...............................................................................................92 6.2.3 使用UDTF處理批式數(shù)據(jù) ..........................................................................93 6.2.4 使用UDTF處理流式數(shù)據(jù) ..........................................................................95 第7章 基本數(shù)據(jù)處理 ..................................................................................................... 98 7.1 采樣 ..........................................................................................................................98 7.1.1 取“前”N個(gè)數(shù)據(jù) .......................................................................................99 7.1.2 隨機(jī)采樣 ......................................................................................................99 7.1.3 加權(quán)采樣 .................................................................................................... 102 7.1.4 分層采樣 .................................................................................................... 103 7.2 數(shù)據(jù)劃分 ................................................................................................................ 104 Alink 權(quán)威指南：基于 Flink 的機(jī)器學(xué)習(xí)實(shí)例入門（Python） X 7.3 數(shù)值尺度變換 ........................................................................................................ 106 7.3.1 標(biāo)準(zhǔn)化 ........................................................................................................ 106 7.3.2 MinMaxScale.............................................................................................. 108 7.3.3 MaxAbsScale .............................................................................................. 109 7.4 向量的尺度變換 .................................................................................................... 111 7.4.1 StandardScale、MinMaxScale、MaxAbsScale......................................... 111 7.4.2 正則化 ........................................................................................................ 113 7.5 缺失值填充 ............................................................................................................ 114 7.6 Python數(shù)組、DataFrame形式的數(shù)據(jù)和Alink批式數(shù)據(jù)之間的相互轉(zhuǎn)換 ...... 116 7.6.1 Python數(shù)組與DataFrame形式的數(shù)據(jù)之間的相互轉(zhuǎn)換 ........................ 116 7.6.2 將Alink批式數(shù)據(jù)轉(zhuǎn)換為DataFrame形式的數(shù)據(jù) .................................. 117 7.6.3 將DataFrame形式的數(shù)據(jù)轉(zhuǎn)換為Alink批式數(shù)據(jù) .................................. 118 第8章 線性二分類模型 ................................................................................................ 119 8.1 線性模型的基礎(chǔ)知識(shí) ............................................................................................ 119 8.1.1 損失函數(shù) .................................................................................................... 119 8.1.2 經(jīng)驗(yàn)風(fēng)險(xiǎn)函數(shù)與結(jié)構(gòu)風(fēng)險(xiǎn)函數(shù) ................................................................ 121 8.1.3 線性模型與損失函數(shù) ................................................................................ 122 8.1.4 邏輯回歸與線性支持向量機(jī)（Linear SVM） ........................................ 123 8.2 二分類評(píng)估方法 .................................................................................................... 125 8.2.1 基本指標(biāo) .................................................................................................... 126 8.2.2 綜合指標(biāo) .................................................................................................... 128 8.2.3 評(píng)估曲線 .................................................................................................... 131 8.3 數(shù)據(jù)探索 ................................................................................................................ 136 8.3.1 基本統(tǒng)計(jì) .................................................................................................... 138 8.3.2 相關(guān)性 ........................................................................................................ 140 8.4 訓(xùn)練集和測(cè)試集 .................................................................................................... 144 8.5 邏輯回歸模型 ........................................................................................................ 145 8.6 線性SVM模型 ..................................................................................................... 147 8.7 模型評(píng)估 ................................................................................................................ 149 8.8 特征的多項(xiàng)式擴(kuò)展 ................................................................................................ 154 目 錄 XI 8.9 因子分解機(jī) ............................................................................................................ 157 第9章 樸素貝葉斯模型與決策樹模型 .......................................................................... 160 9.1 樸素貝葉斯模型 .................................................................................................... 160 9.2 決策樹模型 ............................................................................................................ 162 9.2.1 決策樹的分裂指標(biāo)定義 ............................................................................ 165 9.2.2 常用的決策樹算法 .................................................................................... 167 9.2.3 指標(biāo)計(jì)算示例 ............................................................................................ 170 9.2.4 分類樹與回歸樹 ........................................................................................ 173 9.2.5 經(jīng)典的決策樹示例 .................................................................................... 173 9.3 數(shù)據(jù)探索 ................................................................................................................ 176 9.4 使用樸素貝葉斯方法 ............................................................................................ 180 9.5 蘑菇分類的決策樹 ................................................................................................ 186 第10章 特征的轉(zhuǎn)化 ..................................................................................................... 192 10.1 整體流程 .............................................................................................................. 196 10.1.1 特征啞元化 .............................................................................................. 198 10.1.2 特征的重要性 .......................................................................................... 199 10.2 減少模型特征的個(gè)數(shù) .......................................................................................... 201 10.3 離散特征轉(zhuǎn)化 ...................................................................................................... 203 10.3.1 獨(dú)熱編碼 .................................................................................................. 203 10.3.2 特征哈希 .................................................................................................. 205 第11章 構(gòu)造新特征 ..................................................................................................... 208 11.1 數(shù)據(jù)探索 .............................................................................................................. 209 11.2 思路 ...................................................................................................................... 211 11.2.1 用戶和品牌的各種特征 .......................................................................... 212 11.2.2 二分類模型訓(xùn)練 ...................................................................................... 214 11.3 計(jì)算訓(xùn)練集 .......................................................................................................... 214 11.3.1 原始數(shù)據(jù)劃分 .......................................................................................... 214 Alink 權(quán)威指南：基于 Flink 的機(jī)器學(xué)習(xí)實(shí)例入門（Python） XII 11.3.2 計(jì)算特征 .................................................................................................. 216 11.3.3 計(jì)算標(biāo)簽 .................................................................................................. 223 11.4 正負(fù)樣本配比 ...................................................................................................... 225 11.5 決策樹 .................................................................................................................. 228 11.6 集成學(xué)習(xí) .............................................................................................................. 229 11.6.1 Bootstrap aggregating ............................................................................... 229 11.6.2 Boosting .................................................................................................... 230 11.6.3 隨機(jī)森林與GBDT .................................................................................. 233 11.7 使用隨機(jī)森林算法 .............................................................................................. 234 11.8 使用GBDT算法 ................................................................................................. 235 第12章 從二分類到多分類 .......................................................................................... 237 12.1 多分類模型的評(píng)估方法 ...................................................................................... 237 12.1.1 綜合指標(biāo) .................................................................................................. 239 12.1.2 關(guān)于每個(gè)標(biāo)簽值的二分類指標(biāo) .............................................................. 241 12.1.3 Micro、Macro、Weighted計(jì)算的指標(biāo) .................................................. 241 12.2 數(shù)據(jù)探索 .............................................................................................................. 244 12.3 使用樸素貝葉斯算法進(jìn)行多分類 ...................................................................... 246 12.4 二分類器組合 ...................................................................................................... 248 12.5 Softmax算法 ....................................................................................................... 252 12.6 多層感知器分類器 .............................................................................................. 255 第13章 常用的多分類算法 .......................................................................................... 258 13.1 數(shù)據(jù)準(zhǔn)備 .............................................................................................................. 258 13.1.1 讀取MNIST數(shù)據(jù)文件 ............................................................................ 259 13.1.2 稠密向量與稀疏向量 .............................................................................. 260 13.1.3 標(biāo)簽值的統(tǒng)計(jì)信息 .................................................................................. 266 13.2 Softmax算法 ....................................................................................................... 267 13.3 二分類器組合 ...................................................................................................... 269 13.4 多層感知器分類器（MLPC） ........................................................................... 270 13.5 決策樹與隨機(jī)森林 .............................................................................................. 272 目 錄 XIII 13.6 K最近鄰算法 ...................................................................................................... 274 第14章 在線學(xué)習(xí) ........................................................................................................ 277 14.1 整體流程 .............................................................................................................. 277 14.2 數(shù)據(jù)準(zhǔn)備 .............................................................................................................. 279 14.3 特征工程 .............................................................................................................. 281 14.4 使用特征工程處理數(shù)據(jù) ...................................................................................... 282 14.5 在線訓(xùn)練 .............................................................................................................. 284 14.6 模型過濾 .............................................................................................................. 287 第15章 回歸的由來(lái) ..................................................................................................... 289 15.1 平均數(shù) .................................................................................................................. 290 15.2 向平均數(shù)方向的“回歸” .................................................................................. 291 15.3 線性回歸 .............................................................................................................. 293 第16章 常用的回歸算法.............................................................................................. 296 16.1 回歸模型的評(píng)估指標(biāo) .......................................................................................... 296 16.2 數(shù)據(jù)探索 .............................................................................................................. 298 16.3 線性回歸 .............................................................................................................. 301 16.4 決策樹與隨機(jī)森林 .............................................................................................. 304 16.5 GBDT ................................................................................................................... 305 第17章 常用的聚類算法.............................................................................................. 307 17.1 聚類評(píng)估指標(biāo) ...................................................................................................... 308 17.1.1 基本評(píng)估指標(biāo) .......................................................................................... 308 17.1.2 基于標(biāo)簽值的評(píng)估指標(biāo) .......................................................................... 310 17.2 K-Means聚類算法 .............................................................................................. 312 17.2.1 算法簡(jiǎn)介 .................................................................................................. 312 17.2.2 K-Means實(shí)例 .......................................................................................... 314 17.3 高斯混合模型算法 .............................................................................................. 318 Alink 權(quán)威指南：基于 Flink 的機(jī)器學(xué)習(xí)實(shí)例入門（Python） XIV 17.3.1 算法介紹 .................................................................................................. 318 17.3.2 GMM實(shí)例 ............................................................................................... 320 17.4 二分K-Means聚類算法 ..................................................................................... 321 17.5 基于經(jīng)緯度的聚類 .............................................................................................. 324 第18章 批式與流式聚類.............................................................................................. 327 18.1 稠密向量與稀疏向量 .......................................................................................... 327 18.2 使用聚類模型預(yù)測(cè)流式數(shù)據(jù) .............................................................................. 329 18.3 流式聚類 .............................................................................................................. 332 第19章 主成分分析 ..................................................................................................... 334 19.1 主成分的含義 ...................................................................................................... 336 19.2 兩種計(jì)算方式 ...................................................................................................... 340 19.3 在聚類方面的應(yīng)用 .............................................................................................. 342 19.4 在分類方面的應(yīng)用 .............................................................................................. 346 第20章 超參數(shù)搜索 ..................................................................................................... 350 20.1 示例一：嘗試正則系數(shù) ...................................................................................... 351 20.2 示例二：搜索GBDT超參數(shù) ............................................................................. 352 20.3 示例三：最佳聚類個(gè)數(shù) ...................................................................................... 353 第21章 文本分析 ........................................................................................................ 355 21.1 數(shù)據(jù)探索 .............................................................................................................. 355 21.2 分詞 ...................................................................................................................... 357 21.2.1 中文分詞 .................................................................................................. 357 21.2.2 Tokenizer和RegexTokenizer .................................................................. 361 21.3 詞頻統(tǒng)計(jì) .............................................................................................................. 365 21.4 單詞的區(qū)分度 ...................................................................................................... 367 21.5 抽取關(guān)鍵詞 .......................................................................................................... 369 21.5.1 原理簡(jiǎn)介 .................................................................................................. 370 目 錄 XV 21.5.2 示例 .......................................................................................................... 371 21.6 文本相似度 .......................................................................................................... 373 21.6.1 文本成對(duì)比較 .......................................................................................... 374 21.6.2 最相似的TopN ........................................................................................ 377 21.7 主題模型 .............................................................................................................. 389 21.7.1 LDA模型 ................................................................................................. 390 21.7.2 新聞的主題模型 ...................................................................................... 392 21.7.3 主題與原始分類的對(duì)比 .......................................................................... 394 21.8 組件使用小結(jié) ...................................................................................................... 399 第22章 單詞向量化 ..................................................................................................... 400 22.1 單詞向量預(yù)訓(xùn)練模型 .......................................................................................... 401 22.1.1 加載模型 .................................................................................................. 401 22.1.2 查找相似的單詞 ...................................................................................... 402 22.1.3 單詞向量 .................................................................................................. 404 22.2 將單詞映射為向量 .............................................................................................. 409 第23章 情感分析 ........................................................................................................ 414 23.1 使用提供的特征 .................................................................................................. 415 23.1.1 使用樸素貝葉斯方法 .............................................................................. 418 23.1.2 使用邏輯回歸算法 .................................................................................. 422 23.2 如何提取特征 ...................................................................................................... 425 23.3 構(gòu)造更多特征 ...................................................................................................... 429 23.4 模型保存與預(yù)測(cè) .................................................................................................. 432 23.4.1 批式/流式預(yù)測(cè)任務(wù) ................................................................................. 432 23.4.2 嵌入式預(yù)測(cè) .............................................................................................. 433 第24章 構(gòu)建推薦系統(tǒng) ................................................................................................. 435 24.1 與推薦相關(guān)的組件介紹 ...................................................................................... 436 24.2 常用的推薦算法 .................................................................................................. 439 Alink 權(quán)威指南：基于 Flink 的機(jī)器學(xué)習(xí)實(shí)例入門（Python） XVI 24.2.1 協(xié)同過濾 .................................................................................................. 439 24.2.2 交替最小二乘法 ...................................................................................... 440 24.3 數(shù)據(jù)探索 .............................................................................................................. 441 24.4 評(píng)分預(yù)測(cè) .............................................................................................................. 446 24.5 根據(jù)用戶推薦影片 .............................................................................................. 448 24.6 計(jì)算相似影片 ...................................................................................................... 453 24.7 根據(jù)影片推薦用戶 .............................................................................................. 456 24.8 計(jì)算相似用戶 ...................................................................................................... 458
你還可能感興趣
我要評(píng)論
|
