第一部分 數(shù)據(jù)科學(xué)并行計算基礎(chǔ)

第1 章 并行計算基礎(chǔ)知識
1.1 什么是并行計算
1.2 并行計算的起源
1.2.1 為什么要進(jìn)行并行計算
1.2.2 如何解決大規(guī)模數(shù)據(jù)對計算能力的需求問題
1.3 有關(guān)并行計算的基本概念
1.3.1 并發(fā)計算、分布式計算的概念
1.3.2 核、集群、中央處理器的概念
1.3.3 集群計算、對等計算、網(wǎng)格計算、云計算和普適計算的概念
1.3.4 并行計算中的常用術(shù)語
1.4 并行計算的性能評價方法
1.5 并行計算的數(shù)據(jù)分解方法及計算模型
1.5.1 分解問題為獨立塊
1.5.2 并行計算模型
習(xí)題

第2 章 大數(shù)據(jù)基礎(chǔ)知識
2.1 大數(shù)據(jù)簡介
2.1.1 什么是大數(shù)據(jù)
2.1.2 大數(shù)據(jù)的3 個V
2.1.3 大數(shù)據(jù)相關(guān)概念和術(shù)語
2.1.4 大數(shù)據(jù)處理系統(tǒng)
2.1.5 Spark 框架的特性
2.1.6 Spark 生態(tài)
2.1.7 Spark 部署方式
2.2 Hadoop 和Spark 基礎(chǔ)知識
2.2.1 什么是Hadoop
2.2.2 Spark 產(chǎn)生的背景
2.2.3 Spark 的優(yōu)點
2.2.4 Spark 的三大概念
2.2.5 為什么要選擇Spark
2.3 在阿里云服務(wù)器安裝和配置Hadoop 和Spark
2.3.1 Hadoop 的安裝和配置
2.3.2 Spark 的安裝和配置
2.4 Linux 基礎(chǔ)知識
2.4.1 Linux Shell 介紹
2.4.2 Linux 常用目錄介紹
2.4.3 Linux 常用命令
2.4.4 vim 基本操作
習(xí)題

第二部分 R 語言并行計算

第3 章 R 語言并行計算核心方法
3.1 并行計算的R 包
3.2 parallel 包并行計算
3.2.1 parallel 包的基礎(chǔ)知識
3.2.2 parallel 包的核心功能
3.2.3 初始化節(jié)點
3.2.4 數(shù)據(jù)分塊
3.3 foreach 包和future 包并行計算
3.3.1 foreach 包
3.3.2 foreach 包和parallel 包的后端
3.3.3 future 包和future.apply 包
3.3.4 調(diào)度和負(fù)載平衡
3.4 隨機(jī)數(shù)和結(jié)果可重復(fù)性
3.4.1 結(jié)果是可重復(fù)的嗎
3.4.2 并行計算中的RNG
3.4.3 foreach 包和future.apply 包中的結(jié)果可重復(fù)性
3.4.4 小結(jié)
習(xí)題

第4 章 使用R 中的sparklyr 包操作
4.1 sparklyr 基礎(chǔ)知識
4.1.1 什么是sparklyr
4.1.2 sparklyr 的安裝與工作流程
4.2 Spark 中的數(shù)據(jù)
4.2.1 向Spark 傳輸數(shù)據(jù)
4.2.2 tibble 與Data Frame
4.2.3 展示Spark 中的數(shù)據(jù)集
4.2.4 compute() 與collect()
4.3 sparklyr 的dplyr 接口
4.3.1 dplyr 接口簡介
4.3.2 選擇目標(biāo)列
4.3.3 篩選行
4.3.4 對行排序
4.3.5 轉(zhuǎn)換或添加列
4.3.6 計算匯總函數(shù)
4.3.7 其他常用功能
4.4 sparklyr 的特征轉(zhuǎn)換接口
4.4.1 dplyr 接口的局限
4.4.2 MLib 接口
4.4.3 Spark DataFrame 接口
4.5 案例：使用MLib 接口進(jìn)行機(jī)器學(xué)習(xí)
4.5.1 MLib 中的機(jī)器學(xué)習(xí)函數(shù)
4.5.2 機(jī)器學(xué)習(xí)案例
習(xí)題

第5 章 R 中的可擴(kuò)展數(shù)據(jù)處理
5.1 R 中的可擴(kuò)展數(shù)據(jù)處理簡介
5.1.1 什么是可伸縮的數(shù)據(jù)處理
5.1.2 使用bigmemory 項目處理“核外”對象
5.1.3 big.matrix 的復(fù)制
5.2 使用大內(nèi)存處理和分析數(shù)據(jù)
5.2.1 bigmemory 軟件包套件
5.2.2 拆分、計算和合并
5.2.3 使用Tidyverse 可視化結(jié)果
5.2.4 bigmemory 的局限性
5.3 使用iotools 處理大型文件
5.3.1 數(shù)據(jù)的分塊處理
5.3.2 初識iotools: 導(dǎo)入數(shù)據(jù)
5.3.3 chunk.apply 的巧妙運用
5.4 案例：抵押貸款數(shù)據(jù)的基礎(chǔ)分析
5.4.1 不同人種的抵押貸款的數(shù)量
5.4.2 數(shù)據(jù)缺失與其他變量的關(guān)系
5.4.3 不同人種貸款數(shù)量的變化趨勢
5.4.4 鄉(xiāng)村與城鎮(zhèn)的貸款變化趨勢
5.4.5 收入與聯(lián)邦擔(dān)保貸款
5.4.6 小結(jié)
習(xí)題

第三部分 Python 語言并行計算

第6 章 使用Python 進(jìn)行Dask并行編程
6.1 Dask 基礎(chǔ)知識
6.1.1 Dask 簡介
6.1.2 Dask 的主要優(yōu)點
6.1.3 安裝Dask
6.2 Dask 對不同數(shù)據(jù)結(jié)構(gòu)的操作
6.2.1 Dask 對Array 的操作
6.2.2 Dask 對DataFrame 的操作
6.2.3 Dask 對Bag 的操作
6.3 在大數(shù)據(jù)集上訓(xùn)練
6.3.1 安裝Python 包
6.3.2 導(dǎo)入包
6.3.3 創(chuàng)建隨機(jī)數(shù)據(jù)集
6.3.4 生成數(shù)據(jù)集
6.3.5 K-means 計算
6.3.6 使用Dask 可視化示例
6.4 并行及分布式機(jī)器學(xué)習(xí)
6.4.1 生成隨機(jī)數(shù)據(jù)
6.4.2 支持向量機(jī)
6.5 分布式部署示例
6.5.1 Dask 分布式簡介
6.5.2 啟動主節(jié)點
6.5.3 啟動工作節(jié)點
6.5.4 運行Dask 分布式示例
習(xí)題

第7 章 PySpark 基礎(chǔ)操作
7.1 PySpark 簡介
7.1.1 PySpark 相關(guān)概念
7.1.2 PySpark 初步操作
7.1.3 Python 中的匿名函數(shù)
7.2 PySpark RDD 相關(guān)編程
7.2.1 什么是RDD
7.2.2 創(chuàng)建RDD 的方法
7.2.3 RDD 的轉(zhuǎn)換操作
7.2.4 RDD 的執(zhí)行操作
7.2.5 創(chuàng)建RDD 對的方法
7.2.6 RDD 對的執(zhí)行操作
7.3 PySpark 的DataFrame
7.3.1 PySpark 數(shù)據(jù)流簡介
7.3.2 SparkSession——DataFrame API 的入口點
7.3.3 在PySpark 中創(chuàng)建數(shù)據(jù)流
7.3.4 DataFrame 的轉(zhuǎn)換操作
7.3.5 DataFrame 的執(zhí)行操作
7.3.6 有條件的DataFrame轉(zhuǎn)換操作
7.3.7 在DataFrame 中實現(xiàn)用戶自定義函數(shù)
7.3.8 與ArrayType 列進(jìn)行交互
7.4 提升DataFrame 操作的性能
7.4.1 提高數(shù)據(jù)導(dǎo)入的性能
7.4.2 集群尺寸建議
7.4.3 查看Spark 執(zhí)行計劃
7.4.4 限制shuffling
7.5 在PySpark 中使用SQL 查詢
7.5.1 DataFrame API vs. SQL查詢
7.5.2 執(zhí)行SQL 語句
7.5.3 DataFrame 連接操作
7.6 案例：房屋售價探索性分析
7.6.1 讀入并檢查數(shù)據(jù)
7.6.2 房屋售價的描述統(tǒng)計量
7.6.3 使用可視化方式查看數(shù)據(jù)
習(xí)題

第8 章 PySpark 特征工程
8.1 數(shù)據(jù)科學(xué)思維簡介
8.2 數(shù)據(jù)清洗
8.2.1 什么是數(shù)據(jù)清洗
8.2.2 使用Spark 進(jìn)行數(shù)據(jù)清洗的優(yōu)勢
8.2.3 使用Spark Schema 驗證數(shù)據(jù)集
8.2.4 使用數(shù)據(jù)管道進(jìn)行轉(zhuǎn)換操作
8.2.5 驗證數(shù)據(jù)的質(zhì)量
8.2.6 使用數(shù)據(jù)框進(jìn)行分析
8.3 單特征預(yù)處理
8.3.1 數(shù)據(jù)標(biāo)準(zhǔn)化
8.3.2 缺失值處理
8.3.3 提取日期特征
8.3.4 二值化和桶化
8.3.5 OneHot 編碼
8.4 多特征預(yù)處理
8.4.1 特征生成
8.4.2 特征提取
8.4.3 文本數(shù)據(jù)特征提取
8.5 案例：航班數(shù)據(jù)預(yù)處理
8.5.1 讀取數(shù)據(jù)
8.5.2 刪除飛機(jī)編號字段
8.5.3 刪除delay 字段的缺失值
8.5.4 創(chuàng)建衍生字段
8.5.5 將輸入字段合并為一個向量
8.5.6 對航空公司字段進(jìn)行OneHot編碼
習(xí)題

第9 章 PySpark 機(jī)器學(xué)習(xí)
9.1 機(jī)器學(xué)習(xí)與Spark
9.2 使用Spark ML 中的分類模型
9.2.1 數(shù)據(jù)集劃分
9.2.2 決策樹
9.2.3 邏輯回歸
9.2.4 分類模型評價
9.2.5 使用集成模型進(jìn)行分類
9.3 使用Spark ML 中的回歸模型
9.3.1 線性回歸模型
9.3.2 隨機(jī)森林回歸
9.3.3 回歸模型評價
9.3.4 通過離散化改進(jìn)模型性能
9.3.5 使用正則化方法防止過擬合
9.4 使用Spark MLlib 進(jìn)行機(jī)器學(xué)習(xí)
9.4.1 PySpark MLlib 概述
9.4.2 協(xié)同過濾
9.4.3 分類
9.4.4 聚類
9.5 模型選擇
9.5.1 管道
9.5.2 交叉驗證
9.5.3 網(wǎng)格尋優(yōu)
習(xí)題