第1章 大數(shù)據(jù)概論

1.1 大數(shù)據(jù)技術(shù)簡(jiǎn)介

1.1.1 信息技術(shù)的發(fā)展簡(jiǎn)史

1.1.2 大數(shù)據(jù)概述

1.2 大數(shù)據(jù)時(shí)代

1.2.1 大數(shù)據(jù)的產(chǎn)生和作用

1.2.2 大數(shù)據(jù)時(shí)代的10個(gè)重大變化

1.3 大數(shù)據(jù)處理的基本流程

1.3.1 數(shù)據(jù)抽取與集成

1.3.2 數(shù)據(jù)分析

1.3.3 數(shù)據(jù)解釋

1.4 大數(shù)據(jù)開發(fā)涉及到的關(guān)鍵技術(shù)

1.4.1 大數(shù)據(jù)采集技術(shù)

1.4.2 大數(shù)據(jù)預(yù)處理技術(shù)

1.4.3 大數(shù)據(jù)存儲(chǔ)及管理技術(shù)

1.4.4 大數(shù)據(jù)處理

1.4.5 大數(shù)據(jù)分析及挖掘技術(shù)

1.4.6 大數(shù)據(jù)展示技術(shù)

第2章 大數(shù)據(jù)采集技術(shù)概述

2.1 大數(shù)據(jù)分類

2.2 大數(shù)據(jù)采集方法分類

2.3 通過(guò)系統(tǒng)日志采集大數(shù)據(jù)

2.3.1 Flume的基本概念

2.3.2Flume使用方法

2.3.3Flume應(yīng)用案例

2.4 通過(guò)網(wǎng)絡(luò)爬蟲采集大數(shù)據(jù)

2.4.1網(wǎng)絡(luò)爬蟲原理

2.4.2網(wǎng)絡(luò)爬蟲工作流程

2.4.3網(wǎng)絡(luò)爬蟲抓取策略

2.5 Scrapy網(wǎng)絡(luò)爬蟲簡(jiǎn)介

2.5.1.Scrapy架構(gòu)

2.5.2Scrapy安裝與應(yīng)用案例

第3章 大數(shù)據(jù)預(yù)處理架構(gòu)和方法簡(jiǎn)介

3.1大數(shù)據(jù)預(yù)處理整體架構(gòu)

3.1.1數(shù)據(jù)質(zhì)量問(wèn)題分類

3.2大數(shù)據(jù)預(yù)處理方法

3.3大數(shù)據(jù)預(yù)處理之?dāng)?shù)據(jù)清洗

3.3.1遺漏數(shù)據(jù)處理

3.3.2噪聲數(shù)據(jù)處理

3.3.3不一致數(shù)據(jù)處理

3.4大數(shù)據(jù)預(yù)處理之?dāng)?shù)據(jù)集成

3.4.1模式集成問(wèn)題

3.4.2冗余問(wèn)題

3.4.3數(shù)據(jù)值沖突檢測(cè)與消除問(wèn)題

3.5大數(shù)據(jù)預(yù)處理之?dāng)?shù)據(jù)轉(zhuǎn)換

3.5.1平滑處理

3.5.2合計(jì)處理

3.5.3數(shù)據(jù)泛化處理

3.5.4規(guī)格化處理

3.5.5屬性構(gòu)造處理

3.6大數(shù)據(jù)預(yù)處理之?dāng)?shù)據(jù)消減

3.6.1數(shù)據(jù)立方合計(jì)

3.6.2維數(shù)消減

3.6.3數(shù)據(jù)壓縮

3.6.4數(shù)據(jù)塊消減

3.7離散化和數(shù)值概念層次樹簡(jiǎn)介

3.7.1數(shù)值概念層次樹

3.7.2類別概念層次樹

第4章 大數(shù)據(jù)處理技術(shù)

4.1分布式計(jì)算

4.2服務(wù)器集群

4.3大數(shù)據(jù)的技術(shù)基礎(chǔ)

4.4GFS、MapReduce和BigTable：Google的三種大數(shù)據(jù)處理系統(tǒng)

4.4.1GFS 90

4.4.2MapReduce

4.4.3BigTable

第5章 Hadoop大數(shù)據(jù)處理框架簡(jiǎn)介

5.1Hadoop系統(tǒng)簡(jiǎn)介

5.1.1Hadoop生態(tài)圈

5.1.2Hadoop版本演進(jìn)

5.1.3Hadoop發(fā)行版本

5.2HadoopHDFS分布式文件

5.2.1HDFS基本原理和設(shè)計(jì)理念

5.2.2HDFS架構(gòu)和實(shí)現(xiàn)機(jī)制簡(jiǎn)介

5.2.3HDFS讀取和寫入數(shù)據(jù)簡(jiǎn)介

5.3HDFS兩種操作方式：命令行和JavaAPI

5.3.1HDFS常用命令

5.3.2HDFS的Web界面

5.3.3HDFS的JavaAPI

第6章 NoSQL非關(guān)系型數(shù)據(jù)庫(kù)簡(jiǎn)介

6.1NoSQL概述

6.1.1NoSQL的起因

6.1.2NoSQL的特點(diǎn)

6.1.3NoSQL數(shù)據(jù)庫(kù)面臨的挑戰(zhàn)

6.2NoSQL數(shù)據(jù)庫(kù)類型簡(jiǎn)介

6.2.1鍵值數(shù)據(jù)庫(kù)

6.2.2列式數(shù)據(jù)庫(kù)

6.2.3文檔數(shù)據(jù)庫(kù)

6.4.4圖形數(shù)據(jù)庫(kù)

第7章 HadoopHBase數(shù)據(jù)庫(kù)簡(jiǎn)介

7.1HBase列式數(shù)據(jù)模型簡(jiǎn)介

7.1.1數(shù)據(jù)模型概述

7.1.2數(shù)據(jù)模型的基本概念

7.1.3概念視圖

7.1.4物理視圖

7.2HBaseShell常用命令和基本操作

7.2.1般操作

7.2.2DDL操作

7.2.3DML操作

7.2.4HBase表實(shí)例

7.3HBase的物理存儲(chǔ)和邏輯架構(gòu)

7.3.1HBase的物理存儲(chǔ)

7.3.2HBase的邏輯架構(gòu)

7.4HBase常用JavaAPI

7.4.1HBase的常用JavaAPI

7.5HBaseJavaAPI編程實(shí)例

7.5.1建立連接和關(guān)閉連接

7.5.2創(chuàng)建表

第8章 HadoopMapReduce簡(jiǎn)介

8.1批處理模式

8.1.1MapReduce簡(jiǎn)釋

8.2MapReduce基本思想

8.2.1.大數(shù)據(jù)處理思想：分而治之

8.2.2構(gòu)建抽象模型：Map函數(shù)和Reduce函數(shù)

8.2.3Map函數(shù)和Reduce函數(shù)

8.3HadoopMapReduce架構(gòu)

8.4HadoopMapReduce工作流程

8.5MapReduce實(shí)例分析：?jiǎn)卧~計(jì)數(shù)

8.5.1設(shè)計(jì)思路

8.5.2處理過(guò)程

8.6MapReduce執(zhí)行流程和Shuffle過(guò)程

8.6.1HadoopMapReduce作業(yè)執(zhí)行流程

8.6.2HadoopMapReduce的Shuffle階段

8.6.3HadoopMapReduce的主要特點(diǎn)

8.7MapReduce編程實(shí)例：?jiǎn)卧~計(jì)數(shù)

8.7.1任務(wù)準(zhǔn)備

8.7.2編寫Map程序

8.7.3編寫Reduce程序

8.7.4編寫main函數(shù)

8.7.5核心代碼包

第9章 Spark簡(jiǎn)介

9.1Spark與Hadoop

9.1.1HadoopMapRedcue缺點(diǎn)

9.1.2Spark的優(yōu)勢(shì)

9.1.3Spark的適用場(chǎng)景

9.1.4Spark安裝與環(huán)境配置

9.2SparkRDD

9.2.1RDD的基本概念

9.2.2RDD基本操作

9.2.3RDD血緣關(guān)系

9.2.4RDD依賴類型

9.2.5階段劃分

9.2.6RDD緩存

9.3Spark總體架構(gòu)和運(yùn)行流程

9.3.1Spark總體架構(gòu)

9.3.2Spark運(yùn)行流程

9.4Spark生態(tài)圈簡(jiǎn)介

9.4.1SparkCore

9.4.2SparkStreaming

9.4.3SparkSQL

9.4.4SparkMLlib

9.4.5SparkGraphX

9.5Spark開發(fā)實(shí)例

9.5.1啟動(dòng)SparkShell

9.5.2SparkShell使用

9.5.3編寫Java應(yīng)用程序

9.6SparkStreaming簡(jiǎn)介

9.6.1SparkStreaming的系統(tǒng)架構(gòu)

9.6.2SparkStreaming編程模型

9.6.3SparkDStream相關(guān)操作

9.7SparkStreaming編程實(shí)戰(zhàn)（開發(fā)實(shí)例）

9.7.1流數(shù)據(jù)模擬器

第10章 數(shù)據(jù)挖掘

10.1數(shù)據(jù)挖掘概述

10.1.1什么是數(shù)據(jù)挖掘

10.1.2數(shù)據(jù)挖掘的價(jià)值類型

10.1.3數(shù)據(jù)挖掘算法的類型

10.2 SparkMLlib簡(jiǎn)介

10.2.1SparkMLlib的構(gòu)成

10.2.2SparkMLlib的優(yōu)勢(shì)

10.3數(shù)據(jù)挖掘之分類和預(yù)測(cè)簡(jiǎn)介

10.3.1分類的基本概念

10.3.2預(yù)測(cè)的基本概念

10.4決策樹和樸素貝葉斯算法簡(jiǎn)介

10.4.1決策樹算法

1.決策樹案例

2.決策樹的建立

3.SparkMLlib決策樹算法

4.SparkMLlib決策樹算法實(shí)例

5.決策樹算法優(yōu)缺點(diǎn)

10.5樸素貝葉斯算法

1.貝葉斯公式

2.工作原理

3.SparkMLlib樸素貝葉斯算法

4.SparkMLlib樸素貝葉斯算法實(shí)例

5.算法優(yōu)缺點(diǎn)

10.6回歸分析預(yù)測(cè)技術(shù)簡(jiǎn)介

1.線性回歸

2.SparkMLlib的SGD線性回歸算法

3.SparkMLlib的SGD線性回歸算法實(shí)例

4.邏輯回歸

10.7聚類分析

10.7.1基本概念

10.7.2聚類分析方法的類別

1.基于劃分的聚類方法

2.基于層次的聚類方法

3.基于密度的聚類方法

4.基于網(wǎng)格的聚類方法

5.基于模型的聚類方法

10.8k-means聚類算法簡(jiǎn)介

1.基本思想

2.SparkMLlib中的k-means算法

3.MLlib中的k-means算法實(shí)例

4.算法優(yōu)缺點(diǎn)

10.9DBSCAN聚類算法簡(jiǎn)介

1.基本概念

2.算法描述

3.算法實(shí)例

4.DBSCAN算法算法優(yōu)缺點(diǎn)

10.10數(shù)據(jù)挖掘之關(guān)聯(lián)規(guī)則分析簡(jiǎn)介

10.10.1概述

10.10.2基本概念

10.10.3關(guān)聯(lián)分析步驟

2.發(fā)現(xiàn)關(guān)聯(lián)規(guī)則

10.11Apriori算法和FP-Tree算法簡(jiǎn)介

10.11.1Apriori關(guān)聯(lián)分析算法

1.Apriori算法

2.由頻繁項(xiàng)集產(chǎn)生關(guān)聯(lián)規(guī)則

3.算法優(yōu)缺點(diǎn)

10.11.2FP-Tree關(guān)聯(lián)分析算法

1.FPTree的構(gòu)造

2.FP-Tree的挖掘

3.MLlib的FP-Growth算法實(shí)例

第11章 基于大數(shù)據(jù)的精準(zhǔn)營(yíng)銷

11.1精準(zhǔn)營(yíng)銷概述

11.2大數(shù)據(jù)精準(zhǔn)營(yíng)銷過(guò)程

1. 助力客戶信息收集與處理

2. 客戶細(xì)分與市場(chǎng)定位

3. 輔助營(yíng)銷決策與營(yíng)銷戰(zhàn)略設(shè)計(jì)

4. 精準(zhǔn)的營(yíng)銷服務(wù)

5. 營(yíng)銷方案設(shè)計(jì)

6. 營(yíng)銷結(jié)果反饋

11.3大數(shù)據(jù)精準(zhǔn)營(yíng)銷方式

1. 實(shí)時(shí)競(jìng)價(jià)（RTB）

2. 交叉銷售

3. 點(diǎn)告

4. 窄告

5. 定向廣告推送

第12章 基于大數(shù)據(jù)的個(gè)性化推薦系統(tǒng)

12.1推薦系統(tǒng)概述

12.2推薦機(jī)制

1. 基于人口統(tǒng)計(jì)學(xué)的推薦

2. 基于內(nèi)容的推薦

3. 基于協(xié)同過(guò)濾的推薦

4. 混合推薦機(jī)制

12.3推薦系統(tǒng)的應(yīng)用

12.3.1推薦在電子商務(wù)中的應(yīng)用：Amazon

12.3.2推薦在社交網(wǎng)站中的應(yīng)用：豆瓣

第13章 大數(shù)據(jù)預(yù)測(cè)

13.1預(yù)測(cè)是大數(shù)據(jù)的核心價(jià)值

13.2大數(shù)據(jù)預(yù)測(cè)的思維改變

1. 實(shí)樣而非抽樣

2. 效率而非精確

3. 相關(guān)性而非因果關(guān)系

13.3大數(shù)據(jù)預(yù)測(cè)的典型應(yīng)用領(lǐng)域

1. 天氣預(yù)報(bào)

2. 體育賽事預(yù)測(cè)

3. 股票市場(chǎng)預(yù)測(cè)

4. 市場(chǎng)物價(jià)預(yù)測(cè)

5. 用戶行為預(yù)測(cè)

6. 人體健康預(yù)測(cè)

7. 疾病疫情預(yù)測(cè)

8. 災(zāi)害災(zāi)難預(yù)測(cè)

9. 環(huán)境變遷預(yù)測(cè)

10. 交通行為預(yù)測(cè)

11. 能源消耗預(yù)測(cè)

第14章 大數(shù)據(jù)在金融行業(yè)的應(yīng)用

14.1大數(shù)據(jù)可以應(yīng)用的行業(yè)

1. 互聯(lián)網(wǎng)和營(yíng)銷行業(yè)。

2. 信息化水平比較高的行業(yè)。

3. 政府及公用事業(yè)行業(yè)。

4. 制造業(yè)、物流、醫(yī)療、農(nóng)業(yè)等行業(yè)。

14.2銀行大數(shù)據(jù)應(yīng)用場(chǎng)景

1. 客戶畫像

2. 精準(zhǔn)營(yíng)銷

3. 風(fēng)險(xiǎn)管控

4. 運(yùn)營(yíng)優(yōu)化

14.3證券行業(yè)數(shù)據(jù)應(yīng)用場(chǎng)景

1. 股價(jià)預(yù)測(cè)

2. 客戶關(guān)系管理

3. 投資景氣指數(shù)預(yù)測(cè)

14.4保險(xiǎn)行業(yè)數(shù)據(jù)應(yīng)用場(chǎng)景

1．客戶細(xì)分和精細(xì)化營(yíng)銷

2．欺詐行為分析

3．精細(xì)化運(yùn)營(yíng)

第15章 大數(shù)據(jù)在互聯(lián)網(wǎng)行業(yè)的應(yīng)用

15.1精準(zhǔn)營(yíng)銷

15.2.個(gè)性化服務(wù)

15.3商品個(gè)性化推薦

1. 電子商務(wù)網(wǎng)站

2. 電影視頻網(wǎng)站

3. 網(wǎng)絡(luò)電臺(tái)

4. 社交網(wǎng)絡(luò)

5. 其他應(yīng)用

第16章 大數(shù)據(jù)在物流行業(yè)的應(yīng)用

16.1物流大數(shù)據(jù)的作用

1. 提高物流的智能化水平

2. 降低物流成本

3. 提高用戶服務(wù)水平

16.2物流大數(shù)據(jù)應(yīng)用案例

1. 車貨匹配

2. 運(yùn)輸路線優(yōu)化

3. 庫(kù)存預(yù)測(cè)

4. 設(shè)備修理預(yù)測(cè)

5. 供應(yīng)鏈協(xié)同管理

16.3Amazon物流大數(shù)據(jù)應(yīng)用

1. 訂單與客戶服務(wù)中的大數(shù)據(jù)應(yīng)用

2. 智能入庫(kù)管理技術(shù)

3. 智能揀貨和智能算法

16．4國(guó)際物流大數(shù)據(jù)應(yīng)用

1. DHL

2. FedEx

3. FleetBoard

4. ConWayFreight

5. C.H.Robinson

6. FRA

16.5大數(shù)據(jù)的其他應(yīng)用領(lǐng)域

1.大數(shù)據(jù)幫助企業(yè)挖掘市場(chǎng)機(jī)會(huì)，探尋細(xì)分市場(chǎng)

2.大數(shù)據(jù)提高決策能力

3.大數(shù)據(jù)創(chuàng)新企業(yè)管理模式，挖掘管理潛力

4.大數(shù)據(jù)變革商業(yè)模式，催生產(chǎn)品和服務(wù)的創(chuàng)新

第17章 大數(shù)據(jù)治理

17.1大數(shù)據(jù)治理的策略

1. 大數(shù)據(jù)治理的理解

2.在大數(shù)據(jù)治理的過(guò)程，應(yīng)該遵循以下規(guī)則。

3.大數(shù)據(jù)治理存在的誤區(qū)

17.2元數(shù)據(jù)與主數(shù)據(jù)管理

1. 元數(shù)據(jù)

2. 主數(shù)據(jù)

3. 主數(shù)據(jù)和元數(shù)據(jù)的關(guān)系

4. 元數(shù)據(jù)管理，是數(shù)據(jù)治理的核心和基礎(chǔ)

17.3數(shù)據(jù)質(zhì)量管理

1. 數(shù)據(jù)質(zhì)量管理的目標(biāo)

2. 數(shù)據(jù)質(zhì)量問(wèn)題產(chǎn)生的根源

3. 數(shù)據(jù)質(zhì)量評(píng)估的標(biāo)準(zhǔn)

4. 數(shù)據(jù)質(zhì)量管理的流程

5. 數(shù)據(jù)質(zhì)量管理的取與舍

17.4數(shù)據(jù)標(biāo)準(zhǔn)管理

1. 大數(shù)據(jù)標(biāo)準(zhǔn)體系

2. 關(guān)于數(shù)據(jù)標(biāo)準(zhǔn)認(rèn)識(shí)的幾個(gè)誤區(qū)

3. 數(shù)據(jù)標(biāo)準(zhǔn)的定義

4. 如何制定數(shù)據(jù)標(biāo)準(zhǔn)

5. 數(shù)據(jù)標(biāo)準(zhǔn)化的難題

6. 如何應(yīng)對(duì)這些難題

7. 數(shù)據(jù)標(biāo)準(zhǔn)、主數(shù)據(jù)、元數(shù)據(jù)間的關(guān)系

17.5數(shù)據(jù)資產(chǎn)管理

1. 數(shù)據(jù)資產(chǎn)與數(shù)據(jù)資產(chǎn)管理的定義

2. 數(shù)據(jù)資產(chǎn)管理的現(xiàn)狀和挑戰(zhàn)

3. 數(shù)據(jù)資產(chǎn)管理的目標(biāo)

4. 數(shù)據(jù)資產(chǎn)管理與數(shù)據(jù)治理的關(guān)系

17.6大數(shù)據(jù)治理發(fā)展之路

1. 零散化存放是數(shù)據(jù)問(wèn)題根源

2. 大數(shù)據(jù)治理帶來(lái)全面解決之道

3. 大數(shù)據(jù)治理的商業(yè)價(jià)值

4. 高質(zhì)量數(shù)據(jù)是企業(yè)業(yè)務(wù)創(chuàng)新、管理決策的基礎(chǔ)。

5. 標(biāo)準(zhǔn)化的數(shù)據(jù)是優(yōu)化商業(yè)模式、指導(dǎo)生產(chǎn)經(jīng)營(yíng)的前提

6. 多角度、全方位的數(shù)據(jù)是開展市場(chǎng)營(yíng)銷、爭(zhēng)奪客戶資源的關(guān)鍵

17.7大數(shù)據(jù)治理的五個(gè)核心要素

17.8自服務(wù)大數(shù)據(jù)治理是解決問(wèn)題之道

1. 建好數(shù)據(jù)管理體系，快速識(shí)別數(shù)據(jù)

2. 建立數(shù)據(jù)治理體系，監(jiān)控并快速發(fā)現(xiàn)問(wèn)題

3. 建立數(shù)據(jù)應(yīng)用體系，共享和高效使用數(shù)據(jù)

17.9大數(shù)據(jù)治理技術(shù)需要不斷革新

1. 管起來(lái)：數(shù)據(jù)資產(chǎn)的自動(dòng)化采集、存儲(chǔ)技術(shù)

2. 有保障：數(shù)據(jù)質(zhì)量探查和提升技術(shù)

3. 用起來(lái)：自助化數(shù)據(jù)服務(wù)構(gòu)建技術(shù)

17.9如何選擇合適的大數(shù)據(jù)治理工具

1. 大數(shù)據(jù)治理的核心元數(shù)據(jù)管理工具

2. 大數(shù)據(jù)治理的實(shí)踐自助化數(shù)據(jù)服務(wù)平臺(tái)

17.10大數(shù)據(jù)治理在人工智能的作用

1. 數(shù)據(jù)治理

2. 數(shù)據(jù)建模

3. 數(shù)據(jù)采集

4. 數(shù)據(jù)匯聚

5. 分析配置

6. 數(shù)據(jù)展現(xiàn)

7. 建設(shè)意見

17.11區(qū)塊鏈和AI如何幫助主數(shù)據(jù)管理

1. 主數(shù)據(jù)管理的重要性

2. AI在主數(shù)據(jù)管理中的作用

3. 區(qū)塊鏈在保護(hù)主數(shù)據(jù)管理方面的作用