本書(shū)以項(xiàng)目任務(wù)為載體串聯(lián)知識(shí)與技能，介紹基于 Spark SQL 技術(shù)的大數(shù)據(jù)分析方法，培養(yǎng) 學(xué)習(xí)者使用 Spark SQL 技術(shù)解決實(shí)際數(shù)據(jù)分析問(wèn)題的能力，主要內(nèi)容有大數(shù)據(jù)分析概述、實(shí)踐環(huán) 境準(zhǔn)備、學(xué)生信息處理分析、房產(chǎn)大數(shù)據(jù)分析與探索、電商大數(shù)據(jù)分析與探索、Zepplin 數(shù)據(jù)可視 化。在實(shí)現(xiàn)任務(wù)的過(guò)程中詳細(xì)闡述了 Scala 語(yǔ)言基礎(chǔ)、Spark SQL 編程分析、Spark SQL 數(shù)據(jù)分 析與探索、數(shù)據(jù)可視化等知識(shí)。本書(shū)適合作為高等職業(yè)院校計(jì)算機(jī)、大數(shù)據(jù)、人工智能及相關(guān)專(zhuān)業(yè)的教材或參考書(shū)，也可以 作為數(shù)據(jù)分析人員的參考書(shū)。

許慧（1991.10—），女，浙江大學(xué)空天信息技術(shù)碩士，衢州職業(yè)技術(shù)學(xué)院專(zhuān)職教師，從事大數(shù)據(jù)技術(shù)教學(xué)和科研工作。2022年主持"浙江省高等學(xué)校課程思政示范課程項(xiàng)目”《大數(shù)據(jù)集群環(huán)境搭建實(shí)訓(xùn)》課程建設(shè)項(xiàng)目。主持"衢州職業(yè)技術(shù)學(xué)院課程思政示范課程項(xiàng)目”《大數(shù)據(jù)挖掘與分析》課程建設(shè)。主持2019年衢州市指導(dǎo)性科技計(jì)劃項(xiàng)目"基于大數(shù)據(jù)的衢州電商客戶(hù)數(shù)據(jù)信息安全技術(shù)研究”。

第 1 章 大數(shù)據(jù)分析概述 ..........................................................................................1
任務(wù) 1.1 關(guān)于大數(shù)據(jù)分析............................................................................................. 1
情境導(dǎo)入 ........................................................................................................ 1
學(xué)習(xí)目標(biāo)和要求 ............................................................................................ 1
1.1.1 什么是大數(shù)據(jù)分析 ............................................................................ 2
1.1.2 大數(shù)據(jù)分析工具 ................................................................................ 5
1.1.3 大數(shù)據(jù)分析可視化 ............................................................................ 8
任務(wù) 1.2 認(rèn)識(shí) Spark SQL ............................................................................................. 8
情境導(dǎo)入 ........................................................................................................ 8
學(xué)習(xí)目標(biāo)和要求 ............................................................................................ 8
1.2.1 Spark SQL 的背景簡(jiǎn)介 ..................................................................... 9
1.2.2 Spark SQL 的運(yùn)行原理 ................................................................... 10
腦圖小結(jié)......................................................................................................................... 14
章節(jié)練習(xí)......................................................................................................................... 16
第 2 章 實(shí)踐環(huán)境準(zhǔn)備 ...........................................................................................17
任務(wù) 2.1 Hadoop 集群環(huán)境搭建 ................................................................................. 17
情境導(dǎo)入 ...................................................................................................... 17
學(xué)習(xí)目標(biāo)和要求 .......................................................................................... 18
2.1.1 環(huán)境準(zhǔn)備 .......................................................................................... 18
2.1.2 安裝 Hadoop..................................................................................... 35
2.1.3 啟動(dòng) Hadoop 集群............................................................................ 45
2.1.4 運(yùn)行經(jīng)典案例 wordcount ................................................................ 48
任務(wù) 2.2 Spark 集群部署與使用 ................................................................................ 50
情境導(dǎo)入 ...................................................................................................... 50
學(xué)習(xí)目標(biāo)和要求 .......................................................................................... 50
2.2.1 安裝 Spark ........................................................................................ 50
2.2.2 啟動(dòng) Spark ........................................................................................ 54
2.2.3 Spark 集群測(cè)試 ................................................................................ 56
任務(wù) 2.3 安裝 Scala ..................................................................................................... 60
情境導(dǎo)入 ...................................................................................................... 60
學(xué)習(xí)目標(biāo)和要求 .......................................................................................... 60
2.3.1 下載 Scala 安裝包............................................................................ 61
2.3.2 Scala 安裝配置................................................................................. 61
腦圖小結(jié)......................................................................................................................... 62
章節(jié)練習(xí)......................................................................................................................... 63
第 3 章 學(xué)生信息處理分析 ....................................................................................65
任務(wù) 3.1 班級(jí)基本情況分析....................................................................................... 66
情境導(dǎo)入 ...................................................................................................... 66
學(xué)習(xí)目標(biāo)和要求 .......................................................................................... 66
3.1.1 學(xué)生所屬班級(jí)和男女生數(shù)量 .......................................................... 67
3.1.2 以班級(jí)為單位整理學(xué)生信息 .......................................................... 84
任務(wù) 3.2 學(xué)生基本情況分析....................................................................................... 96
情境導(dǎo)入 ...................................................................................................... 96
學(xué)習(xí)目標(biāo)和要求 .......................................................................................... 96
3.2.1 學(xué)生特長(zhǎng)情況分析 .......................................................................... 96
3.2.2 學(xué)生成績(jī)情況分析 ........................................................................ 102
腦圖小結(jié)....................................................................................................................... 105
章節(jié)練習(xí)....................................................................................................................... 106
第 4 章 房產(chǎn)大數(shù)據(jù)分析與探索 ...........................................................................108
任務(wù) 4.1 某房產(chǎn)公司銷(xiāo)售人員業(yè)績(jī)分析............................................................... 108
情境導(dǎo)入 .................................................................................................... 108
學(xué)習(xí)目標(biāo)和要求 ........................................................................................ 110
4.1.1 數(shù)據(jù)集處理 .................................................................................... 110
4.1.2 數(shù)據(jù)操作分析 ................................................................................ 116
任務(wù) 4.2 某城市近年房產(chǎn)銷(xiāo)售狀況分析................................................................. 131
情境導(dǎo)入 .................................................................................................... 131
學(xué)習(xí)目標(biāo)和要求 ........................................................................................ 132
4.2.1 數(shù)據(jù)準(zhǔn)備 ........................................................................................ 132
4.2.2 數(shù)據(jù)探索與分析 ............................................................................ 134
4.2.3 總結(jié)分析 ........................................................................................ 139
腦圖小結(jié)....................................................................................................................... 139
章節(jié)練習(xí)....................................................................................................................... 140
第 5 章 電商大數(shù)據(jù)分析與探索 ...........................................................................141
任務(wù) 5.1 “女裝電子商務(wù)評(píng)論”數(shù)據(jù)分析........................................................ 141
情境導(dǎo)入 .................................................................................................... 141
學(xué)習(xí)目標(biāo)和要求 ........................................................................................ 142
5.1.1 數(shù)據(jù)準(zhǔn)備 ..................................................................................... 142
5.1.2 數(shù)據(jù)清洗 ..................................................................................... 152
5.1.3 數(shù)據(jù)轉(zhuǎn)換 ..................................................................................... 157
5.1.4 數(shù)據(jù)分析 ........................................................................................ 162
5.1.5 數(shù)據(jù)輸出 ........................................................................................ 171
任務(wù) 5.2 “在線(xiàn)銷(xiāo)售訂單”數(shù)據(jù)分析..................................................................... 173
情境導(dǎo)入 .................................................................................................... 173
學(xué)習(xí)目標(biāo)和要求 ........................................................................................ 174
5.2.1 數(shù)據(jù)查詢(xún)操作 ................................................................................ 174
5.2.2 數(shù)據(jù)分析探索 ................................................................................ 184
腦圖小結(jié)....................................................................................................................... 191
章節(jié)練習(xí)....................................................................................................................... 192
第 6 章 Zeppelin 數(shù)據(jù)可視化 ............................................................................193
任務(wù) 6.1 Zeppelin 安裝與部署.................................................................................. 193
情境導(dǎo)入 .................................................................................................... 193
學(xué)習(xí)目標(biāo)和要求 ........................................................................................ 193
6.1.1 下載安裝包 .................................................................................... 194
6.1.2 安裝配置 ........................................................................................ 195
6.1.3 測(cè)試運(yùn)行 Zeppelin ......................................................................... 199
任務(wù) 6.2 “女裝電子商務(wù)評(píng)論”數(shù)據(jù)可視化......................................................... 203
情境導(dǎo)入 .................................................................................................... 203
學(xué)習(xí)目標(biāo)和要求 ........................................................................................ 204
6.2.1 加載數(shù)據(jù)注冊(cè)視圖 ........................................................................ 204
6.2.2 執(zhí)行 SQL 數(shù)據(jù)可視化................................................................... 208
任務(wù) 6.3 “在線(xiàn)銷(xiāo)售訂單”數(shù)據(jù)可視化................................................................. 212
情境導(dǎo)入 .................................................................................................... 212
學(xué)習(xí)目標(biāo)和要求 ........................................................................................ 213
執(zhí)行 Spark SQL 數(shù)據(jù)可視化 .................................................................... 213
腦圖小結(jié)....................................................................................................................... 216
章節(jié)練習(xí)....................................................................................................................... 216