本書為全國(guó)電力行業(yè)十四五規(guī)劃教材。
本書以項(xiàng)目任務(wù)式,培養(yǎng)學(xué)生的Hive數(shù)據(jù)倉(cāng)庫(kù)實(shí)踐能力。本書共分為八個(gè)項(xiàng)目,主要內(nèi)容包括探索Hive開發(fā)環(huán)境、探索Hive數(shù)據(jù)之林、Hive數(shù)據(jù)管理、Hive數(shù)據(jù)智能探索、員工信息管理系統(tǒng)、實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)與壓縮的融合、數(shù)據(jù)智能調(diào)優(yōu)、綜合實(shí)踐智慧電商數(shù)據(jù)分析平臺(tái)等。本書由學(xué)校教師與企業(yè)專家共同編寫,應(yīng)用項(xiàng)目式、理實(shí)一體化教學(xué)、思政教學(xué),引入企業(yè)真實(shí)項(xiàng)目,并包含豐富的學(xué)習(xí)資源。同時(shí)提供豐富的微課視頻、PPT課件、教案、題庫(kù)、項(xiàng)目案例數(shù)據(jù)和代碼。各章力求原理敘述清晰,易于理解,突出理論聯(lián)系實(shí)際,輔以代碼實(shí)踐與指導(dǎo),引領(lǐng)讀者更好地理解與應(yīng)用Hive數(shù)據(jù)倉(cāng)庫(kù)技術(shù),快速邁進(jìn)數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘領(lǐng)域。

本書以項(xiàng)目任務(wù)式,培養(yǎng)學(xué)生的Hive數(shù)據(jù)倉(cāng)庫(kù)實(shí)踐能力。本書由學(xué)校教師與企業(yè)專家共同編寫,應(yīng)用項(xiàng)目式、理實(shí)一體化教學(xué)、思政教學(xué),引入企業(yè)真實(shí)項(xiàng)目,并包含豐富的學(xué)習(xí)資源。同時(shí)提供豐富的微課視頻、PPT課件、教案、題庫(kù)、項(xiàng)目案例數(shù)據(jù)和代碼。各章力求原理敘述清晰,易于理解,突出理論聯(lián)系實(shí)際,輔以代碼實(shí)踐與指導(dǎo),引領(lǐng)讀者更好地理解與應(yīng)用Hive數(shù)據(jù)倉(cāng)庫(kù)技術(shù),快速邁進(jìn)數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘領(lǐng)域。

大數(shù)據(jù)時(shí)代的到來給企業(yè)帶來了前所未有的機(jī)遇和挑戰(zhàn)。在海量數(shù)據(jù)背后,蘊(yùn)藏著巨大的價(jià)值,然而,如何高效地管理、存儲(chǔ)和處理這些海量數(shù)據(jù)成了擺在企業(yè)面前的重要問題。中國(guó)的大數(shù)據(jù)行業(yè)正處于快速增長(zhǎng)和廣泛應(yīng)用的階段。作為全球較大的數(shù)據(jù)生產(chǎn)國(guó)家,中國(guó)擁有豐富多樣的數(shù)據(jù)資源。政府提出了互聯(lián)網(wǎng) 和數(shù)字中國(guó)戰(zhàn)略,積極推動(dòng)大數(shù)據(jù)技術(shù)在各行各業(yè)的應(yīng)用,推動(dòng)數(shù)字經(jīng)濟(jì)的發(fā)展。與此同時(shí),中國(guó)的大數(shù)據(jù)行業(yè)也不斷壯大,產(chǎn)業(yè)鏈日益完善,涉及數(shù)據(jù)采集、存儲(chǔ)、分析和應(yīng)用等多個(gè)環(huán)節(jié)。Hive作為大數(shù)據(jù)領(lǐng)域一種重要的數(shù)據(jù)倉(cāng)庫(kù)解決技術(shù),以其強(qiáng)大的分布式存儲(chǔ)、靈活的數(shù)據(jù)查詢功能和高效的數(shù)據(jù)壓縮優(yōu)化,成為眾多企業(yè)構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)的首選工具。本教材旨在為讀者提供一套實(shí)踐指南,幫助他們理解和應(yīng)用Hive,構(gòu)建高效、可靠的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)。本書是專為應(yīng)用型本科和高職學(xué)生撰寫的實(shí)踐指南,內(nèi)容涵蓋了Hive的核心概念和原理,從Hadoop和Hive的安裝和配置開始、Hive的各數(shù)據(jù)類型定義,到數(shù)據(jù)庫(kù)和表的操作、數(shù)據(jù)的查詢、內(nèi)置函數(shù)的應(yīng)用、數(shù)據(jù)各存儲(chǔ)格式的使用場(chǎng)景和壓縮、數(shù)據(jù)調(diào)優(yōu)和智慧電商數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的搭建,逐步引導(dǎo)學(xué)生掌握Hive的使用方法和技巧,幫助讀者構(gòu)建完整的數(shù)據(jù)倉(cāng)庫(kù)流程。項(xiàng)目一主要訓(xùn)練Hadoop和Hive的環(huán)境搭建能力,共有2個(gè)任務(wù),任務(wù)一通過Hadoop大數(shù)據(jù)開發(fā)環(huán)境搭建實(shí)踐,理解Hadoop的知識(shí),掌握Hadoop完全分布式集群搭建;任務(wù)二通過Hive環(huán)境搭建實(shí)踐,理解數(shù)據(jù)倉(cāng)庫(kù)和Hive概念,掌握根據(jù)需求進(jìn)行合理Hive部署。項(xiàng)目二主要訓(xùn)練Hive數(shù)據(jù)定義能力,有1個(gè)任務(wù),任務(wù)通過定義不同類型數(shù)據(jù)實(shí)踐,理解基本數(shù)據(jù)類型,復(fù)雜數(shù)據(jù)類型,并掌握不同數(shù)據(jù)類型的定義。項(xiàng)目三主要訓(xùn)練Hive數(shù)據(jù)管理能力,共有2個(gè)任務(wù),任務(wù)一通過Hive數(shù)據(jù)庫(kù)和表操作實(shí)踐,理解HiveDDL,掌握HiveDDL數(shù)據(jù)庫(kù)增刪改查等,掌握Hive數(shù)據(jù)表的增刪改等能力;任務(wù)二通過員工信息數(shù)據(jù)的導(dǎo)入、導(dǎo)出實(shí)踐,理解HiveDML,掌握數(shù)據(jù)導(dǎo)入和導(dǎo)出的操作能力。項(xiàng)目四主要訓(xùn)練Hive數(shù)據(jù)檢索能力,共有2個(gè)任務(wù),任務(wù)一通過員工信息基本查詢實(shí)踐,理解和掌握Hive的運(yùn)算符、常用函數(shù)、篩選條件等概念和操作;任務(wù)二通過員工信息高級(jí)查詢實(shí)踐,掌握分組、排序、Join等高級(jí)查詢能力。項(xiàng)目五主要訓(xùn)練Hive內(nèi)置函數(shù)和自定義函數(shù)應(yīng)用能力,共有2個(gè)任務(wù),任務(wù)一通過員工信息的操作實(shí)踐,理解和掌握Hive內(nèi)置函數(shù)的語(yǔ)法和操作;任務(wù)二通過制定范圍、員工信息查詢、入職日期查詢等實(shí)踐,理解自定義函數(shù)的不同類別,掌握自定義函數(shù)的操作。 項(xiàng)目六主要訓(xùn)練數(shù)據(jù)存儲(chǔ)與壓縮能力,共有3個(gè)任務(wù),任務(wù)一通過數(shù)據(jù)壓縮實(shí)踐,理解和掌握MR的壓縮設(shè)置、Map和Reduce階段的壓縮;任務(wù)二通過不同文件存儲(chǔ)格式實(shí)踐,理解和掌握列式和行式存儲(chǔ)、TextFile格式、ORC格式、Parquet格式存儲(chǔ);任務(wù)三通過存儲(chǔ)和壓縮結(jié)合實(shí)踐,理解和掌握ORC、Parquet存儲(chǔ)方式的壓縮。項(xiàng)目七主要訓(xùn)練數(shù)據(jù)優(yōu)化能力,共有2個(gè)任務(wù),任務(wù)一通過表的優(yōu)化實(shí)踐,理解小表Join大表、大表Join大表、MapJoin (MR引擎)、GroupBy等問題,掌握空Key過濾、空Key轉(zhuǎn)換、MapJoin優(yōu)化等優(yōu)化;任務(wù)二通過MR引擎調(diào)優(yōu)實(shí)踐,理解和掌握復(fù)雜文件、小文件合并、設(shè)置Reduce、動(dòng)態(tài)分區(qū)等優(yōu)化。項(xiàng)目八主要搭建綜合實(shí)戰(zhàn)項(xiàng)目智慧電商數(shù)據(jù)分析平臺(tái),通過項(xiàng)目準(zhǔn)備、項(xiàng)目實(shí)現(xiàn)、數(shù)據(jù)展示,使用一個(gè)完整項(xiàng)目,將本教材知識(shí)融會(huì)貫通,培養(yǎng)企業(yè)實(shí)際項(xiàng)目問題解決能力,培養(yǎng)Hive數(shù)據(jù)倉(cāng)庫(kù)分層、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)分析、Tableau數(shù)據(jù)可視化展示能力。本書特點(diǎn)是學(xué)校教師與企業(yè)專家共同編寫,應(yīng)用項(xiàng)目式、理實(shí)一體化教學(xué)、思政教學(xué),引入企業(yè)真實(shí)項(xiàng)目,并包含豐富的學(xué)習(xí)資源。(1)校企共同編寫,本教材由學(xué)校教師與華為技術(shù)有限公司、慧科教育科技集團(tuán)有限公司共同編寫,項(xiàng)目平臺(tái)及案例由華為技術(shù)有限公司、慧科教育科技集團(tuán)有限公司提供。(2)三實(shí)教學(xué),通過實(shí)際場(chǎng)景、實(shí)踐項(xiàng)目、實(shí)戰(zhàn)檢驗(yàn),將真實(shí)的企業(yè)工作模式、操作環(huán)境搬入教材,通過實(shí)踐項(xiàng)目來對(duì)知識(shí)點(diǎn)進(jìn)行鞏固和加強(qiáng),將零碎的知識(shí)揉合在一起,讓學(xué)生對(duì)知識(shí)有一個(gè)整體性的認(rèn)識(shí),最后進(jìn)行實(shí)戰(zhàn)檢驗(yàn)。(3)項(xiàng)目化教學(xué),通過項(xiàng)目描述、任務(wù)說明、知識(shí)引入、任務(wù)實(shí)現(xiàn)、練習(xí)測(cè)驗(yàn)等環(huán)節(jié)設(shè)置項(xiàng)目式教學(xué),充分發(fā)掘?qū)W生的自身潛能,培養(yǎng)和提高學(xué)生的實(shí)踐動(dòng)手、分析問題、解決問題及綜合能力,提升學(xué)生對(duì)知識(shí)的理解與深化。(4)理實(shí)一體化教學(xué),按任務(wù)分析理論講解操作演示技能訓(xùn)練進(jìn)程實(shí)施理實(shí)一體化教學(xué),教學(xué)過程融教學(xué)做于一體,使學(xué)生很快地從理性上升到感性,實(shí)現(xiàn)知識(shí)技能的貫通,提高了教學(xué)效率。(5)思政教學(xué),教材通過拓展知識(shí),舉例中國(guó)企業(yè)華為擴(kuò)展Hive數(shù)據(jù)倉(cāng)庫(kù)技術(shù)自主開發(fā)的軟件開發(fā)工具、組件和行業(yè)應(yīng)用等,增強(qiáng)民族自豪感,培養(yǎng)愛國(guó)主義精神、精益求精和創(chuàng)新的工匠精神、艱苦奮斗的鉆研精神等。(6)教學(xué)資源豐富,教材提供豐富的微課視頻、PPT課件、教案、題庫(kù)、項(xiàng)目案例數(shù)據(jù)和代碼。本書由馮明卿、袁帥、王曉燕擔(dān)任主編,李俊艷、簡(jiǎn)艷英、趙波、段銳、王寧博擔(dān)任副主編,盧珊、唐佐俠、劉涵青、侯思悅、劉灃嘯、王楠、李亞棟、董亮參與編寫。本書由易焱華、李祺擔(dān)任主審,他們提出了許多建設(shè)性的意見和建議。在本書的編寫中,鄭州電力高等�？茖W(xué)校的其他同仁給予了熱情的支持,提出了許多寶貴的建議。同時(shí)本書還參考、引用了國(guó)內(nèi)外很多專家、同行出版的圖書和相關(guān)資料,在此一并表示衷心的感謝。由于作者水平有限,加之技術(shù)發(fā)展迅速,新概念、新應(yīng)用層出不窮,書中難免存在疏漏和不妥之處,如有問題可聯(lián)系郵箱510582939@qq.com,歡迎廣大同行專家、讀者不吝批評(píng)指正。

袁帥，鄭州電力高等�？茖W(xué)校大數(shù)據(jù)專業(yè)負(fù)責(zé)人，副教授，從教10年獲得河南省高等教育教學(xué)成果獎(jiǎng)二等獎(jiǎng)，全國(guó)電力職業(yè)教育教學(xué)成果獎(jiǎng)二等獎(jiǎng)，河南省教育信息化優(yōu)秀成果獎(jiǎng)一等獎(jiǎng)，河南省技術(shù)能手，河南省青年崗位能手，河南省骨干教師，發(fā)表論文10余篇，指導(dǎo)學(xué)生參加競(jìng)賽獲得省級(jí)以上獎(jiǎng)5余項(xiàng)。授課課程：數(shù)據(jù)倉(cāng)庫(kù)，大數(shù)據(jù)基礎(chǔ)技術(shù)，Java程序設(shè)計(jì)，MySQL數(shù)據(jù)庫(kù)技術(shù)授課對(duì)象：高等職業(yè)院校學(xué)生《計(jì)算機(jī)基礎(chǔ)（全國(guó)計(jì)算機(jī)等級(jí)考試二級(jí)MS Office高級(jí)應(yīng)用與設(shè)計(jì)精講版）》，2022年6月，在人民郵電出版社出版，書號(hào)：ISBN9887115589897《Visual Basic6程序設(shè)計(jì)：理實(shí)一體化教程》，2016年2月，在機(jī)械工業(yè)出版社出版，書號(hào)：ISBN9787111528104

前言
項(xiàng)目一　探索Hive開發(fā)環(huán)境
學(xué)習(xí)目標(biāo) 1
項(xiàng)目描述 1
任務(wù)一　Hadoop認(rèn)知及虛擬開發(fā)環(huán)境部署 1
一、 任務(wù)說明 1
二、 知識(shí)引入 2
三、 任務(wù)實(shí)現(xiàn) 4
四、 拓展知識(shí) 18
五、 練習(xí)測(cè)驗(yàn) 18
任務(wù)二　數(shù)據(jù)倉(cāng)庫(kù)Hive認(rèn)知及部署 18
一、 任務(wù)說明 18
二、 知識(shí)引入 19
三、 任務(wù)實(shí)現(xiàn) 24
四、 拓展知識(shí) 34
五、 練習(xí)測(cè)驗(yàn) 34
項(xiàng)目二　探索Hive數(shù)據(jù)之林
學(xué)習(xí)目標(biāo) 36
項(xiàng)目描述 36
任務(wù)　Hive基本數(shù)據(jù)類型 36
一、 任務(wù)說明 36
二、 知識(shí)引入 37
三、 任務(wù)實(shí)現(xiàn) 39
四、 拓展知識(shí) 44
五、 練習(xí)測(cè)驗(yàn) 44
項(xiàng)目三　Hive數(shù)據(jù)管理
學(xué)習(xí)目標(biāo) 46
項(xiàng)目描述 46
任務(wù)一　定義員工信息表 47
一、 任務(wù)說明 47
二、 知識(shí)引入 47
三、 任務(wù)實(shí)現(xiàn) 56
四、 拓展知識(shí) 58
五、 練習(xí)測(cè)驗(yàn) 59
任務(wù)二　員工信息數(shù)據(jù)操作 59
一、 任務(wù)說明 59
二、 知識(shí)引入 60
三、 任務(wù)實(shí)現(xiàn) 63
四、 拓展知識(shí) 65
五、 練習(xí)測(cè)驗(yàn) 65
項(xiàng)目四　Hive數(shù)據(jù)智能探索
學(xué)習(xí)目標(biāo) 67
項(xiàng)目描述 67
任務(wù)一　員工信息基本查詢 68
一、 任務(wù)說明 68
二、 知識(shí)引入 68
三、 任務(wù)實(shí)現(xiàn) 76
四、 練習(xí)測(cè)驗(yàn) 80
任務(wù)二　員工信息高級(jí)查詢 80
一、 任務(wù)說明 80
二、 知識(shí)引入 81
三、 任務(wù)實(shí)現(xiàn) 93
四、 拓展知識(shí) 93
五、 練習(xí)測(cè)驗(yàn) 94
項(xiàng)目五　員工信息管理系統(tǒng)
學(xué)習(xí)目標(biāo) 95
項(xiàng)目描述 95
任務(wù)一　Hive內(nèi)置函數(shù) 96
一、 任務(wù)說明 96
二、 知識(shí)引入 96
三、 任務(wù)實(shí)現(xiàn) 109
四、 練習(xí)測(cè)驗(yàn) 112
任務(wù)二　Hive自定義函數(shù) 112
一、 任務(wù)說明 112
二、 知識(shí)引入 113
三、 任務(wù)實(shí)現(xiàn) 115
四、 練習(xí)測(cè)驗(yàn) 117
項(xiàng)目六　實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)與壓縮的融合
學(xué)習(xí)目標(biāo) 118
項(xiàng)目描述 118
任務(wù)一　Hadoop壓縮配置 118
一、 任務(wù)說明 118
二、 知識(shí)引入 119
三、 任務(wù)實(shí)現(xiàn) 120
四、 練習(xí)測(cè)驗(yàn) 122
任務(wù)二　文件存儲(chǔ)格式 122
一、 任務(wù)說明 122
二、 知識(shí)引入 122
三、 任務(wù)實(shí)現(xiàn) _______125
四、 練習(xí)測(cè)驗(yàn) 128
任務(wù)三　存儲(chǔ)和壓縮結(jié)合 129
一、 任務(wù)說明 129
二、 知識(shí)引入 129
三、 任務(wù)實(shí)現(xiàn) 130
四、 練習(xí)測(cè)驗(yàn) 132
項(xiàng)目七　數(shù)據(jù)智能調(diào)優(yōu)
學(xué)習(xí)目標(biāo) 133
項(xiàng)目描述 133
任務(wù)一　表的優(yōu)化 133
一、 任務(wù)說明 133
二、 知識(shí)引入 134
三、 任務(wù)實(shí)現(xiàn) 136
四、 練習(xí)測(cè)驗(yàn) 141
任務(wù)二　MR引擎調(diào)優(yōu) 141
一、 任務(wù)說明 141
二、 知識(shí)引入 142
三、 任務(wù)實(shí)現(xiàn) 144
四、 練習(xí)測(cè)驗(yàn) 145
項(xiàng)目八　綜合實(shí)踐智慧電商數(shù)據(jù)分析平臺(tái)
學(xué)習(xí)目標(biāo) 147
項(xiàng)目描述 147
一、 項(xiàng)目目標(biāo) 147
二、 項(xiàng)目實(shí)施步驟 148
任務(wù)一　項(xiàng)目準(zhǔn)備 148
一、 需求分析 148
二、 數(shù)據(jù)結(jié)構(gòu) 149
三、 平臺(tái)環(huán)境數(shù)據(jù)準(zhǔn)備 151
任務(wù)二　項(xiàng)目實(shí)現(xiàn) 153
一、 總體運(yùn)營(yíng)指標(biāo) 153
二、 流量類指標(biāo) 159
三、 網(wǎng)站銷售類指標(biāo) 163
四、 商品類指標(biāo) 166
五、 營(yíng)銷類指標(biāo) 168
六、 物流類指標(biāo) 170
任務(wù)三　數(shù)據(jù)展示 172
一、 可視化軟件介紹 172
二、 可視化軟件安裝 172
三、 數(shù)據(jù)展示 173