第 1章 Hive入門(mén) 1 任務(wù)1　了解Hive基礎(chǔ)　2 1.1.1　認(rèn)識(shí)Hive　2 1.1.2　Hive架構(gòu)設(shè)計(jì)　5 1.1.3　Hive工作流程　6 1.1.4　Hive適用場(chǎng)景　7 任務(wù)2　掌握Hive數(shù)據(jù)存儲(chǔ)模型　8 1.2.1　Hive存儲(chǔ)格式　8 1.2.2　Hive數(shù)據(jù)單元　10 1.2.3　Hive存儲(chǔ)模型　10 任務(wù)3　安裝配置Hive環(huán)境　11 1.3.1　Hive的發(fā)展歷程　12 1.3.2　搭建Hive CDH環(huán)境　13 1.3.3　Hive初體驗(yàn)　15 1.3.4　Hive開(kāi)發(fā)環(huán)境　18 1.3.5　技能實(shí)訓(xùn)　21 本章小結(jié)　21 本章作業(yè)　21 第　2章 Hive數(shù)據(jù)庫(kù)及表操作　23 任務(wù)1　熟悉Hive數(shù)據(jù)類(lèi)型　24 2.1.1　基本數(shù)據(jù)類(lèi)型　24 2.1.2　復(fù)雜數(shù)據(jù)類(lèi)型　26 任務(wù)2　使用Hive管理雇員信息　28 2.2.1　Hive DDL操作　29 2.2.2　Hive DML操作　33 2.2.3　Hive Shell　38 2.2.4　技能實(shí)訓(xùn)　40 任務(wù)3　使用Hive Java API操作雇員表　41 2.3.1　開(kāi)發(fā)環(huán)境搭建　41 2.3.2　JDBC操作Hive數(shù)據(jù)庫(kù)　42 2.3.3　技能實(shí)訓(xùn)　47 本章小結(jié)　47 本章作業(yè)　48 第3章　Hive元數(shù)據(jù)　49 任務(wù)1　訪(fǎng)問(wèn)雇員數(shù)據(jù)的元數(shù)據(jù)信息　50 3.1.1　Hive元數(shù)據(jù)的概念及存儲(chǔ)方式　50 3.1.2　雇員數(shù)據(jù)元數(shù)據(jù)信息查詢(xún)　53 3.1.3　技能實(shí)訓(xùn)　60 任務(wù)2　使用Hive Java API讀取雇員表元數(shù)據(jù)　60 3.2.1　hive-metastore組件　60 3.2.2　使用HiveMetaStoreClient訪(fǎng)問(wèn)元數(shù)據(jù)　62 3.2.3　技能實(shí)訓(xùn)　68 任務(wù)3　使用HCatalog管理雇員數(shù)據(jù)的元數(shù)據(jù)　69 3.3.1　HCatalog介紹　69 3.3.2　HCatalog應(yīng)用　70 本章小結(jié)　75 本章作業(yè)　75 第4章　Hive高級(jí)操作　77 任務(wù)1　關(guān)聯(lián)查詢(xún)零售商店訂單明細(xì)　78 4.1.1　SELECT語(yǔ)句　78 4.1.2　關(guān)聯(lián)查詢(xún)　83 4.1.3　聯(lián)合查詢(xún)　87 4.1.4　技能實(shí)訓(xùn)　87 任務(wù)2　使用分組排序?qū)崿F(xiàn)商品銷(xiāo)售排行　88 4.2.1　排序　88 4.2.2　分組聚合　91 4.2.3　技能實(shí)訓(xùn)　94 任務(wù)3　使用窗口函數(shù)實(shí)現(xiàn)零售數(shù)據(jù)統(tǒng)計(jì)　94 4.3.1　窗口函數(shù)　94 4.3.2　窗口的定義　99 4.3.3　技能實(shí)訓(xùn)　102 本章小結(jié)　102 本章作業(yè)　102 第5章　Hive函數(shù)與Streaming　103 任務(wù)1　應(yīng)用內(nèi)置函數(shù)　104 5.1.1　函數(shù)概述　104 5.1.2　內(nèi)置函數(shù)詳解　105 5.1.3　技能實(shí)訓(xùn)　112 任務(wù)2　使用Java編寫(xiě)Hive自定義函數(shù)　112 5.2.1　自定義函數(shù)概述　113 5.2.2　UDF　114 5.2.3　UDAF　117 5.2.4　UDTF　120 5.2.5　技能實(shí)訓(xùn)　121 任務(wù)3　使用Streaming實(shí)現(xiàn)數(shù)據(jù)處理　121 5.3.1　Streaming概念　122 5.3.2　Streaming應(yīng)用　122 5.3.3　技能實(shí)訓(xùn)　125 本章小結(jié)　125 本章作業(yè)　125 第6章　Hive視圖與索引　127 任務(wù)1　創(chuàng)建并管理零售商店的顧客表和訂單表視圖　128 6.1.1　視圖的基本概念及使用場(chǎng)景　128 6.1.2　視圖的基本操作　130 6.1.3　Materialized Views和Lateral View　135 6.1.4　技能實(shí)訓(xùn)　138 任務(wù)2　建立零售商店顧客表索引　139 6.2.1　Hive索引的基本概念及使用場(chǎng)景　139 6.2.2　為零售商店顧客表建立索引　141 6.2.3　與索引相關(guān)的元數(shù)據(jù)表　144 6.2.4　技能實(shí)訓(xùn)　145 本章小結(jié)　146 本章作業(yè)　146 第7章　Hive調(diào)優(yōu)　147 任務(wù)1　熟悉Hive性能調(diào)優(yōu)策略　148 7.1.1　Hive性能調(diào)優(yōu)使用工具　148 7.1.2　優(yōu)化Map Task和Reduce Task個(gè)數(shù)　150 7.1.3　Hive Job優(yōu)化　151 7.1.4　Hive Query優(yōu)化　153 7.1.5　設(shè)置壓縮　155 7.1.6　技能實(shí)訓(xùn)　157 任務(wù)2　解決Hive數(shù)據(jù)傾斜問(wèn)題　157 7.2.1　數(shù)據(jù)傾斜問(wèn)題　158 7.2.2　數(shù)據(jù)傾斜問(wèn)題解決方案　158 任務(wù)3　Hive集成Tez　161 7.3.1　Tez簡(jiǎn)介　161 7.3.2　Tez安裝配置　162 7.3.3　Hive與Tez集成　164 7.3.4　技能實(shí)訓(xùn)　166 本章小結(jié)　166 本章作業(yè)　166 第8章　Hive與HBase集成　169 任務(wù)1　理解Hive與HBase集成的場(chǎng)景及原理　170 8.1.1　Hive與HBase集成的應(yīng)用場(chǎng)景　170 8.1.2　Hive與HBase集成原理　171 任務(wù)2　實(shí)現(xiàn)Hive與HBase集成　174 8.2.1　Hive與HBase集成配置　174 8.2.2　Hive與HBase集成功能測(cè)試　175 8.2.3　將零售商店顧客購(gòu)買(mǎi)統(tǒng)計(jì)信息存入HBase表　182 8.2.4　技能實(shí)訓(xùn)　183 任務(wù)3　使用Phoenix操作HBase數(shù)據(jù)庫(kù)　184 8.3.1　Phoenix簡(jiǎn)介　184 8.3.2　搭建Phoenix CDH環(huán)境　186 8.3.3　技能實(shí)訓(xùn)　189 本章小結(jié)　190 本章作業(yè)　190 第9章　數(shù)據(jù)遷移框架Sqoop　191 任務(wù)1　使用Sqoop完成Hadoop與MySQL間的數(shù)據(jù)遷移　192 9.1.1　Sqoop簡(jiǎn)介　192 9.1.2　導(dǎo)入MySQL數(shù)據(jù)到HDFS　196 9.1.3　導(dǎo)入MySQL數(shù)據(jù)到Hive　205 9.1.4　導(dǎo)入MySQL數(shù)據(jù)到HBase　206 9.1.5　導(dǎo)出HDFS數(shù)據(jù)到MySQL　207 9.1.6　技能實(shí)訓(xùn)　211 任務(wù)2　使用Sqoop Job完成Hive與MySQL間的數(shù)據(jù)遷移　211 9.2.1　Sqoop Job　212 9.2.2　技能實(shí)訓(xùn)　213 本章小結(jié)　213 本章作業(yè)　213 第　10章 項(xiàng)目實(shí)訓(xùn)：電子商務(wù)消費(fèi)行為分析　215 10.1　項(xiàng)目準(zhǔn)備　216 10.2　難點(diǎn)分析　219 10.3　項(xiàng)目實(shí)現(xiàn)思路　220 本章小結(jié)　242 本章作業(yè)　242