近年來(lái)，隨著各行各業(yè)數(shù)據(jù)資源的極大豐富及大數(shù)據(jù)技術(shù)的不斷發(fā)展，大數(shù)據(jù)相關(guān)產(chǎn)業(yè)迎來(lái)了空前的發(fā)展機(jī)遇。大數(shù)據(jù)相關(guān)技術(shù)在各領(lǐng)域得到了廣泛的應(yīng)用，例如，金融大數(shù)據(jù)、商業(yè)大數(shù)據(jù)、網(wǎng)絡(luò)輿情大數(shù)據(jù)及醫(yī)療與健康大數(shù)據(jù)等。對(duì)大數(shù)據(jù)人才的市場(chǎng)需求呈現(xiàn)井噴式增長(zhǎng)。
各類大數(shù)據(jù)相關(guān)學(xué)科競(jìng)賽的舉辦，有效促進(jìn)了高等院校大數(shù)據(jù)相關(guān)專業(yè)教學(xué)模式的探索性改良，推進(jìn)相關(guān)專業(yè)課程體系、教學(xué)內(nèi)容和教學(xué)方法等教學(xué)資源的質(zhì)量提升和豐富完善，對(duì)于高校大數(shù)據(jù)相關(guān)專業(yè)建設(shè)的發(fā)展起到很好的促進(jìn)作用。通過大數(shù)據(jù)學(xué)科競(jìng)賽，能夠激發(fā)學(xué)生的自主學(xué)習(xí)熱情，培養(yǎng)學(xué)生的團(tuán)隊(duì)意識(shí)和創(chuàng)新意識(shí)，提高了學(xué)生在平臺(tái)搭建、數(shù)據(jù)采集、數(shù)據(jù)分析與挖掘等方面的實(shí)踐能力，提高學(xué)生的專業(yè)技能，并踐行了理實(shí)一體化做學(xué)教一體化的教學(xué)模式。
本書是作者在長(zhǎng)期從事大數(shù)據(jù)分析技術(shù)、數(shù)據(jù)挖掘教學(xué)和科學(xué)研究成果的基礎(chǔ)上，以大學(xué)生大數(shù)據(jù)技能競(jìng)賽、智警杯公安系統(tǒng)大數(shù)據(jù)技能競(jìng)賽為背景，以大數(shù)據(jù)分析與應(yīng)用職業(yè)技能等級(jí)標(biāo)準(zhǔn)為參考編寫而成。全書共5章，系統(tǒng)介紹了Linux操作系統(tǒng)、數(shù)據(jù)庫(kù)技術(shù)、大數(shù)據(jù)平臺(tái)技術(shù)、數(shù)據(jù)采集與分析、數(shù)據(jù)挖掘與數(shù)據(jù)可視化等內(nèi)容。
第1章為L(zhǎng)inux操作系統(tǒng)，主要介紹主機(jī)名、Hosts映射、防火墻配置等Linux常用命令，同時(shí)對(duì)時(shí)間同步、定時(shí)任務(wù)、遠(yuǎn)程訪問等服務(wù)進(jìn)行介紹。
第2章為數(shù)據(jù)庫(kù)技術(shù)，主要介紹了數(shù)據(jù)庫(kù)的安裝和配置、數(shù)據(jù)庫(kù)操作管理、數(shù)據(jù)表操作管理、視圖、權(quán)限管理、備份與還原、非關(guān)系型數(shù)據(jù)庫(kù)NoSQL等。
第3章為大數(shù)據(jù)平臺(tái)技術(shù)，主要介紹了Hadoop分布式大數(shù)據(jù)框架、Hive數(shù)據(jù)倉(cāng)庫(kù)、HBase數(shù)據(jù)庫(kù)、Spark技術(shù)框架、ZooKeeper協(xié)調(diào)框架、Flume數(shù)據(jù)收集、Sqoop數(shù)據(jù)傳輸、Azkaban任務(wù)調(diào)度工具等大數(shù)據(jù)組件架構(gòu)的應(yīng)用，還介紹了故障排查、性能調(diào)優(yōu)等平臺(tái)運(yùn)維管理方案。
第4章為數(shù)據(jù)采集與分析，主要介紹了HTTP原理、網(wǎng)頁(yè)組成、網(wǎng)絡(luò)請(qǐng)求、XPath解析、數(shù)據(jù)存儲(chǔ)等網(wǎng)絡(luò)信息獲取技術(shù)，同時(shí)對(duì)數(shù)據(jù)進(jìn)行了統(tǒng)計(jì)分析方法介紹，包括描述性分析、探索性分析、缺失值分析等方法。
第5章為數(shù)據(jù)挖掘與數(shù)據(jù)可視化，介紹通過算法提取挖掘數(shù)據(jù)中的有用信息，主要內(nèi)容包括線性回歸、邏輯回歸、決策樹等算法，介紹如何對(duì)數(shù)據(jù)進(jìn)行可視化呈現(xiàn)和數(shù)據(jù)分析報(bào)告的撰寫。
本書詳細(xì)介紹了大數(shù)據(jù)及數(shù)據(jù)分析的技術(shù)構(gòu)成，理論和實(shí)踐緊密結(jié)合，可以幫助讀者梳理思路，對(duì)比不同技術(shù)的優(yōu)勢(shì)并做出選擇，從而更加符合產(chǎn)業(yè)發(fā)展的需求。
本書結(jié)合歷年競(jìng)賽真題知識(shí)的解析，可作為參加大數(shù)據(jù)類競(jìng)賽的輔導(dǎo)用書，同時(shí)配有全套教學(xué)課件、數(shù)據(jù)集、視頻、環(huán)境等實(shí)訓(xùn)資源，亦可作為高等院校大數(shù)據(jù)相關(guān)專業(yè)、相關(guān)課程的實(shí)訓(xùn)教材，或是培訓(xùn)機(jī)構(gòu)的培訓(xùn)教材。
本書主編為李輝、張瑩、盧興民，副主編為胡健、張福華、蔣紅蘭，參編人員為王新猛、李鳳蓮、王彥平、李超、楊海迎。在本書編寫過程中，特別是真題梳理驗(yàn)證過程中，北京紅亞華宇科技有限公司提供了資料協(xié)助和平臺(tái)支持，在此表示衷心感謝。
大數(shù)據(jù)技能競(jìng)賽知識(shí)點(diǎn)解析與實(shí)踐由于編者水平有限，加之大數(shù)據(jù)技術(shù)的發(fā)展日新月異，書中難免會(huì)有疏漏和不妥之處，敬請(qǐng)廣大讀者批評(píng)指正。

編者