第2章 大數(shù)據(jù)相關(guān)技術(shù)
　　本章目標(biāo)
　　* 掌握大數(shù)據(jù)處理流程：數(shù)據(jù)采集、預(yù)處理、存儲(chǔ)、挖掘和解釋
　　* 掌握大數(shù)據(jù)的3種來源：核心數(shù)據(jù)、外圍數(shù)據(jù)、常規(guī)渠道數(shù)據(jù)
　　* 掌握大數(shù)據(jù)的主要架構(gòu)
　　* 掌握數(shù)據(jù)挖掘常用方法
　　本章簡(jiǎn)介
　　本章從大數(shù)據(jù)處理流程、數(shù)據(jù)來源、大數(shù)據(jù)生態(tài)圈及主要架構(gòu)、數(shù)據(jù)挖掘的主要方法幾個(gè)方面來介紹大數(shù)據(jù)的相關(guān)技術(shù)。
　　2.1 大數(shù)據(jù)處理流程
　　大數(shù)據(jù)的處理流程歸納為：首先利用多種輕型數(shù)據(jù)庫(kù)收集海量數(shù)據(jù)，對(duì)不同來源的數(shù)據(jù)進(jìn)行預(yù)處理后，整合存儲(chǔ)到大型數(shù)據(jù)庫(kù)中；然后根據(jù)企業(yè)或個(gè)人目的和需求，運(yùn)用合適的數(shù)據(jù)挖掘技術(shù)提取有益的知識(shí)；最后利用恰當(dāng)?shù)姆绞綄⒔Y(jié)果展現(xiàn)給終端用戶。具體包括：數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)挖掘及數(shù)據(jù)解釋這5個(gè)步驟，如圖2.1所示。
　　圖2.1 大數(shù)據(jù)的處理流程
　　2.1.1 數(shù)據(jù)采集
　　大數(shù)據(jù)的采集是大數(shù)據(jù)處理過程中的第一步，它是數(shù)據(jù)分析和挖掘的基礎(chǔ)。大數(shù)據(jù)的采集是指在確定用戶目標(biāo)的基礎(chǔ)上，對(duì)該范圍內(nèi)的所有結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行采集的過程。采集的數(shù)據(jù)大部分是瞬時(shí)值，還包括某時(shí)段內(nèi)的特征值。大數(shù)據(jù)的主要來源有商業(yè)數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)、傳感器數(shù)據(jù)。針對(duì)不同來源的數(shù)據(jù)，具有不同的采集方法。主要的大數(shù)據(jù)采集方法有系統(tǒng)日志采集方法、網(wǎng)絡(luò)數(shù)據(jù)采集方法、其他數(shù)據(jù)采集方法。
　　1. 系統(tǒng)日志采集方法
　　大多數(shù)互聯(lián)網(wǎng)企業(yè)都有自己的海量數(shù)據(jù)采集工具，常用于系統(tǒng)日志采集，如Scribe、 Flume、Chukwa、Kafka等。Scribe是Facebook開源的日志收集系統(tǒng)，能夠從各種日志源收集日志，存儲(chǔ)到一個(gè)中央存儲(chǔ)系統(tǒng)中，以便于進(jìn)行集中統(tǒng)計(jì)分析和處理；Chukwa屬于Hadoop系列產(chǎn)品，是一個(gè)大型的分布式系統(tǒng)監(jiān)測(cè)數(shù)據(jù)的收集系統(tǒng)，提供了很多模塊以支持Hadoop集群分析；Flume是cloudera的開源日志系統(tǒng)，能夠有效地收集匯總和移動(dòng)大量的實(shí)時(shí)日志數(shù)據(jù)。這些工具均采用分布式架構(gòu)，能滿足每秒數(shù)百M(fèi)B的日志數(shù)據(jù)采集和傳輸需求。
　　2. 網(wǎng)絡(luò)數(shù)據(jù)采集方法
　　網(wǎng)絡(luò)數(shù)據(jù)采集是指利用互聯(lián)網(wǎng)搜索引擎技術(shù)從網(wǎng)站抓取數(shù)據(jù)信息。目前，網(wǎng)絡(luò)數(shù)據(jù)的采集基本上是利用垂直搜索引擎技術(shù)的網(wǎng)絡(luò)爬蟲或數(shù)據(jù)采集機(jī)器人、分詞系統(tǒng)、任務(wù)與索引系統(tǒng)等技術(shù)進(jìn)行綜合運(yùn)用而完成。該方法可以將非結(jié)構(gòu)化數(shù)據(jù)從網(wǎng)頁(yè)中抽取出來，將其存儲(chǔ)為統(tǒng)一的本地?cái)?shù)據(jù)文件，并以結(jié)構(gòu)化的方式存儲(chǔ)。它支持圖片、音頻、視頻等文件或附件的采集，附件與正文可以自動(dòng)關(guān)聯(lián)。除了網(wǎng)絡(luò)中包含的內(nèi)容之外，對(duì)于網(wǎng)絡(luò)流量的采集可以使用DPI或DFI等帶寬管理技術(shù)進(jìn)行處理。
　　3. 其他數(shù)據(jù)采集方法
　　對(duì)于企業(yè)生產(chǎn)經(jīng)營(yíng)數(shù)據(jù)或?qū)W科研究數(shù)據(jù)等保密性要求較高的數(shù)據(jù)，可以通過與企業(yè)或研究機(jī)構(gòu)合作，使用特定系統(tǒng)接口等相關(guān)方式采集數(shù)據(jù)。
　　在大數(shù)據(jù)的采集過程中，同一網(wǎng)站同一時(shí)間可能會(huì)有很多用戶訪問和操作。例如，火車票售票網(wǎng)站和淘寶，它們并發(fā)的訪問量在峰值時(shí)超過了上百萬，并發(fā)數(shù)十分高。因此，需要在采集端部署大量數(shù)據(jù)庫(kù)才能支撐。
　　2.1.2 數(shù)據(jù)預(yù)處理
　　由于第一步收集得到的數(shù)據(jù)是原始數(shù)據(jù)，存在著不完整、不一致的問題，無法直接存儲(chǔ)到數(shù)據(jù)庫(kù)中進(jìn)行數(shù)據(jù)挖掘。因此，在將來自前端的數(shù)據(jù)導(dǎo)入一個(gè)集中的大型數(shù)據(jù)庫(kù)或者分布式存儲(chǔ)集群前，需要對(duì)大數(shù)據(jù)進(jìn)行預(yù)處理，這樣不但能夠節(jié)約大量的空間和時(shí)間，還能得到更好的數(shù)據(jù)挖掘結(jié)果。大數(shù)據(jù)預(yù)處理包括對(duì)數(shù)據(jù)進(jìn)行清理、集成、變換和歸約4個(gè)過程。
　　1. 數(shù)據(jù)清理
　　數(shù)據(jù)清理是數(shù)據(jù)準(zhǔn)備過程中最乏味也是最關(guān)鍵的一步。其目的是填補(bǔ)缺失的數(shù)據(jù)、平滑噪聲數(shù)據(jù)、刪除冗余數(shù)據(jù)、糾正錯(cuò)誤數(shù)據(jù)、清除異常數(shù)據(jù)，將原始的數(shù)據(jù)格式進(jìn)行標(biāo)準(zhǔn)化。
　　……