本書(shū)圍繞大數(shù)據(jù)采集,對(duì)采集技術(shù)的相關(guān)基礎(chǔ)、技術(shù)原理、 Python實(shí)現(xiàn)技術(shù)、大數(shù)據(jù)挖掘與應(yīng)用方法 進(jìn)行了系統(tǒng)介紹。書(shū)中全面、完整地覆蓋了各種類型的網(wǎng)絡(luò)爬蟲(chóng)及相關(guān)的信息處理挖掘技術(shù),并提供了27個(gè)與爬蟲(chóng)技術(shù)和應(yīng)用相關(guān)的Python程序。全書(shū)共分為四大部分,即概述、基礎(chǔ)篇、技術(shù)與實(shí)現(xiàn)篇 、大數(shù)據(jù)挖掘與應(yīng)用篇。第一部分是概述,首先指出了利用Python采集互聯(lián)網(wǎng)大數(shù)據(jù)的重要性,介紹了 相關(guān)技術(shù)研究、技術(shù)體系、 Py t hon爬蟲(chóng)采集技術(shù)的合規(guī)性及應(yīng)用現(xiàn)狀等; 第二部分是基礎(chǔ)篇,包括 Web服務(wù)器的應(yīng)用架構(gòu)以及HTTP、 Robots、 HTML、頁(yè)面編碼等相關(guān)協(xié)議和規(guī)范; 第三部分是技術(shù)與 實(shí)現(xiàn)篇,全面介紹了普通網(wǎng)絡(luò)爬蟲(chóng)技術(shù)、動(dòng)態(tài)頁(yè)面采集方法、主題爬蟲(chóng)技術(shù)、 DeepWeb爬蟲(chóng)、微博信息采集 、Web信息提取以及反爬蟲(chóng)技術(shù)等,內(nèi)容涵蓋了各種爬蟲(chóng)技術(shù)實(shí)現(xiàn)方法及Python例子; 第四部分是 大數(shù)據(jù)挖掘與應(yīng)用篇,介紹了用于爬蟲(chóng)應(yīng)用中的典型大數(shù)據(jù)處理與挖掘技術(shù)以及 Web大數(shù)據(jù)采集的常 見(jiàn)應(yīng)用模式,并以新聞采集與分析、 SQL注入在線檢測(cè)為例介紹了Python爬蟲(chóng)應(yīng)用構(gòu)建方法,將本書(shū)介紹的一些關(guān)鍵技術(shù)、模型和工具貫穿在一起。
本書(shū)可以作為高等院校大數(shù)據(jù)、計(jì)算機(jī)、信息以及經(jīng)管、金融等相關(guān)專業(yè)的教材,也可以作為大數(shù)據(jù)、計(jì)算機(jī)、信息以及經(jīng)管、金融等領(lǐng)域研究人員和專業(yè)技術(shù)人員的參考書(shū)。