目錄

第1章Python網(wǎng)絡(luò)爬蟲(chóng)入門(mén)

1.1所需技能與Python版本

1.1.1所需技術(shù)能力

1.1.2選擇Python的原因

1.1.3選擇Python 3.x的原因

1.2初識(shí)網(wǎng)絡(luò)爬蟲(chóng)

1.2.1網(wǎng)絡(luò)爬蟲(chóng)的概念

1.2.2網(wǎng)絡(luò)爬蟲(chóng)的應(yīng)用

1.2.3Robots協(xié)議

1.3搜索引擎核心

1.4快速爬取網(wǎng)頁(yè)示例

1.5本章小結(jié)

1.6習(xí)題

第2章爬蟲(chóng)基礎(chǔ)知識(shí)

2.1Cookie的使用

2.1.1Cookie的概念

2.1.2使用Cookiejar處理Cookie

2.2正則表達(dá)式

2.2.1正則表達(dá)式的概念

2.2.2正則表達(dá)式詳解

2.3標(biāo)記語(yǔ)言

2.4XPath

2.5JSON

2.6BeautifulSoup

2.6.1安裝BeautifulSoup

2.6.2BeautifulSoup的使用

2.7本章小結(jié)

2.8習(xí)題

第3章urllib與requests

3.1urllib庫(kù)

3.1.1urllib庫(kù)的概念

3.1.2urllib庫(kù)的使用

3.2設(shè)置HTTP請(qǐng)求方法

3.2.1GET請(qǐng)求實(shí)戰(zhàn)

3.2.2設(shè)置代理服務(wù)

3.3異常處理

3.3.1URLError異常處理

3.3.2HTTPError異常處理

3.4requests庫(kù)

3.4.1安裝requests庫(kù)

3.4.2發(fā)送請(qǐng)求

3.4.3響應(yīng)接收

3.4.4會(huì)話對(duì)象

3.5本章小結(jié)

3.6習(xí)題

第4章網(wǎng)絡(luò)爬蟲(chóng)實(shí)例

4.1圖片爬蟲(chóng)實(shí)例

4.2鏈接爬蟲(chóng)實(shí)例

4.3文字爬蟲(chóng)實(shí)例

4.4微信文章爬蟲(chóng)

4.5多線程爬蟲(chóng)及實(shí)例

4.6本章小結(jié)

4.7習(xí)題

第5章數(shù)據(jù)處理

5.1存儲(chǔ)HTML正文內(nèi)容

5.1.1存儲(chǔ)為JSON格式

5.1.2存儲(chǔ)為CSV格式

5.2存儲(chǔ)媒體文件

5.3Email提醒

5.4pymysql模塊

5.5本章小結(jié)

5.6習(xí)題

第6章數(shù)據(jù)庫(kù)存儲(chǔ)

6.1SQLite

6.1.1SQLite介紹

6.1.2安裝SQLite

6.1.3Python與SQLite

6.1.4創(chuàng)建SQLite表

6.1.5添加SQLite表記錄

6.1.6查詢SQLite表記錄

6.1.7更新SQLite表記錄

6.1.8刪除SQLite表記錄

6.2MongoDB

6.2.1MongoDB簡(jiǎn)介

6.2.2MongoDB適用場(chǎng)景

6.2.3MongoDB的安裝

6.2.4MongoDB基礎(chǔ)

6.2.5在Python中操作MongoDB

6.3Redis

6.3.1Redis簡(jiǎn)介

6.3.2Redis適用場(chǎng)景

6.3.3Redis的安裝

6.3.4Redis數(shù)據(jù)類(lèi)型與操作

6.3.5在Python中操作Redis

6.4本章小結(jié)

6.5習(xí)題

第7章抓取動(dòng)態(tài)網(wǎng)頁(yè)內(nèi)容

7.1JavaScript簡(jiǎn)介

7.1.1JS語(yǔ)言特性

7.1.2JS簡(jiǎn)單示例

7.1.3JavaScript庫(kù)

7.1.4Ajax簡(jiǎn)介

7.2爬取動(dòng)態(tài)網(wǎng)頁(yè)的工具

7.2.1Selenium庫(kù)

7.2.2PhantomJS瀏覽器

7.2.3Firefox的headless模式

7.2.4Selenium的選擇器

7.2.5Selenium等待方式

7.2.6客戶端重定向

7.3爬取動(dòng)態(tài)網(wǎng)頁(yè)實(shí)例

7.4本章小結(jié)

7.5習(xí)題

第8章瀏覽器偽裝與定向爬取

8.1瀏覽器偽裝介紹

8.1.1抓包工具Fiddler

8.1.2瀏覽器偽裝過(guò)程分析

8.1.3瀏覽器偽裝技術(shù)實(shí)戰(zhàn)

8.2定向爬蟲(chóng)

8.2.1定向爬蟲(chóng)分析

8.2.2定向爬蟲(chóng)實(shí)戰(zhàn)

8.3本章小結(jié)

8.4習(xí)題

第9章初探Scrapy爬蟲(chóng)框架

9.1了解爬蟲(chóng)框架

9.1.1初識(shí)Scrapy框架

9.1.2初識(shí)Crawley框架

9.1.3初識(shí)Portia框架

9.1.4初識(shí)Newspaper框架

9.2Scrapy介紹

9.2.1安裝Scrapy

9.2.2Scrapy程序管理

9.2.3Scrapy項(xiàng)目的目錄結(jié)構(gòu)

9.3常用命令

9.3.1Scrapy全局命令

9.3.2Scrapy項(xiàng)目命令

9.3.3Scrapy的Item對(duì)象

9.4編寫(xiě)Spider程序

9.4.1初識(shí)Spider

9.4.2Spider文件參數(shù)傳遞

9.5Spider反爬蟲(chóng)機(jī)制

9.6本章小結(jié)

9.7習(xí)題

第10章深入Scrapy爬蟲(chóng)框架

10.1Scrapy核心架構(gòu)

10.2Scrapy組件詳解

10.3Scrapy數(shù)據(jù)處理

10.3.1Scrapy數(shù)據(jù)輸出

10.3.2Scrapy數(shù)據(jù)存儲(chǔ)

10.4Scrapy自動(dòng)化爬取

10.4.1創(chuàng)建項(xiàng)目并編寫(xiě)items.py

10.4.2編寫(xiě)pipelines.py

10.4.3修改settings.py

10.4.4編寫(xiě)爬蟲(chóng)文件

10.4.5執(zhí)行自動(dòng)化爬蟲(chóng)

10.5CrawlSpider

10.5.1創(chuàng)建CrawlSpider

10.5.2LinkExtractor

10.5.3CrawlSpider部分源代碼分析

10.5.4實(shí)例CrawlSpider

10.6本章小結(jié)

10.7習(xí)題

第11章Scrapy實(shí)戰(zhàn)項(xiàng)目

11.1文章類(lèi)項(xiàng)目

11.1.1需求分析

11.1.2實(shí)現(xiàn)思路

11.1.3程序設(shè)計(jì)

11.1.4請(qǐng)求分析

11.1.5循環(huán)網(wǎng)址

11.1.6爬蟲(chóng)運(yùn)行

11.2圖片類(lèi)項(xiàng)目

11.2.1需求分析

11.2.2實(shí)現(xiàn)思路

11.2.3程序設(shè)計(jì)

11.2.4項(xiàng)目實(shí)現(xiàn)

11.3登錄類(lèi)項(xiàng)目

11.3.1需求分析

11.3.2實(shí)現(xiàn)思路

11.3.3程序設(shè)計(jì)

11.3.4項(xiàng)目實(shí)現(xiàn)

11.4本章小結(jié)

11.5習(xí)題

第12章分布式爬蟲(chóng)

12.1簡(jiǎn)單分布式爬蟲(chóng)

12.1.1進(jìn)程及進(jìn)程間通信

12.1.2簡(jiǎn)單分布式爬蟲(chóng)結(jié)構(gòu)

12.1.3控制節(jié)點(diǎn)

12.1.4爬蟲(chóng)節(jié)點(diǎn)

12.2Scrapy與分布式爬蟲(chóng)

12.2.1Scrapy中集成Redis

12.2.2MongoDB集群

12.3Scrapy分布式爬蟲(chóng)實(shí)戰(zhàn)

12.3.1創(chuàng)建爬蟲(chóng)

12.3.2定義Item

12.3.3爬蟲(chóng)模塊

12.3.4編寫(xiě)Pipeline

12.3.5修改Settings

12.3.6運(yùn)行項(xiàng)目

12.4去重優(yōu)化

12.5本章小結(jié)

12.6習(xí)題