本書從實戰(zhàn)角度系統(tǒng)講解 Python爬蟲的核心知識點，并通過大量的真實項目讓讀者熟練掌握 Python爬蟲技術(shù)。本書用 20多個實戰(zhàn)案例，完美演繹了使用各種技術(shù)編寫 Python爬蟲的方式，讀者可以任意組合這些技術(shù)，完成非常復(fù)雜的爬蟲應(yīng)用。
全書共 20章，分為 5篇。第 1篇基礎(chǔ)知識（第 1、2章），主要包括 Python運(yùn)行環(huán)境的搭建、 HTTP基礎(chǔ)、網(wǎng)頁基礎(chǔ)（ HTML、CSS、JavaScript等）、爬蟲的基本原理、 Session與 Cookie。第 2篇網(wǎng)絡(luò)庫（第 3～ 6章），主要包括網(wǎng)絡(luò)庫 urllib、urllib3、requests和 Twisted的核心使用方法，如發(fā)送 HTTP請求、處理超時、設(shè)置 HTTP請求頭、搭建和使用代理、解析鏈接、 Robots協(xié)議等。第 3篇解析庫（第 7～ 10章），主要包括 3個常用解析庫（ lxml、Beautiful Soup和 pyquery）的使用方法，同時介紹多種用于分析 HTML代碼的技術(shù)，如正則表達(dá)式、 XPath、CSS選擇器、方法選擇器等。第 4篇數(shù)據(jù)存儲（第 11、12章），主要包括 Python中數(shù)據(jù)存儲的解決方案，如文件存儲和數(shù)據(jù)庫存儲，其中數(shù)據(jù)庫存儲包括多種數(shù)據(jù)庫，如本地數(shù)據(jù)庫 SQLite、網(wǎng)絡(luò)數(shù)據(jù)庫 MySQL以及文檔數(shù)據(jù)庫 MongoDB。第 5篇爬蟲高級應(yīng)用（第 13～ 20章），主要包括 Python爬蟲的一些高級技術(shù)，如抓取異步數(shù)據(jù)、 Selenium、Splash、抓取移動 App數(shù)據(jù)、 Appium、多線程爬蟲、爬蟲框架 Scrapy，最后給出一個綜合的實戰(zhàn)案例，綜合了 Python爬蟲、數(shù)據(jù)存儲、 PyQt5、多線程、數(shù)據(jù)可視化、Web等多種技術(shù)實現(xiàn)一個可視化爬蟲。
本書可以作為廣大計算機(jī)軟件技術(shù)開發(fā)者、互聯(lián)網(wǎng)技術(shù)研究人員學(xué)習(xí)“爬蟲技術(shù)”的參考用書。也可以作為高等院校計算機(jī)科學(xué)與技術(shù)、軟件工程、人工智能等專業(yè)的教學(xué)參考用書。