第 1 篇? 快速入門篇 第 1 章? Python 基礎 1.1 Python 環(huán)境搭建 1.1.1? Windows 下 Python 環(huán)境的安裝 1.1.2? Linux 下 Python 環(huán)境的安裝 1.1.3? macOS 下 Python 環(huán)境的安裝 1.1.4? IDE 開發(fā)工具介紹 1.2 Python 入門 1.2.1? 第一個 Python 程序 1.2.2? Python 注釋 1.2.3? 數(shù)據(jù)類型和變量 1.2.4? 字符串和編碼 1.2.5? 列表 1.2.6? 元組 1.2.7? 字典 1.2.8? 集合 1.2.9? 條件語句 1.2.10? 循環(huán)語句 1.2.11? 函數(shù) 1.2.12? 類 1.2.13? 推導式 1.2.14? 賦值表達式 1.3 新手實訓 實訓一：使用 for 循環(huán)實現(xiàn)九九乘法表 實訓二：判斷閏年 實訓三：計算二次方程 1.4 新手問答 本章小結(jié) 第 2 章? Python 爬蟲入門 39 2.1 爬蟲的分類 2.1.1? 通用網(wǎng)絡爬蟲 2.1.2? 聚焦網(wǎng)絡爬蟲 2.1.3? 增量式網(wǎng)絡爬蟲 2.1.4? 深層網(wǎng)絡爬蟲 2.2 爬蟲的基本結(jié)構(gòu)及工作流程 2.3 爬蟲策略 2.3.1? 深度優(yōu)先遍歷策略 2.3.2? 寬度優(yōu)先遍歷策略 2.3.3? 大站優(yōu)先策略 2.3.4? 最佳優(yōu)先搜索策略 2.4 HTTP 基本原理 2.4.1? URI 和 URL 介紹 2.4.2? 超文本 2.4.3? HTTP 和 HTTPS 2.4.4? HTTP 請求過程. 2.5 網(wǎng)頁基礎 2.5.1? 網(wǎng)頁的組成 2.5.2? 網(wǎng)頁的結(jié)構(gòu) 2.6 Session 和 Cookie 2.6.1? Session 和 Cookie 的工作原理 2.6.2? Session 和 Cookie 的區(qū)別 2.6.3? 常見誤區(qū) 2.7 新手實訓 實訓一：編寫網(wǎng)頁 實訓二：在網(wǎng)頁中插入標簽 2.8 新手問答 本章小結(jié) 第 3 章 基本庫的使用 3.1 urllib 3.1.1? urlopen() 3.1.2? 簡單抓取網(wǎng)頁 3.1.3? 設置請求超時 3.1.4? 使用 data 參數(shù)提交數(shù)據(jù) 3.1.5? Request 3.1.6? 簡單使用 Request 3.1.7? Request 高級用法 3.1.8? 使用代理 3.1.9? 認證登錄 3.1.10? Cookie 設置 3.1.11? HTTPResponse 3.1.12? 錯誤解析 3.2 requests 3.2.1? requests 庫的安裝 3.2.2? requests 庫的使用方法介紹 3.2.3? requests.get() 3.2.4? requests 庫的異常 3.2.5? request.head(） 3.2.6? requests.post() 3.2.7? requests.put() 和 requests.patch() 3.3 re正則使用 3.3.1? re.match() 3.3.2? re.search() 3.3.3? re.match() 與 re.search() 的區(qū)別 3.3.4? 檢索和替換 3.3.5? re.compile() 3.3.6? findall() 3.4 XPath 3.4.1? XPath 的使用方法 3.4.2? 利用實例講解 XPath 的使用 3.4.3? 獲取所有節(jié)點 3.4.4? 獲取子節(jié)點 3.4.5? 獲取文本信息 3.4.6? 通過谷歌瀏覽器獲取 XPath 表達式 3.5 BeautifulSoup 3.5.1? BeautifulSoup 模塊的安裝 3.5.2? 定位節(jié)點 3.5.3? 提取數(shù)據(jù) 3.6 新手實訓 實訓一：requests 庫爬取豆瓣電影 Top250 頁面 實訓二：百度搜索關鍵字提交 3.7 新手問答 本章小結(jié) 第 4 章? Ajax數(shù)據(jù)抓取 4.1 Ajax 簡介 4.1.1? 實例引入 4.1.2? Ajax 的基本原理 4.1.3? Ajax 方法分析 4.2 使用 Python模擬Ajax請求數(shù)據(jù) 4.2.1? 分析請求 4.2.2? 分析響應結(jié)果 4.2.3? 編寫代碼模擬抓取 4.3 新手實訓 實訓一：分析獵聘網(wǎng)的 xhr 請求并編寫代碼模擬抓取數(shù)據(jù) 實訓二：分析南方航空官網(wǎng)的機票查詢 xhr 請求抓取數(shù)據(jù) 4.4 新手問答 本章小結(jié) 第 5 章 動態(tài)渲染頁面爬取 5.1 Selenium 的使用 5.1.1? 安裝 Selenium 庫 5.1.2? Selenium 定位方法 5.1.3? 控制瀏覽器操作 5.1.4? WebDriver 常用方法 5.1.5? 鼠標事件和鍵盤事件 5.1.6? 獲取斷言信息 5.1.7? 設置元素等待 5.1.8? 多表單切換 5.1.9? 下拉框選擇 5.1.10? 調(diào)用 JavaScript 代碼 5.1.11? 窗口截圖 5.1.12? 無頭瀏覽模式 5.2 Playwright 的基本使用 5.2.1? Playwright 的安裝 5.2.2? Playwright 定位方法 5.2.3? Playwright 交互方法 5.3 新手實訓 實訓一：模擬登錄豆瓣 實訓二：使用 Playwright 模擬百度搜索 5.4 新手問答 本章小結(jié) 第 6 章 代理的設置與使用 6.1 代理設置 6.1.1? urllib 代理設置 6.1.2? requests 代理設置 6.1.3? Selenium 代理設置 6.1.4? Playwright 代理設置 6.2 代理池構(gòu)建 6.2.1? 獲取 IP 6.2.2? 驗證代理是否可用 6.2.3? 使用代理池 6.3 付費代理的使用 6.3.1? 訊代理的使用 6.3.2? 快代理的使用 6.4 自建代理IP服務 6.4.1? ADSL 撥號原理 6.4.2? 購買 VPS 主機 6.4.3? 測試撥號 6.4.4? HTTP 協(xié)議代理搭建與測試 6.4.5? Socks 協(xié)議代理搭建與測試 6.4.6? 使用 Python 實現(xiàn)撥號 6.5 新手問答 本章小結(jié) 第 7 章 驗證碼的識別與破解 7.1 普通圖形驗證碼識別 7.1.1? Python OCR 識別庫的安裝 7.1.2? 使用 OCR 識別簡單的圖形驗證碼 7.1.3? 數(shù)值計算型的驗證碼破解 7.2 滑動驗證碼原理 7.2.1? 普通滑動驗證碼 7.2.2? 帶缺口的滑塊驗證碼 7.3 其他常見驗證碼介紹 7.4 新手問答 本章小結(jié) 第 8 章? App 數(shù)據(jù)抓取 8.1 Fiddler 的基本使用 8.1.1? Fiddler 設置 8.1.2? 手機端設置 8.1.3? 抓取今日頭條 App 請求包 8.2 Charles 基本使用 8.2.1? Charles 安裝 8.2.2? 證書設置 8.2.3? 手機端配置 8.2.4? 抓包 8.2.5? 分析 8.2.6? 重發(fā) 8.3 Appium 基本使用 8.3.1? Appium 安裝 8.3.2? 啟動 App 8.3.3? appPackage 和 appActivity 參數(shù)的獲取方法 8.3.4? Python 代碼驅(qū)動 App 8.3.5? 常用 API 方法 8.4 新手問答 本章小結(jié) 第 9 章 數(shù)據(jù)存儲 9.1 文件存儲 9.1.1? TEXT 文件存儲 9.1.2? JSON 文件存儲 9.1.3? CSV 文件存儲 9.1.4? Excel 文件存儲 9.2 數(shù)據(jù)庫存儲 9.2.1? MySQL 存儲 9.2.2? MongoDB 存儲 9.2.3? Redis 存儲 9.2.4? PostgreSQL 存儲 9.3 新手實訓 實訓一：爬取云代理 IP 并保存到 Redis 數(shù)據(jù)庫中 實訓二：爬取簡書文章列表數(shù)據(jù)保存到 MySQL 數(shù)據(jù)庫中 9.4 新手問答 本章小結(jié) 第 2 篇? 技能進階篇 第 10 章 常用爬蟲框架 10.1 PySpider 框架 10.1.1? 安裝 PySpider 10.1.2? PySpider 的基本功能 10.1.3? PySpider 架構(gòu) 10.1.4? 第一個 PySpider 爬蟲 10.1.5? 保存數(shù)據(jù)到 MySQL 數(shù)據(jù)庫 10.2 Scrapy 框架 10.2.1? 安裝 Scrapy 10.2.2? 創(chuàng)建項目 10.2.3? 定義 Item 10.2.4? 編寫第一個爬蟲（Spider） 10.2.5? 運行爬取 10.2.6? 提取 Item 10.2.7? 在 Shell 中嘗試 Selector 選擇器 10.2.8? 提取數(shù)據(jù) 10.2.9? 使用 Item 10.2.10? Item Pipeline 10.2.11? 將 Item 寫入 JSON 文件 10.2.12? 保存數(shù)據(jù)到數(shù)據(jù)庫 10.3 Scrapy-Splash 的使用 10.3.1? 新建項目 10.3.2? 配置 10.3.3? 編寫爬蟲 10.3.4? 運行爬蟲 10.4 新手實訓 實訓一：使用 Scrapy 爬取四川麻辣社區(qū)提取 標簽內(nèi)容. 實訓二：使用 PySpider 爬取 IMDb 電影資料信息 10.5 新手問答 本章小結(jié) 第 11 章 部署爬蟲 11.1 Linux 系統(tǒng)下安裝 Python 3 11.1.1? 安裝 Python 3 11.1.2? 安裝 virtualenv 11.2 Docker 的使用 11.2.1? DockerHelloWorld 11.2.2? 運行交互式的容器 11.2.3? 啟動容器（后臺模式） 11.2.4? 停止容器 11.3 Docker安裝Python 11.3.1? docker pull python:3.5 11.3.2? 通過 Dockerfile 構(gòu)建 11.3.3? 使用 python 鏡像 11.4 Docker安裝MySQL 本章小結(jié) 第 12 章 數(shù)據(jù)分析與可視化 12.1 NumPy 的使用 12.1.1? NumPy 安裝 12.1.2? NumPy ndarray 對象 12.1.3? NumPy 數(shù)據(jù)類型 12.1.4? 數(shù)組屬性 12.1.5? NumPy 創(chuàng)建數(shù)組 12.1.6? NumPy 切片和索引 12.1.7? 數(shù)組的運算 12.1.8? NumPy Matplotlib 12.2 Pandas 的使用 12.2.1? 從 CSV 文件中讀取數(shù)據(jù) 12.2.2? 向 CSV 文件中寫入數(shù)據(jù) 12.2.3? Pandas 數(shù)據(jù)幀 12.2.4? Pandas 函數(shù)應用 12.2.5? Pandas 排序 12.2.6? Pandas 聚合 12.2.7? Pandas 可視化 12.3 pyecharts 的使用 12.3.1? 繪制第一個圖表 12.3.2? 使用主題 12.3.3? 使用 pyecharts-snapshot 插件 12.3.4? 圖形繪制過程 12.3.5? 多次顯示圖表 12.3.6? Pandas 或 Numpy 簡單示例 12.4 新手問答 本章小結(jié) 第 3 篇? 項目實戰(zhàn)篇 第 13 章 Python 爬蟲項目實戰(zhàn) 13.1 實戰(zhàn)一：requests 爬取房天下二手房數(shù)據(jù) 13.1.1? 抓包分析 13.1.2? 編寫爬蟲代碼 13.1.3? 分析二手房小區(qū)分布 13.1.4? 實例總結(jié) 13.2 實戰(zhàn)二：Scrapy 爬取電商網(wǎng)站產(chǎn)品數(shù)據(jù) 13.2.1? 抓包分析 13.2.2? 編寫爬蟲代碼 13.2.3? 分析新品價格區(qū)間分布情況 13.2.4? 實例總結(jié) 本章小結(jié) 第 4 篇? 技能拓展篇 第 14 章? 巧用 AI 工具輔助數(shù)據(jù)爬取與分析 14.1 熟悉常用 AI 工具 14.1.1? 快速上手文心一言 14.1.2? 快速上手豆包 14.2 AI工具助力爬蟲技術(shù) 14.2.1? 快速學習爬蟲知識 14.2.2? 輔助編寫爬蟲代碼 14.2.3? 輔助數(shù)據(jù)處理與可視化分析 14.3 案例實戰(zhàn)：利用 AI 工具快速爬取與分析豆瓣電影數(shù)據(jù) 14.3.1? 利用豆包 AI 工具輔助編寫爬蟲代碼 14.3.2? 利用豆包 AI 工具輔助數(shù)據(jù)分析與可視化 本章小結(jié)