正版新书]PYTHON网络爬虫开发从入门到精通(第2版)刘延林,徐清

第 1 篇  快速入门篇
第 1 章  Python 基础
1.1 Python 环境搭建
1.1.1  Windows 下 Python 环境的安装
1.1.2  Linux 下 Python 环境的安装
1.1.3  macOS 下 Python 环境的安装
1.1.4  IDE 开发工具介绍
1.2 Python 入门
1.2.1  第一个 Python 程序
1.2.2  Python 注释
1.2.3  数据类型和变量
1.2.4  字符串和编码
1.2.5  列表
1.2.6  元组
1.2.7  字典
1.2.8  集合
1.2.9  条件语句
1.2.10  循环语句
1.2.11  函数
1.2.12  类
1.2.13  推导式
1.2.14  赋值表达式
1.3 新手实训
实训一：使用 for 循环实现九九乘法表
实训二：判断闰年
实训三：计算二次方程
1.4 新手问答
本章小结
第 2 章  Python 爬虫入门 39
2.1 爬虫的分类
2.1.1  通用网络爬虫
2.1.2  聚焦网络爬虫
2.1.3  增量式网络爬虫
2.1.4  深层网络爬虫
2.2 爬虫的基本结构及工作流程
2.3 爬虫策略
2.3.1  深度优先遍历策略
2.3.2  宽度优先遍历策略
2.3.3  大站优先策略
2.3.4  最佳优先搜索策略
2.4 HTTP 基本原理
2.4.1  URI 和 URL 介绍
2.4.2  超文本
2.4.3  HTTP 和 HTTPS
2.4.4  HTTP 请求过程.
2.5 网页基础
2.5.1  网页的组成
2.5.2  网页的结构
2.6 Session 和 Cookie
2.6.1  Session 和 Cookie 的工作原理
2.6.2  Session 和 Cookie 的区别
2.6.3  常见误区
2.7 新手实训
实训一：编写网页
实训二：在网页中插入标签
2.8 新手问答
本章小结
第 3 章 基本库的使用
3.1 urllib
3.1.1  urlopen()
3.1.2  简单抓取网页
3.1.3  设置请求超时
3.1.4  使用 data 参数提交数据
3.1.5  Request
3.1.6  简单使用 Request
3.1.7  Request 高级用法
3.1.8  使用代理
3.1.9  认证登录
3.1.10  Cookie 设置
3.1.11  HTTPResponse
3.1.12  错误解析
3.2 requests
3.2.1  requests 库的安装
3.2.2  requests 库的使用方法介绍
3.2.3  requests.get()
3.2.4  requests 库的异常
3.2.5  request.head(）
3.2.6  requests.post()
3.2.7  requests.put() 和 requests.patch()
3.3 re正则使用
3.3.1  re.match()
3.3.2  re.search()
3.3.3  re.match() 与 re.search() 的区别
3.3.4  检索和替换
3.3.5  re.compile()
3.3.6  findall()
3.4 XPath
3.4.1  XPath 的使用方法
3.4.2  利用实例讲解 XPath 的使用
3.4.3  获取所有节点
3.4.4  获取子节点
3.4.5  获取文本信息
3.4.6  通过谷歌浏览器获取 XPath 表达式
3.5 BeautifulSoup
3.5.1  BeautifulSoup 模块的安装
3.5.2  定位节点
3.5.3  提取数据
3.6 新手实训
实训一：requests 库爬取豆瓣电影 Top250 页面
实训二：百度搜索关键字提交
3.7 新手问答
本章小结
第 4 章  Ajax数据抓取
4.1 Ajax 简介
4.1.1  实例引入
4.1.2  Ajax 的基本原理
4.1.3  Ajax 方法分析
4.2 使用 Python模拟Ajax请求数据
4.2.1  分析请求
4.2.2  分析响应结果
4.2.3  编写代码模拟抓取
4.3 新手实训
实训一：分析猎聘网的 xhr 请求并编写代码模拟抓取数据
实训二：分析南方航空官网的机票查询 xhr 请求抓取数据
4.4 新手问答
本章小结
第 5 章 动态渲染页面爬取
5.1 Selenium 的使用
5.1.1  安装 Selenium 库
5.1.2  Selenium 定位方法
5.1.3  控制浏览器操作
5.1.4  WebDriver 常用方法
5.1.5  鼠标事件和键盘事件
5.1.6  获取断言信息
5.1.7  设置元素等待
5.1.8  多表单切换
5.1.9  下拉框选择
5.1.10  调用 JavaScript 代码
5.1.11  窗口截图
5.1.12  无头浏览模式
5.2 Playwright 的基本使用
5.2.1  Playwright 的安装
5.2.2  Playwright 定位方法
5.2.3  Playwright 交互方法
5.3 新手实训
实训一：模拟登录豆瓣
实训二：使用 Playwright 模拟百度搜索
5.4 新手问答
本章小结
第 6 章 代理的设置与使用
6.1 代理设置
6.1.1  urllib 代理设置
6.1.2  requests 代理设置
6.1.3  Selenium 代理设置
6.1.4  Playwright 代理设置
6.2 代理池构建
6.2.1  获取 IP
6.2.2  验证代理是否可用
6.2.3  使用代理池
6.3 付费代理的使用
6.3.1  讯代理的使用
6.3.2  快代理的使用
6.4 自建代理IP服务
6.4.1  ADSL 拨号原理
6.4.2  购买 VPS 主机
6.4.3  测试拨号
6.4.4  HTTP 协议代理搭建与测试
6.4.5  Socks 协议代理搭建与测试
6.4.6  使用 Python 实现拨号
6.5 新手问答
本章小结
第 7 章 验证码的识别与破解
7.1 普通图形验证码识别
7.1.1  Python OCR 识别库的安装
7.1.2  使用 OCR 识别简单的图形验证码
7.1.3  数值计算型的验证码破解
7.2 滑动验证码原理
7.2.1  普通滑动验证码
7.2.2  带缺口的滑块验证码
7.3 其他常见验证码介绍
7.4 新手问答
本章小结
第 8 章  App 数据抓取
8.1 Fiddler 的基本使用
8.1.1  Fiddler 设置
8.1.2  手机端设置
8.1.3  抓取今日头条 App 请求包
8.2 Charles 基本使用
8.2.1  Charles 安装
8.2.2  证书设置
8.2.3  手机端配置
8.2.4  抓包
8.2.5  分析
8.2.6  重发
8.3 Appium 基本使用
8.3.1  Appium 安装
8.3.2  启动 App
8.3.3  appPackage 和 appActivity 参数的获取方法
8.3.4  Python 代码驱动 App
8.3.5  常用 API 方法
8.4 新手问答
本章小结
第 9 章 数据存储
9.1 文件存储
9.1.1  TEXT 文件存储
9.1.2  JSON 文件存储
9.1.3  CSV 文件存储
9.1.4  Excel 文件存储
9.2 数据库存储
9.2.1  MySQL 存储
9.2.2  MongoDB 存储
9.2.3  Redis 存储
9.2.4  PostgreSQL 存储
9.3 新手实训
实训一：爬取云代理 IP 并保存到 Redis 数据库中
实训二：爬取简书文章列表数据保存到 MySQL 数据库中
9.4 新手问答
本章小结
第 2 篇  技能进阶篇
第 10 章 常用爬虫框架
10.1 PySpider 框架
10.1.1  安装 PySpider
10.1.2  PySpider 的基本功能
10.1.3  PySpider 架构
10.1.4  第一个 PySpider 爬虫
10.1.5  保存数据到 MySQL 数据库
10.2 Scrapy 框架
10.2.1  安装 Scrapy
10.2.2  创建项目
10.2.3  定义 Item
10.2.4  编写第一个爬虫（Spider）
10.2.5  运行爬取
10.2.6  提取 Item
10.2.7  在 Shell 中尝试 Selector 选择器
10.2.8  提取数据
10.2.9  使用 Item
10.2.10  Item Pipeline
10.2.11  将 Item 写入 JSON 文件
10.2.12  保存数据到数据库
10.3 Scrapy-Splash 的使用
10.3.1  新建项目
10.3.2  配置
10.3.3  编写爬虫
10.3.4  运行爬虫
10.4 新手实训
实训一：使用 Scrapy 爬取四川麻辣社区提取 标签内容.
实训二：使用 PySpider 爬取 IMDb 电影资料信息
10.5 新手问答
本章小结
第 11 章 部署爬虫
11.1 Linux 系统下安装 Python 3
11.1.1  安装 Python 3
11.1.2  安装 virtualenv
11.2 Docker 的使用
11.2.1  DockerHelloWorld
11.2.2  运行交互式的容器
11.2.3  启动容器（后台模式）
11.2.4  停止容器
11.3 Docker安装Python
11.3.1  docker pull python:3.5
11.3.2  通过 Dockerfile 构建
11.3.3  使用 python 镜像
11.4 Docker安装MySQL
本章小结
第 12 章 数据分析与可视化
12.1 NumPy 的使用
12.1.1  NumPy 安装
12.1.2  NumPy ndarray 对象
12.1.3  NumPy 数据类型
12.1.4  数组属性
12.1.5  NumPy 创建数组
12.1.6  NumPy 切片和索引
12.1.7  数组的运算
12.1.8  NumPy Matplotlib
12.2 Pandas 的使用
12.2.1  从 CSV 文件中读取数据
12.2.2  向 CSV 文件中写入数据
12.2.3  Pandas 数据帧
12.2.4  Pandas 函数应用
12.2.5  Pandas 排序
12.2.6  Pandas 聚合
12.2.7  Pandas 可视化
12.3 pyecharts 的使用
12.3.1  绘制第一个图表
12.3.2  使用主题
12.3.3  使用 pyecharts-snapshot 插件
12.3.4  图形绘制过程
12.3.5  多次显示图表
12.3.6  Pandas 或 Numpy 简单示例
12.4 新手问答
本章小结
第 3 篇  项目实战篇
第 13 章 Python 爬虫项目实战
13.1 实战一：requests 爬取房天下二手房数据
13.1.1  抓包分析
13.1.2  编写爬虫代码
13.1.3  分析二手房小区分布
13.1.4  实例总结
13.2 实战二：Scrapy 爬取电商网站产品数据
13.2.1  抓包分析
13.2.2  编写爬虫代码
13.2.3  分析新品价格区间分布情况
13.2.4  实例总结
本章小结
第 4 篇  技能拓展篇
第 14 章  巧用 AI 工具辅助数据爬取与分析
14.1 熟悉常用 AI 工具
14.1.1  快速上手文心一言
14.1.2  快速上手豆包
14.2 AI工具助力爬虫技术
14.2.1  快速学习爬虫知识
14.2.2  辅助编写爬虫代码
14.2.3  辅助数据处理与可视化分析
14.3 案例实战：利用 AI 工具快速爬取与分析豆瓣电影数据
14.3.1  利用豆包 AI 工具辅助编写爬虫代码
14.3.2  利用豆包 AI 工具辅助数据分析与可视化
本章小结