Python3网络爬虫开发实战 第2版 崔庆才 著 专业科技 文轩网

第 1章  爬虫基础 1 1.1  HTTP基本原理  1 1.2  Web 网页基础  12 1.3  爬虫的基本原理  19 1.4  Session和Cookie  21 1.5  代理的基本原理  24 1.6  多线程和多进程的基本原理  26 第  2章 基本库的使用  29 2.1  urllib的使用  29 2.2  requests的使用  47 2.3  正则表达式  63 2.4  httpx的使用  73 2.5  基础爬虫案例实战  78 第3章  网页数据的解析提取  90 3.1  XPath的使用  90 3.2  Beautiful Soup的使用  99 3.3  pyquery的使用  113 3.4  parsel 的使用  124 第4章  数据的存储  128 4.1  TXT 文本文件存储  128 4.2  JSON 文件存储  130 4.3  CSV 文件存储  134 4.4  MySQL 存储  138 4.5  MongoDB 文档存储  144 4.6  Redis缓存存储  151 4.7  Elasticsearch 搜索引擎存储  159 4.8  RabbitMQ 的使用  166 第5章  Ajax 数据爬取  174 5.1  什么是 Ajax  174 5.2  Ajax分析方法  176 5.3  Ajax 分析与爬取实战  179 第6章  异步爬虫  191 6.1  协程的基本原理  191 6.2  aiohttp的使用  201 6.3  aiohttp 异步爬取实战  207 第7章  JavaScript 动态渲染页面爬取  212 7.1  Selenium 的使用  212 7.2  Splash 的使用  226 7.3  Pyppeteer 的使用  242 7.4  Playwright 的使用  257 7.5  Selenium 爬取实战  269 7.6  Pyppeteer 爬取实战  276 7.7  CSS 位置偏移反爬案例分析与爬取实战  282 7.8  字体反爬案例分析与爬取实战  287 第8章  验证码的识别  293 8.1  使用 OCR 技术识别图形验证码  293 8.2  使用 OpenCV 识别滑动验证码的缺口  298 8.3  使用深度学习识别图形验证码  304 8.4  使用深度学习识别滑动验证码的缺口  309 8.5  使用打码平台识别验证码  316 8.6  手机验证码的自动化处理  324 第9章  代理的使用  331 9.1  代理的设置  331 9.2  代理池的维护  340 9.3  付费代理的使用  351 9.4  ADSL 拨号代理的搭建方法  357 9.5  代理反爬案例爬取实战  365 第  10章 模拟登录  373 10.1  模拟登录的基本原理  373 10.2  基于Session和Cookie的模拟登录爬取实战  376 10.3  基于JWT的模拟登录爬取实战  381 10.4  大规模账号池的搭建  385 第  11章 JavaScript 逆向爬虫  397 11.1  网站加密和混淆技术简介  397 11.2  浏览器调试常用技巧  413 11.3  JavaScript Hook 的使用  430 11.4  无限 debugger 的原理与绕过  440 11.5  使用 Python 模拟执行 JavaScript  445 11.6  使用 Node.js 模拟执行 JavaScript  451 11.7  浏览器环境下 JavaScript 的模拟执行  454 11.8  AST 技术简介  460 11.9  使用 AST 技术还原混淆代码  472 11.10  特殊混淆案例的还原  480 11.11  WebAssembly 案例分析和爬取实战  490 11.12  JavaScript 逆向技巧总结  498 11.13  JavaScript 逆向爬取实战  505 第  12章 App 数据的爬取  530 12.1  Charles 抓包工具的使用  530 12.2  mitmproxy 抓包工具的使用  538 12.3  mitmdump 实时抓包处理  544 12.4  Appium 的使用  551 12.5  基于 Appium 的 App 爬取实战  562 12.6  Airtest 的使用  568 12.7  基于 Airtest 的 App 爬取实战  585 12.8  手机群控爬取实战  591 12.9  云手机的使用  594 第  13章 Android 逆向  603 13.1  jadx 的使用  603 13.2  JEB 的使用  615 13.3  Xposed 框架的使用  624 13.4  基于 Xposed 的爬取实战案例  635 13.5  Frida 的使用  643 13.6  SSL Pining 问题的解决方案  650 13.7  Android 脱壳技术简介与实战  657 13.8  利用 IDA Pro 静态分析和动态调试 so 文件  664 13.9  基于 Frida-RPC 模拟执行 so 文件  680 13.10  基于 AndServer-RPC 模拟执行 so 文件  685 13.11  基于 unidbg 模拟执行 so 文件  692 第  14章 页面智能解析  700 14.1  页面智能解析简介  700 14.2  详情页智能解析算法简介  707 14.3  详情页智能解析算法的实现  714 14.4  列表页智能解析算法简介  722 14.5  列表页智能解析算法的实现  727 14.6  如何智能分辨列表页和详情页  735 第  15章 Scrapy框架的使用  739 15.1  Scrapy框架介绍  739 15.2  Scrapy入门  743 15.3  Selector 的使用  754 15.4  Spider 的使用  759 15.5  Downloader Middleware的使用  766 15.6  Spider Middleware的使用  775 15.7  Item Pipeline的使用  781 15.8  Extension的使用  792 15.9  Scrapy 对接 Selenium  795 15.10  Scrapy 对接 Splash  801 15.11  Scrapy 对接 Pyppeteer  806 15.12  Scrapy 规则化爬虫  813 15.13  Scrapy 实战  827 第  16章 分布式爬虫  840 16.1  分布式爬虫理念  840 16.2  Scrapy-Redis原理和源码解析  842 16.3  基于Scrapy-Redis的分布式爬虫实现  847 16.4  基于Bloom Filter进行大规模去重  851 16.5  基于RabbitMQ的分布式爬虫  859 第  17章 爬虫的管理和部署  862 17.1  Scrapyd和ScrapydAPI的使用  862 17.2  Scrapyd-Client 的使用  867 17.3  Gerapy 爬虫管理框架的使用  869 17.4  将Scrapy 项目打包成 Docker 镜像  873 17.5  Docker Compose 的使用  878 17.6  Kubernetes的使用  880 17.7  用 Kubernetes 部署和管理 Scrapy 爬虫  888 17.8  Scrapy 分布式爬虫的数据统计方案  899 17.9  基于Prometheus和Grafana的分布式爬虫监控方案  904 附录  爬虫与法律  917