Python 3反爬虫原理与绕过实战 韦世东 著 王军花 编 专业科技 文轩网

第1章开发环境配置1
1.1操作系统的选择1
1.1.1Ubuntu简介1
1.1.2VirtualBox的安装2
1.1.3安装Ubuntu3
1.1.4全屏设置8
1.1.5Python设置9
1.2练习平台Steamboat10
1.2.1安装Docker11
1.2.2安装Steamboat12
1.2.3Steamboat使用说明14
1.3第三方库的安装15
1.3.1Requests15
1.3.2Selenium15
1.3.3浏览器驱动16
1.3.4Splash18
1.3.5Puppeteer18
1.3.6PyTesseract20
1.4常用软件的安装21
1.4.1nginx21
1.4.2Charles22
1.4.3PC端SSL证书23
1.4.4iOS系统的证书设置26
1.4.5Andriod模拟器的安装与证书设置27
1.4.6Postman29
1.4.7GoogleChrome32
1.4.8JADX33
1.5深度学习环境配置35
1.5.1NVIDIA显卡驱动安装35
1.5.2CUDAToolkit的安装38
1.5.3cuDNN的安装40
1.5.4深度学习库PyTorch41
1.5.5深度学习框架Darknet42
1.5.6图片标注工具LabelImg43
1.6Node.js环境配置44
1.6.1Node.js的安装44
1.6.2UglifyJS的安装45
第2章Web网站的构成和页面渲染47
2.1nginx服务器47
2.1.1nginx的信号48
2.1.2nginx配置文件49
2.1.3简单的代理服务50
2.1.4nginx模块与指令52
2.1.5nginx日志57
2.1.6小结58
2.2浏览器58
2.2.1浏览器的主要结构59
2.2.2页面渲染60
2.2.3HTMLDOM62
2.2.4浏览器对象BOM65
2.2.5小结70
2.3网络协议71
2.3.1认识HTTP71
2.3.2资源与资源标识符72
2.3.3HTTP请求与响应74
2.3.4Cookie77
2.3.5了解HTTPS80
2.3.6认识WebSocket81
2.3.7WebSocket握手81
2.3.8数据传输与数据帧83
2.3.9WebSocket连接85
2.3.10连接保持87
2.3.11小结88
本章总结88
第3章爬虫与反爬虫89
3.1动态网页与网页源代码89
3.2爬虫知识回顾90
3.3反爬虫的概念与定义95
本章总结96
第4章信息校验型反爬虫97
4.1User-Agent反爬虫97
4.1.1User-Agent反爬虫绕过实战97
4.1.2User-Agent反爬虫的原理与实现100
4.1.3小结103
4.2Cookie反爬虫103
4.2.1Cookie反爬虫绕过实战103
4.2.2Cookie反爬虫原理与实现109
4.2.3Cookie与JavaScript结合110
4.2.4用户过滤112
4.2.5小结113
4.3签名验证反爬虫114
4.3.1签名验证反爬虫绕过实战114
4.3.2签名验证反爬虫原理与实现121
4.3.3有道翻译反爬虫案例123
4.3.4小结125
4.4WebSocket握手验证反爬虫125
4.5WebSocket消息校验反爬虫129
4.5.1WebSocket消息校验反爬虫示例130
4.5.2乐鱼体育反爬虫案例132
4.6WebSocketPing反爬虫133
本章总结134
第5章动态渲染反爬虫135
5.1常见的动态渲染反爬虫案例135
5.1.1自动执行的异步请求案例135
5.1.2点击事件和计算138
5.1.3下拉加载和异步请求142
5.1.4小结144
5.2动态渲染的通用解决办法144
5.2.1Selenium套件144
5.2.2异步渲染库Puppeteer148
5.2.3异步渲染服务Splash150
5.2.4通用不一定适用154
5.2.5渲染工具知识扩展156
5.2.6小结160
本章总结160
第6章文本混淆反爬虫161
6.1图片伪装反爬虫161
6.1.1图片伪装反爬虫绕过实战161
6.1.2广西人才网反爬虫案例164
6.1.3小结165
6.2CSS偏移反爬虫165
6.2.1CSS偏移反爬虫绕过实战166
6.2.2去哪儿网反爬虫案例172
6.2.3小结174
6.3SVG映射反爬虫174
6.3.1SVG映射反爬虫绕过实战174
6.3.2大众点评反爬虫案例177
6.3.3SVG反爬虫原理179
6.3.4小结186
6.4字体反爬虫186
6.4.1字体反爬虫示例186
6.4.2字体文件WOFF189
6.4.3字体反爬虫绕过实战196
6.4.4小结198
6.5文本混淆反爬虫通用解决办法199
6.5.1光学字符识别OCR199
6.5.2PyTesseract的缺点201
6.5.3文字识别API202
6.5.4小结206
本章总结206
第7章特征识别反爬虫207
7.1WebDriver识别207
7.1.1WebDriver识别示例207
7.1.2WebDriver识别原理210
7.1.3WebDriver识别的绕过方法211
7.1.4淘宝网WebDriver案例214
7.1.5小结215
7.2浏览器特征215
7.3爬虫特征219
7.3.1访问频率绕过实战219
7.3.2访问频率的原理与实现222
7.3.3浏览器指纹知识扩展223
7.3.4淘宝网浏览器指纹案例227
7.3.5小结228
7.4隐藏链接反爬虫228
7.4.1隐藏链接反爬虫示例228
7.4.2隐藏链接反爬虫原理与实现231
7.4.3小结233
本章总结234
第8章App反爬虫235
8.1App抓包235
8.1.1HTTP抓包示例235
8.1.2掌上英雄联盟抓包案例（HTTP）240
8.1.3京东商城抓包案例（HTTPS）243
8.1.4小结246
8.2A文件反编译246
8.2.1App签名验证反爬虫示例246
8.2.2A文件反编译实战248
8.2.3小结251
8.3代码混淆反爬虫251
8.3.1Android代码混淆原理252
8.3.2掘金社区App代码混淆案例255
8.3.3小结257
8.4App应用加固知识扩展257
8.5了解应用程序自动化测试工具260
8.5.1了解Appium260
8.5.2了解AirtestProject260
8.5.3小结262
本章总结262
第9章验证码263
9.1字符验证码263
9.1.1字符验证码示例263
9.1.2实现字符验证码266
9.1.3深度学习的概念269
9.1.4卷积神经网络的概念272
9.1.5使用卷积神经网络预测验证码276
9.1.6小结286
9.2计算型验证码286
9.2.1计算型验证码示例286
9.2.2实现计算型验证码288
9.2.3小结291
9.3滑动验证码291
9.3.1滑动验证码示例291
9.3.2实现滑动验证码295
9.3.3小结298
9.4滑动拼图验证码298
9.4.1滑动拼图验证码示例299
9.4.2实现滑动拼图验证码302
9.4.3难度升级307
9.4.4图片中的缺口位置识别308
9.4.5小结310
9.5文字点选验证码310
9.5.1文字点选验证码示例310
9.5.2实现文字点选验证码312
9.5.3目标检测的概念316
9.5.4深度学习实现文字定位317
9.5.5批量检测与坐标输出323
9.5.6小结330
9.6鼠标轨迹的检测和原理330
9.7验证码产品赏析336
9.7.1滑动验证码336
9.7.2图标验证码337
9.7.3空间推理验证码338
9.7.4小结338
本章总结338
第10章综合知识339
10.1编码与加密339
10.1.1ASCII编码339
10.1.2详解Base64342
10.1.3基于编码的反爬虫设计344
10.1.4MD5消息摘要算法347
10.1.5对称加密与AES352
10.1.6非对称加密与RSA357
10.1.7小结360
10.2JavaScript代码混淆360
10.2.1常见的混淆方法361
10.2.2混淆代码的还原363
10.2.3混淆原理365
10.2.4实现一个简单的混淆器366
10.2.5小结369
10.3前端禁止事件369
10.3.1禁止鼠标事件370
10.3.2禁止键盘事件371
10.3.3小结372
10.4法律法规372
10.4.1数据安全管理办法征求意见稿374
10.4.2爬虫协议Robots375
10.4.3与爬虫相关的法律法规376
10.4.4小结377
本章总结377