醉染图书实战Python网络爬虫9787302524892

章理解网络爬虫1
1.1爬虫的定义1
1.2爬虫的类型2
1.3爬虫的原理2
1.4爬虫的搜索策略4
1.5爬虫的合法与开发流程5
1.6本章小结6
第2章爬虫开发基础7
2.1HTTP与HTTPS7
2.2请求头9
.Cookies10
2.4HTML11
2.5JavaScript12
2.6JSON14
2.7Ajax14
2.8本章小结15
第3章Chrome分析16
3.1Chrome开发工具16
3.2Elements标签17
3.3Network标签18
3.4分析音乐0
3.5本章小结
第4章Fiddler抓包24
4.1Fiddler介绍24
4.2Fiddler安装配置24
4.3Fiddler抓取手机应用26
4.4Toolbar工具栏29
4.5WebSession列表30
4.6View选项视图32
4.7ickexec命令行33
4.8本章小结34
第5章爬虫库Urllib35
5.1Urllib简介35
5.2发送请求36
5.3复杂的请求37
5.4代理IP38
5.5使用Cookies39
5.6验40
5.7数据处理41
5.8本章小结42
第6章爬虫库Requests43
6.1Requests简介及安装43
6.2请求方式44
6.3复杂的请求方式45
6.4下载与上传47
6.5本章小结49
第7章Requests-Cache爬虫缓存50
7.1简介及安装50
7.2在Requests中使用缓存50
7.3缓存的存储机制53
7.4本章小结54
第8章爬虫库Requests-HTML55
8.1简介及安装55
8.2请求方式56
8.3数据清洗56
8.4Ajax动态数据抓取59
8.5本章小结61
第9章网页操控与数据爬取62
9.1了解Selenium62
9.2安装Selenium63
9.3网页元素定位66
9.4网页元素操控70
9.5常用功能73
9.6实战：百度自动答题80
9.7本章小结85
0章手机App数据爬取86
10.1Appium简介及原理86
10.2搭建开发环境87
10.3连接Android系统92
10.4App的元素定位97
10.5App的元素操控99
10.6实战：商品采集102
10.7本章小结107
1章Splash、Mitmproxy与Aiohttp109
11.1Splash动态数据抓取109
11.1.1简介及安装109
11.1.2使用Splash的API接口112
11.2Mitmproxy抓包116
11.2.1简介及安装116
11.2.2用Mitmdump抓取爱奇艺视频116
11.3Aiohttp高并发抓取119
11.3.1简介及使用119
11.3.2Aiohttp异步爬取小说排行榜1
11.4本章小结126
2章验码识别128
12.1验码的类型128
12.2OCR技术129
1.第三方平台131
12.4本章小结134
3章数据清洗136
13.1字符串操作136
13.1.1截取136
13.1.2替换137
13.1.3查找137
13.1.4分割138
13.2正则表达式139
13.2.1正则语法140
13.2.2正则处理函数141
13.3BeautifulSoup数据清洗144
13.3.1BeautifulSoup介绍与安装144
13.3.2BeautifulSoup的使用示例146
13.4本章小结149
4章文档数据存储150
14.1CSV数据的写入和读取150
14.2Excel数据的写入和读取151
14.3Word数据的写入和读取154
14.4本章小结156
5章ORM框架158
15.1SLAlchemy介绍与安装158
15.1.1操作数据库的方法158
15.1.2SLAlchemy框架介绍158
15.1.3SLAlchemy的安装159
15.2连接数据库160
15.3创建数据表162
15.4添加数据164
15.5更新数据165
15.6查询数据166
15.7本章小结168
6章MongoDB数据库操作169
16.1MongoDB介绍169
16.2MogoDB的安装及使用170
16.2.1MongoDB的安装与配置170
16.2.2MongoDB可视化工具172
16..PyMongo的安装173
16.3连接MongoDB数据库173
16.4添加文档174
16.5更新文档175
16.6查询文档176
16.7本章小结178
7章实战：爬取51Job招聘信息180
17.1项目分析180
17.2获取城市编号180
17.3获取招聘职位总页数182
17.4爬取每个职位信息184
17.5数据存储188
17.6爬虫配置文件190
17.7本章小结191
8章实战：分布式爬虫——音乐93
18.1项目分析193
18.2歌曲下载194
18.3歌手的歌曲信息198
18.4分类歌手列表201
18.5全站歌手列表203
18.6数据存储204
18.7分布式爬虫205
18.7.1分布式概念205
18.7.2并发库concurrent.futures206
18.7.3分布式策略207
18.8本章小结209
9章实战：10抢票爬虫211
19.1项目分析211
19.2验码验211
19.3用户登录与验214
19.4查询车次219
19.5预订车票225
19.6提交订单227
19.7生成订单
19.8本章小结
第20章实战：玩转微博244
20.1项目分析244
20.2用户登录244
20.3用户登录（带验码）253
20.4关键词搜索热门微25
20.5发布微博264
20.6关注用户268
20.7点赞和转发评论271
20.8本章小结277
2章实战：微博爬虫软件开发278
21.1GUI库及Pyt的安装与配置278
21.1.1GUI库278
21.1.2Pyt安装及环境搭建279
21.2项目分析281
21.3软件主界面284
21.4相关服务界面288
21.5微博采集界面292
21.6微博发布界面297
21.7微博爬虫功能308
21.8本章小结315
第22章Scrapy爬虫开发317
22.1认识与安装Scrapy317
22.1.1常见爬虫框架介绍317
22.1.2Scrapy的运行机制318
22.1.3安装Scrapy319
22.2Scrapy爬虫开发示例320
2.Spider的编写326
22.4Items的编写329
22.5ItemPipeline的编写330
22.5.1用MongoDB实现数据入库330
22.5.2用SLAlchemy实现数据入库332
22.6Selectors的编写333
22.7文件下载336
22.8本章小结339
第章Scrapy扩展开发341
.1剖析Scrapy中间件341
.1.1SpiderMiddleware中间件342
.1.2DownloaderMiddleware中间件344
.2自定义中间件347
.2.1设置代理IP服务347
.2.2动态设置请求头350
..设置随机Cookies353
.实战：Scrapy+Selenium爬取豆瓣电影评论355
..1分析355
..2项目设计与实现357
..3定义Selenium中间件359
..4开发Spider程序360
.4实战：Scrapy+Splash爬取B站动漫信息362
.4.1Scrapy_Splash实现原理363
.4.2分析363
.4.3项目设计与实现365
.4.4开发Spider程序367
.5实战：Scrapy+Redis分布式爬取猫眼排行榜369
.5.1Scrapy_Redis实现原理369
.5.2安装Redis数据库371
.5.3分析372
.5.4项目设计与实现373
.5.5开发Spider程序375
.分布式爬虫与增量式爬虫377
..1基于管道实现增量式378
..2基于中间件实现增量式381
.本章小结384
第24章实战：爬取链家楼盘信息386
24.1项目分析386
24.2创建项目389
24.3项目配置389
24.4定义存储字段391
24.5定义管道类392
24.6编写爬虫规则396
24.7本章小结400
第25章实战：音乐全站爬取402
25.1项目分析402
25.2项目创建与配置403
25.2.1项目创建403
25.2.2项目配置403
25.3定义存储字段和管道类405
25.3.1定义存储字段405
25.3.2定义管道类405
25.4编写爬虫规则408
25.5本章小结413
第26章爬虫的上线部署415
26.1非框架式爬虫部署415
26.1.1创建可执行程序415
26.1.2制定任务计划程序417
26.1.3创建服务程序421
26.2框架式爬虫部署424
26.2.1Scrapyd部署爬虫服务424
26.2.2Gerapy爬虫管理框架429
26.3本章小结434
第27章反爬虫的解决方案435
27.1常见的反爬虫技术435
27.2基于验码的反爬虫436
27.2.1验码出现的情况437
27.2.2解决方案438
27.3基于请求参数的反爬虫439
27.3.1请求参数的数据来源439
27.3.2请求参数的查找440
27.4基于请求头的反爬虫441
27.5基于Cookies的反爬虫443
27.6本章小结447
第28章自己动手开发爬虫框架449
28.1框架设计说明449
28.2异步爬取方式450
28.3数据清洗机制455
28.4数据存储机制457
28.5实战：用自制框架爬取豆瓣电影463
28.6本章小结468

黄永祥，CSDN博客专家和签约讲师，多年软件研发经验，主要从事机器人流程系统研发、大数据系统研发、网络爬虫研发以及自动化运维系统研发。擅长使用Python编写高质量代码，对Python有深入研究，热爱分享和新技术的探索。