由于此商品库存有限,请在下单后15分钟之内支付完成,手慢无哦!
100%刮中券,最高50元无敌券,券有效期7天
活动自2017年6月2日上线,敬请关注云钻刮券活动规则更新。
如活动受政府机关指令需要停止举办的,或活动遭受严重网络攻击需暂停举办的,或者系统故障导致的其它意外问题,苏宁无需为此承担赔偿或者进行补偿。
音像网络爬虫案例教程 Python·微课视频版韩莹 编
¥ ×1
章绪论
1.1网络爬虫的基本概念
1.2网络爬虫的基本流程
1.2.1发起请求
1.2.2获取响应内容
1..解析内容
1.2.4持久化保存数据
1.3网络爬虫的合法问题
1.4反爬虫技术
1.4.1Useragent控制访问
1.4.2IP访问
1.4.3设置请求间隔
1.4.4通过参数加密和JavaScript脚本
1.4.5通过robots.txt来爬虫
1.5网络爬虫的预备知识
1.5.1统一资源定位器
1.5.2超文本传输协议
1.5.3超文本标记语言
1.6开发语言和开发环境
1.6.1开发语言
1.6.2第三方请求库
1.6.3开发工具
第2章Requests库
2.1安装Requests库
2.2Requests库发送请求
.查看响应内容
..1查看响应状态码
..2查看响应的文本信息
..解决乱码问题
..4二进制码响应内容
..5JSON响应内容
2.4定制请求头部Headers
2.5Chrome浏览器开发者工具面板
2.5.1打开开发者工具面板
2.5.2Elements面板
2.5.3Network面板
2.6GET请求单个网页的爬取案例
2.6.1不带参数的GET请求
2.6.2携带参数的GET请求
第3章JSON数据爬取
3.1Ajax
3.1.1Ajax技术
3.1.2分析数据来源
3.2JSON
3.2.1JSON语法规则
3.2.2访问JSON数据
3..JSON文件读写操作
3.2.4JSON数据校验和格式化
3.3Ajax异步动态加载的数据爬虫
3.3.1带参数的POST请求爬虫
3.3.2多个网页多链接GET请求爬虫综合案例
3.4POST请求的两种参数格式
3.4.1Form Data类型
3.4.2Request Payload类型
第4章XPath解析及网页数据爬取
4.1XPath简介及安装
4.2XPath节点
4.2.1基本值节点
4.2.2节点关系
4.3XPath语法
4.3.1选取节点语法
4.3.2谓语
4.3.3选取未知节点
4.3.4选取若干路径
4.3.5初步使用XPath案例
4.4XPath表达式
4.4.1定位XPath搜索框
4.4.2在网页上写XPath表达式
4.5爬取HTML文档数据案例
4.6爬取多页HTML文档数据案例
4.6.1翻页在参数里
4.6.2翻页在URL中
4.7图片爬虫案例
4.7.1单张图片爬取
4.7.2多页多幅图片爬虫案例
4.7.3多类多页多图爬虫案例
第5章IP代理
5.1IP代理的作用
5.2IP代理使用方法
5.3搭建IP池
5.3.1获取单页IP
5.3.2获取多页IP
5.3.3检测IP有效
5.3.4建立IP池
5.4付费IP代理使用
第6章Selenium库
6.1Selenium安装及环境配置
6.1.1Selenium安装
6.1.2环境配置
6.1.3环境测试
6.2Selenium简单使用及配置
6.2.1打开网页
6.2.2规避伪装机制
6..常见的配置项
6.3Selenium的元素定位操作
6.3.1查看页面元素
6.3.2通过定位元素
6.3.3通过name定位元素
6.3.4通过class定位元素
6.3.5通过tag定位元素
6.3.6通过link定位元素
6.3.7通过partial_link定位元素
6.3.8通过XPath定位元素
6.3.9通过CSS定位元素
6.3.10通过By定位元素
6.4Selenium等待机制
6.4.1固定等待
6.4.2隐式等待
6.4.3显式等待WebDriverWait
6.5Selenium控制浏览器
6.5.1浏览器的常见操作
6.5.2不同窗口之间切换
6.5.3鼠标事件
6.5.4键盘事件
6.5.5定位Frame/IFrame
6.5.6页面下拉
6.5.7窗口截图
6.5.8文件上传
6.6Selenium爬虫案例
6.6.1单页爬取案例
6.6.2多页爬取案例
第7章Requests与Selenium结合使用
7.1Selenium模拟登录
7.1.1Selenium程序模拟登录
7.1.2手动输入数据模拟登录
7.2Cookie与Session机制
7.2.1Cookie机制
7.2.2Session机制
7.3Requests、Cookie、Selenium结合使用
7.4Selenium和Requests结合下载音乐
7.4.1单首音乐下载
7.4.2多首音乐下载
第8章异步爬虫
8.1基本概念
8.2串行下载多个视频
8.3使用线程池下载多个视频
8.3.1Multiprocessing
8.3.2Threading
8.4使用协程下载多个视频
第9章正则表达式
9.1正则函数
9.1.1re.match函数
9.1.2re.search函数
9.1.3re.sub函数
9.1.4re.compile函数
9.1.5re.findall函数
9.1.6re.finditer函数
9.1.7re.split函数
9.2正则表达式模式及实例
9.3正则表达式实例
9.3.1匹配字符串
9.3.2匹配字符组
9.3.3区间匹配
9.3.4特殊字符匹配
9.3.5取反
9.3.6快捷匹配数字和字符
9.3.7匹配空白字符
9.3.8单词边界
9.3.9快捷方式取反
9.3.10开始和结束
9.3.11匹配任意字符
9.3.12可选字符
9.3.13重复
9.3.14重复区间
9.3.15开闭区间
9.4正则表达式进阶
9.4.1分组
9.4.2或者条件
9.4.3分组的回溯引用
9.4.4断言
0章数据清洗
10.1数据分析流程
10.2数据清洗的概念及流程
10.3数据清洗常用方法
10.3.1读取数据
10.3.2初步探索数据
10.3.3简单处理数据
10.3.4重复值处理
10.3.5异常值处理
10.3.6处理缺失值
10.3.7爬取数据
10.3.8增加特征值
10.3.9格式与内容清洗
10.3.10数据持久化保存
1章综合爬虫案例
11.1数据爬取
11.1.1单线程爬取“前程无忧”
11.1.2多线程爬取“英才网”
11.1.3多线程爬取“前程无忧”
11.2简单数据清洗
11.2.1导入库
11.2.2初识数据
11..简单数据处理
11.2.4处理重复值
11.2.5处理空值
11.2.6字段内容清洗
11.2.7提取并增加特征值
11.2.8处理异常值
11.2.9数据保存
参考文献
韩莹,防灾科技学院教师,讲授“数据科学与大数据”课程,本教材采用纯的案例,和简单的注释,一些先修的知识是在课程有开设。
从实战出发,适合初学者,紧跟 章节案例,理清代码实现,很快掌握编写Python爬虫程序。
亲,大宗购物请点击企业用户渠道>小苏的服务会更贴心!
亲,很抱歉,您购买的宝贝销售异常火爆让小苏措手不及,请稍后再试~
非常抱歉,您前期未参加预订活动,
无法支付尾款哦!
抱歉,您暂无任性付资格