PYTHON 3.7网络爬虫快速入门 王启明 著 专业科技 文轩网

第1章 简识PYTHON 1 1.1 了解PYTHON 1 1.1.1 Python的概念 1 1.1.2 有趣的Python程序 2 1.2 集成开发环境 4 1.2.1 安装Python 3.7 4 1.2.2 从IDLE启动Python 6 1.3 编写自己的第一个PYTHON程序：一个简单的问候 8 1.4 小结 11 第2章 PYTHON语法速览 12 2.1 数据类型与变量 12 2.1.1 数据类型 12 2.1.2 变量 14 2.2 运算符 15 2.2.1 算术运算符 16 2.2.2 比较运算符 17 2.2.3 赋值运算符 17 2.2.4 逻辑运算符 18 2.2.5 位运算符 19 2.2.6 成员运算符 20 2.2.7 身份运算符 21 2.2.8 运算符的优先级 21 2.3 使用复合类型 21 2.3.1 列表 22 2.3.2 元组 26 2.3.3 字典 26 2.3.4 集合 27 2.4 流程控制结构 29 2.4.1 选择结构 29 2.4.2 重复结构（循环结构） 30 2.5 小结 33 第3章 函 数 34 3.1 认识函数 34 3.1.1 什么是函数 34 3.1.2 创建函数 35 3.2 使用函数 35 3.2.1 参数 36 3.2.2 返回值 38 3.2.3 函数的递归 39 3.3 实践一下 40 3.3.1 实践一：编写一个函数 40 3.3.2 实践二：遍历与计数 41 3.4 小结 42 第4章 LXML模块和XPATH语法 43 4.1 LXML模块 43 4.1.1 什么是模块 43 4.1.2 关于lxml模块 44 4.1.3 lxml模块的安装 44 4.1.4 lxml库的用法 46 4.2 XPATH语法 46 4.2.1 基本语法 46 4.2.2 基本操作 47 4.2.3 lxml库的用法 49 4.2.4 XPath范例程序测试 50 4.3 爬虫LXML解析实战 53 4.3.1 爬取豆瓣网站 53 4.3.2 爬取电影天堂 55 4.3.3 爬取猫眼电影 58 4.3.4 爬取腾讯招聘网 61 4.3.5 关于HTML 63 4.4 小结 63 第5章 BEAUTIFULSOUP库 64 5.1 简识BEAUTIFULSOUP 4 64 5.1.1 安装与配置 64 5.1.2 基本用法 66 5.2 BEAUTIFULSOUP 对象 67 5.2.1 创建BeautifulSoup对象 67 5.2.2 4类对象 70 5.2.3 遍历文档树 74 5.2.4 搜索文档树 78 5.3 方法和CSS选择器 81 5.3.1 find类方法 81 5.3.2 CSS选择器 82 5.4 爬取示范：使用BEAUTIFULSOUP爬取电影天堂 85 5.4.1 基本思路 85 5.4.2 实际爬取 85 5.5 小结 87 第6章 正则表达式 88 6.1 了解正则表达式 88 6.1.1 基本概念 88 6.1.2 re模块 89 6.1.3 compile()方法 89 6.1.4 match()方法 90 6.1.5 group()和groups()方法 90 6.1.6 search()方法 90 6.1.7 findall()方法 92 6.1.8 finditer()方法 93 6.1.9 split()方法 94 6.1.10 sub()方法 94 6.2 抓取 95 6.2.1 抓取标签间的内容 95 6.2.2 抓取tr\td标签间的内容 98 6.2.3 抓取标签中的参数 99 6.2.4 字符串处理及替换 101 6.3 爬取实战 102 6.3.1 获取数据 103 6.3.2 筛选数据 104 6.3.3 保存数据 107 6.3.4 显示数据 107 6.4 总结 108 第7章 JSON文件处理、CSV文件处理和MYSQL数据库操作 109 7.1 简识JSON 109 7.1.1 什么是JSON 109 7.1.2 字典和列表转JSON 110 7.1.3 将JSON数据转储到文件中 111 7.1.4 将一个JSON字符串加载为Python对象 111 7.1.5 从文件中读取JSON 112 7.2 CSV文件处理 113 7.2.1 读取CSV文件 113 7.2.2 把数据写入CSV文件 114 7.2.3 练习 115 7.3 MYSQL数据库 117 7.3.1 MySQL数据库的安装 117 7.3.2 安装MySQL模块 127 7.3.3 连接MySQL 127 7.3.4 执行SQL语句 128 7.3.5 创建表 129 7.3.6 插入数据 130 7.3.7 查看数据 132 7.3.8 修改数据 133 7.3.9 删除数据 135 7.3.10 实践操作 136 7.4 小结 139 第8章 多线程爬虫 140 8.1 关于多线程 140 8.1.1 基本知识 140 8.1.2 多线程的适用范围 141 8.2 多线程的实现 142 8.2.1 使用_thread模块创建多线程 142 8.2.2 关于Threading模块 145 8.2.3 使用函数方式创建线程 146 8.2.4 传递可调用的类的实例来创建线程 148 8.2.5 派生子类并创建子类的实例 149 8.3 使用多进程 150 8.3.1 创建子进程 150 8.3.2 将进程定义为类 151 8.3.3 创建多个进程 152 8.4 爬取示范：多线程爬取豆瓣电影 153 8.4.1 使用多进程进行爬取 154 8.4.2 使用多线程进行爬取 156 8.5 小结 158 第9章 图形验证识别技术 159 9.1 图像识别开源库：TESSERACT 159 9.1.1 安装Tesseract 159 9.1.2 设置环境变量 164 9.1.3 验证安装 166 9.2 对网络验证码的识别 168 9.2.1 读取网络验证码并识别 168 9.2.2 对验证码进行转化 169 9.3 小结 170 第10章 SCRAPY框架 171 10.1 了解SCRAPY 171 10.1.1 Scrapy框架概述 171 10.1.2 安装 173 10.2 开发SCRAPY的过程 176 10.2.1 Scrapy开发步骤 176 10.2.2 Scrapy保存信息的格式 177 10.2.3 项目中各个文件的作用 178 10.3 爬虫范例 179 10.3.1 Scrapy爬取美剧天堂 179 10.3.2 Scrapy爬取豆瓣网 182 10.3.3 Scrapy爬取豆瓣网II 186 10.4 总结 189 第11章 PYQUERY模块 190 11.1 PYQUERY模块 190 11.1.1 什么是PyQuery模块 190 11.1.2 PyQuery模块的安装 190 11.2 PYQUERY模块用法 191 11.2.1 使用字符串初始化PyQuery对象 191 11.2.2 使用文件初始化PyQuery对象 192 11.2.3 使用URL初始化PyQuery对象 193 11.3 CSS筛选器的使用 194 11.3.1 基本CSS选择器 194 11.3.2 查找节点 195 11.3.3 遍历结果并输出 197 11.3.4 获取文本信息 198 11.4 爬虫PYQUERY解析实战 200 11.4.1 爬取猫眼票房 200 11.4.2 爬取微博热搜 201 11.5 小结 202