返回首页
苏宁会员
购物车 0
易付宝
手机苏宁

服务体验

店铺评分与同行业相比

用户评价:----

物流时效:----

售后服务:----

  • 服务承诺: 正品保障
  • 公司名称:
  • 所 在 地:

  • 正版新书]数据采集技术廖大强9787302600589
  • 全店均为全新正版书籍,欢迎选购!新疆西藏青海(可包挂刷).港澳台及海外地区bu bao快递
    • 作者: 廖大强著 | 廖大强编 | 廖大强译 | 廖大强绘
    • 出版社: 清华大学出版社
    • 出版时间:2022-04-01
    送至
  • 由""直接销售和发货,并提供售后服务
  • 加入购物车 购买电子书
    服务

    看了又看

    商品预定流程:

    查看大图
    /
    ×

    苏宁商家

    商家:
    君凤文轩图书专营店
    联系:
    • 商品

    • 服务

    • 物流

    搜索店内商品

    商品分类

    商品参数
    • 作者: 廖大强著| 廖大强编| 廖大强译| 廖大强绘
    • 出版社:清华大学出版社
    • 出版时间:2022-04-01
    • 版次:1
    • 印次:1
    • 字数:358000
    • 页数:228
    • 开本:16开
    • ISBN:9787302600589
    • 版权提供:清华大学出版社
    • 作者:廖大强
    • 著:廖大强
    • 装帧:平装
    • 印次:1
    • 定价:49.8
    • ISBN:9787302600589
    • 出版社:清华大学出版社
    • 开本:16开
    • 印刷时间:暂无
    • 语种:暂无
    • 出版时间:2022-04-01
    • 页数:228
    • 外部编号:小坞91818
    • 版次:1
    • 成品尺寸:暂无

    第1章 绪论

    1.1 数据采集概述

    1.1.1 什么是数据采集

    1.1.2 数据采集的典型应用场景

    1.1.3 数据采集技术框架

    1.1.4 数据采集面临的挑战

    1.2 网络爬虫概述

    1.2.1 什么是网络爬虫

    1.2.2 网络爬虫的应用

    1.2.3 网络爬虫的结构

    1.2.4 网络爬虫的组成

    1.2.5 网络爬虫的类型

    1.2.6 实现网络爬虫的技术

    1.3 Scrapy爬虫

    1.3.1 Scrapy框架

    1.3.2 Scrapy的常用组件

    1.3.3 Scrapy工作流

    1.3.4 其他Python框架

    1.3.5 Scrapy的安装与配置

    1.3.6 Windows 7下的安装配置

    1.3.7 Linux(Cent OS)下的安装配置

    本章小结

    习题

    第2章 采集网页数据

    2.1 采集网页分析

    2.1.1 HTTP概述

    2.1.2 HTTP消息

    2.2 用Python实现HTTP请求

    2.2.1 urllib3/urllib的实现

    2.2.2 httplib/urllib的实现

    2.2.3 第三方库Requests方式

    2.3 静态网页采集

    2.3.1 寻找数据特征

    2.3.2 获取响应内容

    2.3.3 定制Requests

    2.3.4 代码解析

    2.4 动态网页采集

    2.4.1 找到JavaScript请求的数据接口

    2.4.2 请求和解析数据接口数据

    2.5 实验1:HTML网页采集

    2.5.1 新建项目

    2.5.2 编写代码

    2.5.3 运行程序

    本章小结

    习题

    第3章 解析采集到的网页

    3.1 使用正则表达式解析

    3.1.1 基本语法与使用

    3.1.2 Python与正则表达式

    3.2 使用Beautiful Soup解析

    3.2.1 Python网页解析器

    3.2.2 Beautiful Soup第三方库

    3.3 使用lxml解析

    3.3.1 安装lxml

    3.3.2 XPath语言

    3.3.3 使用lxml

    3.4 解析方法的优缺点对比

    3.5 实验2:使用正则表达式解析采集的网页

    3.5.1 目标网站分析

    3.5.2 编写代码

    3.5.3 运行结果

    3.6 实验3:使用Beautiful Soup解析采集的网页

    3.6.1 目标网站分析

    3.6.2 编写代码

    3.6.3 运行结果

    本章小结

    习题

    第4章 存储采集到的数据

    4.1 HTML正文抽取

    4.1.1 存储为JSON格式

    4.1.2 存储为CSV格式

    4.2 MySQL数据库

    4.2.1 安装MySQL

    4.2.2 与Python整合

    4.2.3 在网络数据采集中使用MySQL

    4.3 更适合网络数据采集的MongoDB

    4.3.1 安装MongoDB

    4.3.2 MongoDB基础

    4.3.3 Python操作MongoDB

    4.4 实验4:使用MongoDB存储网络采集的数据

    4.4.1 网站分析

    4.4.2 获取首页数据

    4.4.3 解析数据

    4.4.4 存储到MongoDB

    4.5 实验5:采集数据并存储到MySQL

    4.5.1 准备工作

    4.5.2 编写代码

    4.5.3 运行结果

    本章小结

    习题

    第5章 基础网络数据采集

    5.1 基础网络数据采集的架构及运行流程

    5.2 URL管理器

    5.2.1 URL管理器的主要功能

    5.2.2 URL管理器的实现方式

    5.3 HTML下载器

    5.3.1 下载方法

    5.3.2 注意事项

    5.4 HTML解析器

    5.5 数据存储器

    5.6 数据调度器

    5.7 实验6:Scrapy基础网络数据采集

    5.7.1 创建采集模块

    5.7.2 启动程序

    5.7.3 控制运行状态

    本章小结

    习题

    第6章 分布式网络数据采集

    6.1 分布式运行结构

    6.1.1 分布式网络数据采集分析

    6.1.2 简单分布式架构

    6.1.3 工作机制

    6.2 控制节点

    6.2.1 URL管理器

    6.2.2 数据存储器

    6.2.3 控制调度器

    6.3 采集节点

    6.3.1 HTML下载器

    6.3.2 HTML解析器

    6.3.3 网络数据采集调度器

    6.4 反爬技术

    6.4.1 反爬问题

    6.4.2 反爬机制

    6.4.3 浏览器伪装技术

    6.5 实验7:Scrapy分布式网络数据采集

    6.5.1 创建起点数据采集项目

    6.5.2 定义Item

    6.5.3 编写网络数据采集模块

    6.5.4 Pipeline

    6.5.5 应对反爬机制

    6.5.6 去重优化

    本章小结

    习题

    第7章 登录表单与验证码的数据采集

    7.1 网页登录表单

    7.1.1 登录表单处理

    7.1.2 加密数据分析

    7.1.3 Cookie的使用

    7.2 验证码的处理

    7.2.1 什么是验证码

    7.2.2 人工处理验证码

    7.2.3 OCR处理验证码

    7.3 实验8:Scrapy模拟采集豆瓣网数据

    7.3.1 分析豆瓣登录

    7.3.2 编写代码

    7.3.3 实验调试与运行

    7.3.4 问题处理

    本章小结

    习题

    第8章 并行多线程网络数据采集

    8.1 多线程网络数据采集

    8.1.1 1000个网站网页

    8.1.2 串行采集

    8.1.3 多线程网络数据采集的工作原理

    8.2 多进程网络数据采集

    8.2.1 线程和进程如何工作

    8.2.2 实现多进程采集

    8.3 实验9:Scrapy天气数据采集

    8.3.1 创建项目

    8.3.2 定义Item

    ……


    廖大强,男,硕士,高级实验师,广东南华工商职业学院,云计算技术与应用专业带头人。一直从事信息技术类专业课教学,讲授课程包括计算机网络、信息安全等



    本书可作为应用型本科高校的“数据科学与大数据技术”“大数据技术与应用”专业的教学用书,提供教学课件PPT、教学大纲、源代码、习题参考答案等配套资源。


    【内容简介】


    本书介绍基于Python语言的网络数据采集技术的相关知识,并为采集网络中的各种数据类型提供全面指导。第1章重点介绍Scrapy框架及配置方法;第2~6章重点介绍网络数据采集的基本原理,包括如何利用Python从网络服务器请求信息,如何对服务器的响应进行基本处理,以及如何通过自动化的手段与网站进行交互;第7、8章介绍登录表单与验证码的数据采集和自动化处理,以及并行多线程网络数据的采集方法。本书还提供了多个实验,以帮助读者巩固所学内容。 本书适合作为普通高等院校计算机程序设计、大数据课程的教材,也可作为从事Web数据采集的软件开发人员和研究人员的参考书。


    售后保障

    最近浏览

    猜你喜欢

    该商品在当前城市正在进行 促销

    注:参加抢购将不再享受其他优惠活动

    x
    您已成功将商品加入收藏夹

    查看我的收藏夹

    确定

    非常抱歉,您前期未参加预订活动,
    无法支付尾款哦!

    关闭

    抱歉,您暂无任性付资格

    此时为正式期SUPER会员专享抢购期,普通会员暂不可抢购