内容简介
在大数据的时代背景下,使用网络爬虫是获取数据的一种重要手段,它可以减少我们生活中不必要的工作量。但是,千万不能乱用,因为涉及数据安全法,建议大家了解相关资料,合理规划爬虫。
《网络爬虫技术与应用(微课版)》介绍爬虫相关的常用工具及类库,基于Web、App的采集及项目的部署,不使用框架的普通爬虫脚本及使用两种爬虫框架的项目级爬虫。在实际工作中,feapder、scrapy这两个爬虫框架比较热门,企业使用得也比较多。掌握了爬虫框架,会让我们的开发工作事半功倍。《网络爬虫技术与应用(微课版)》主要包含requests、HTML、lxml、MySQL、JSON、JavaScript、Redis、jadx、pycharm、feappder、scrapy等内容,具体包含7个爬虫案例:基于requests+xpath采集网站文本数据、使用feapder爬虫框架爬取房屋租售数据、使用分布式爬虫......