诺森爬虫逆向进阶实战李玺9787111704522机械工业出版社

目录 前言 章网络爬虫架构/ 1.1爬虫发展史/ 1.2爬虫基本架构/ 1.3分布式爬虫架构/ 1.3.1主从分布式/ 1.3.2对等分布式/ 1.4网络爬虫遍历策略/ 1.4.1广度优先策略/ 1.4.2深度优先策略/ 1.4.3很好优先策略/ 1.5智能采集系统架构/ 1.5.1采集需求分类/ 1.5.2页面智能解析/ 1.5.3数据管理模块/ 第2章Python爬虫技巧/ 2.1Utils/ 2.1.1爬虫工具包/ 2.1.2智能解析库/ 2.2Scrapy/ 2.2.1Scrapy架构/ 2.2.2Scrapy信号/ 2..Scrapy异常/ 2.2.4Scrapy去重/ 2.2.5Scrapy部署/ 2.2.6Scrapy监控/ .Asyncpy/ ..1Asyncpy架构/ ..2Asyncpy安装/ ..Asyncpy使用/ 2.4Feapder/ 2.4.1Feapder架构/ 2.4.2Feapder使用/ 2.4.3Feapder部署/ 2.5ScrapyRedis/ 2.5.1运行原理/ 2.5.2源码解析/ 2.5.3集群模式/ 2.6Scrapy开发/ 2.6.1Scrapy_helper/ 2.6.2Webmagicx/ 2.7Crawlab/ 2.7.1Crawlab架构/ 2.7.2Crawlab部署/ 2.8代理IP工具/ 2.8.1Proxy_pool/ 2.8.2PyproxyAsync/ 第3章Web Js逆向/ 3.1逆向基础/ 3.1.1语法基础/ 3.1.2作用域/ 3.1.3窗口对象属/ 3.1.4事件/ 3.2浏览器控制台/ 3.2.1Network/ 3.2.2Sources/ 3..Application/ 3.2.4Console/ 3.3加密参数定位方法/ 3.3.1巧用搜索/ 3.3.2堆栈调试/ 3.3.3控制台调试/ 3.3.4监听XHR/ 3.3.5事件监听/ 3.3.6添加代码片/ 3.3.7注入和Hook/ 3.3.8内存漫游/ 爬虫逆向进阶实战 3.4常见的压缩和混淆/ 3.4.1webpack/ 3.4.2eval混淆/ 3.4.3aa和jj混淆/ 3.4.4Jsfuck混淆/ 3.4.5OLLVM混淆/ 3.4.6soJson加密/ 3.4.7lsb隐写/ 3.5常见的编码和加密/ 3.5.1base64/ 3.5.2MD5/ 3.5.3SHA1/ 3.5.4HMAC/ 3.5.5DES/ 3.5.6AES/ 3.5.7RSA/ 3.6加密参数还原与模拟/ 3.6.1Virustotal逆向入门案例/ 3.6.2Newrank榜单逆向案例/ 3.6.3MD5加密逆向案例/ 3.6.4RSA参数加密逆向案例/ 3.6.5AES数据加密逆向案例/ 3.6.6AES链接加密逆向案例/ 3.6.7CNVD加速乐分析案例/ 3.7浏览器环境补充/ 3.7.1常被检测的环境/ 3.7.2手动补充环境/ 3.7.3JSDOM环境补充/ 3.7.4Selenium环境模拟/ 3.7.5puppeteer环境模拟/ 3.8浏览器环境监测/ 3.8.1Proxyintercept/ 3.8.2Objecthook/ 3.9加密方法远程调用/ 3.9.1微博登录参数RPC/ 3.9.2直播数据RPC/ 3.9.3巨量指数签名RPC/ 3.10常见协议分析/ 3.10.1webSocket协议/ 3.10.2Protobuf协议/ 3.11常见反调试/ 3.11.1Debugger/ 3.11.2无法打开控制台/ 3.11.3禁用控制台输出/ 3.11.4蜜罐和内存爆破/ 3.11.5控制台状态检测/ 3.12调试工具补充/ 3.12.1WTJS调试工具/ 3.12.2发条JS调试工具/ 3.1.鬼鬼JS调试工具/ 3.13反混淆AST/ 3.13.1节点类型对照表/ 3.13.2节点属和方法/ 3.13.3拆解简单ob混淆/ 3.13.4用AST还原代码/ 第4章自动化工具的应用/ 4.1Selenium/ 4.1.1工具简介/ 4.1.2基本操作/ 4.1.3调用JavaScript/ 4.1.4采集案例/ 4.1.5检测应对/ 4.2Pyppeteer/ 4.2.1工具简介/ 4.2.2使用方法/ 4..检测应对/ 4.2.4/ 4.3cefPython3/ 4.3.1安装和使用/ 4.3.2浏览器配置/ 4.3.3客户端控制/ 4.3.4文档解析/ 4.3.5爬虫实战/ 4.4Playwright/ 4.4.1工具安装/ 4.4.2基本使用/ 4.4.3异步任务/ 4.4.4自动录制/ 4.5Appnium/ 4.5.1Appnium概念/ 4.5.2Appnium配置/ 4.5.3Appnium测试/ 4.6Airtest/ 4.6.1设备连接/ 4.6.2窗口介绍/ 4.6.3简单测试/ 4.7Auto.js/ 4.7.1工具简介/ 4.7.2使用案例/ 4.7.3指数查询案例/ 第5章抓包工具的应用/ 5.1Fiddler/ 5.1.1Fiddler配置/ 5.1.2Fiddler断点/ 5.1.3Fiddler接口调试/ 5.1.4Fiddler替换Js文件/ 5.1.5Fiddler保存响应内容/ 5.1.6Fiddler监听webSocket/ 5.2Charles/ 5.2.1Charles配置/ 5.2.2Charles断点/ 5..Charles保存响应内容/ 5.2.4Charles监听webSocket/ 5.3MitmProxy/ 5.3.1工具介绍/ 5.3.2安装配置/ 5.3.3替换浏览器Js/ 5.3.4公众号拦截案例/ 5.3.5移动端拦截案例/ 5.4HTTP AnalyzerStd V7/ 5.5HTTP Canary/ 5.6Postern/ 5.6.1规则配置/ 5.6.2配合抓包/ 5.7Drony/ 5.7.1工具介绍/ 5.7.2配合抓包/ 5.8Wireshark/ 5.8.1Wireshark介绍/ 5.8.2Wireshark技巧/ 第6章Android逆向/ 6.1Android逆向基础/ 6.1.1A/ 6.1.2DEX/ 6.1.3Smali/ 6.1.4ARM/ 6.1.5Android应用启动过程/ 6.1.6逆向通用分析步骤/ 6.2Android逆向工具/ 6.2.1Android Killer/ 6.2.2Jadx/ 6..JEB/ 6.2.4A Pro/ 6.2.5MT管理器/ 6.2.6NP管理器/ 6.3Android Hook工具/ 6.3.1Xposed/ 6.3.2Frida/ 6.3.3Unidbg/ 6.3.4Magisk/ 6.3.5Tai Chi/ 6.4Android混淆和加密/ 6.4.1Android混淆技术/ 6.4.2Android加密技术/ 6.5加密参数定位方法/ 6.5.1静态分析/ 6.5.2动态分析/ 6.5.3日志注入/ 6.5.4动态调试/ 6.5.5技巧补充/ 6.6Android加固和脱壳/ 6.6.1加固概念/ 6.6.2查壳工具/ 6.6.3脱壳工具/ 6.7常见检测及绕过/ 6.7.1双进程保护/ 6.7.2权限检测/ 6.7.3调试端口检测/ 6.7.4进程名检测/ 6.7.5系统函数检测/ 6.7.6执行时间检测/ 6.8Android群控和云机/ 6.8.1Android群控/ 6.8.2Android云机/ 第7章小程序逆向/ 7.1小程序逆向基础/ 7.1.1反编译流程/ 7.1.2反编译案例/ 7.2小程序Hook/ 7.2.1逻辑层Hook/ 7.2.2渲染层Hook/ 7.3小程序逆向分析案例/ 7.4Windows小程序逆向/ 7.4.1确定包位置/ 7.4.2提取wxpkg/ 第8章抓包技巧汇总/ 8.1认/ 8.1.1SSL单向认/ 8.1.2SSL双向认/ 8.2不走代理/ 8.3协议降级/ 8.4自定义协议/ 8.4.1ic协议抓包/ 8.4.2Spdy协议抓包/ 8.5方法补充/ 第9章Android逆向案例/ 9.1某新闻加密参数分析和还原/ 9.1.1接口分析/ 9.1.2源码分析/ 9.1.3动态分析/ 9.1.4加密还原/ 9.2某App签名Frida还原/ 9.2.1接口分析/ 9.2.2反编译App/ 9..静态分析参数/ 9.2.4动态获取签名/ 9.2.5加密算法还原/ 9.3某App加密参数Xposed调用/ 9.3.1静态分析源码/ 9.3.2编写Hook脚本/ 9.3.3搭建http服务/ 9.4某App参数Frida+Flask RPC/ 9.4.1反编译A/ 9.4.2静态分析Sig/ 9.4.3调试和RPC/ 9.4.4搭建Flask服务/ 9.5某App加密参数Unidbg生成/ 9.5.1接口分析/ 9.5.2Frida调试/ 9.5.3Unidbg调用/ 9.5.4Unidbg补环境/ 9.5.5Web服务搭建/ 9.6某资讯加固脱壳和参数分析/ 9.6.1抓包分析接口/ 9.6.0加固脱壳和反编译/ 9.6.3源码静态分析/ 9.6.4通过Hook调用/ 9.7某新闻加固脱壳和参数分析/ 9.7.1抓包分析接口/ 9.7.2腾讯加固脱壳和反编译/ 9.7.3源码静态分析/ 9.7.4so文件分析/ 9.7.5Frida动态调试/ 9.7.6加密算法还原/ 9.8某监管Root检测绕过/ 9.8.1梆梆加固脱壳和反编译/ 9.8.2源码静态分析/ 9.8.3Frida绕过Root检测/ 0章验码识别技术/ 10.1图文验码/ 10.1.1利用开源库识别/ 10.1.2验码图像处理/ 10.1.3机器学习识别验码/ 10.1.4深度学习识别验码/ 10.2滑块验码/ 10.2.1邮箱滑块验码/ 10.2.2数美滑块验码/ 10..极验滑块验码/ 10.2.4利用AI平台识别缺口/ 10.3点选验码/ 10.4短信验码/ 10.4.1Xposed拦截短信/ 10.4.2GsmModem接收短信/ 10.4.3太极验码提取器/ 10.4.4批量短信处理/

李玺，作者就职于中科大数据研究院，深耕爬虫逆向方向，拥有丰富的经验和精湛的技巧。作者是CSDN博客专家，华为云云享专家，曾荣获CSDN首届GEEK+原创大赛一等奖、2019-2021年博客之星。作者拥有爬虫领域发明，新工科大数据技术能力认，也是河南省中原科技城E类人才。作者在CSDN、51CTO、OSCHINA(开源中国）、思否、公众号等平台都有推文，阅读量超百万，并维护着爬虫逆向万人社区。

大数据时代下，传统的数据采集方法已经无法满足高质量研究的需求，网络爬虫通常能在有限的资源下保障数据的质量和数量，但是各种各样的反爬虫方式导致了爬虫所需的技术栈越来越广泛。 撰写本书的目的有两点，一是为了对自己多年的从业经验做一结，二是为了对工作或学习到阶段感到迷茫和遇到瓶颈的爬虫提供方向和方法。 笔者从招聘网上采集了阶段月薪在两万元以上的爬虫、爬虫架构师的岗位要求结出了以下进阶技能，本书也主要对这些技能进行分享和案例讲解。  精通爬虫框架，如Scrapy、Pyspider、Webmagic、Nutch、Heritrix等。  熟悉Fler、Charles、Canary等工具。  具有Js逆向、App逆向、小程序抓取相关经验。  熟悉Android的Hook技术，熟悉各类Hook框架如Xposed、Frida、Unidbg等。  熟悉模拟器、Selenium、Pyppeteer、Airtest等自动化工具。  掌握验码识别技术。  有信息抽取、文本分类、数据处理、机器学习等相关工作经验。 本书分10章括：网络爬虫架构、Python爬虫技巧、Web JS逆向、自动化工具的应用、工具的应用、Android逆向、小程序逆向、技巧、Android逆向案例、验码识别技术。工具皆为企业级应用工具，在全书30多个实战案例中都有对应的应用场景。 本书对于大家所擅长的开发语言并没有要求，进阶为爬虫需要了解和掌握的技术内容十分广泛，不局限于编程语言，不拘泥于采集方法。 本书适合有基础的读者，笔者跳过了一些细枝末节的东西，更多地在讲述如何应用和解决方法，案例代码以Python语言为主。 相对于同类书来说，笔者选择去掉那些食之无味的安装教程，秉承让大家多在互联网上练习资源检索能力的目的，一些容易找到的软件也没有提供下载地址和安装步骤。 本书工具和代码库：sGithub.com/lixi5338619/lxBook。 关注公众号“Pythonlx”获取群聊二维码和学习资源。 案例终会过期，但本书并不是终点，笔者会在博客上更新案例并发布新的技术文章。 技术更新迭代很快，尽信书不如无书！ 感谢lx交流群的各位群友对笔者的支持和鼓励，以及对本书内容和方向的建议。 谨以此书献给热爱爬虫逆向的朋友！