店铺公告

为保障消费者合理购买需求及公平交易机会，避免因非生活消费目的的购买货囤积商品，抬价转售等违法行为发生，店铺有权对异常订单不发货且不进行赔付。异常订单：包括但不限于相同用户ID批量下单，同一用户（指不同用户ID，存在相同/临近/虚构收货地址，或相同联系号码，收件人，同账户付款人等情形的）批量下单（一次性大于5本），以及其他非消费目的的交易订单。 温馨提示：请务必当着快递员面开箱验货，如发现破损，请立即拍照拒收，如验货有问题请及时联系在线客服处理，（如开箱验货时发现破损，所产生运费由我司承担，一经签收即为货物完好，如果您未开箱验货，一切损失就需要由买家承担，所以请买家一定要仔细验货）， 关于退货运费：对于下单后且物流已发货货品在途的状态下，原则上均不接受退货申请，如顾客原因退货需要承担来回运费，如因产品质量问题（非破损问题）可在签收后，联系在线客服。

    迎来到Python的世界。本书介绍了Python的语法、数据结构等基础知识，以及经典的Python爬虫、网页文本分析及可视化。在本书中，读者不仅可以与Python“结识”，还会遇到新“朋友”———浏览器的开发者工具，通过它来了解HTML编写网页的语言，并进行结构化的网页分析和所需数据的提取。

拿来主义特别适合来类比Python语言中的库，Python将与re、requests、lxml等经典的库组合在一起，自动抓取网页数据的爬虫。Pandas这个工具会对抓取的数据进行文本分析，并实现将枯燥的数据进行漂亮的可视化呈现。

千里之行，始于足下，欢迎进入本书的奇妙之旅。

第1章  初识Python························ 1

1.1  使用IDLE····························· 1

1.2  从字符串着手························ 4

1.3  复杂数据的福音——列表·········· 7

1.3.1  创建列表···························· 7

1.3.2  列表的操作·························· 7

1.4  处理数据——条件判断············· 9

1.5  处理数据——循环·················· 11

1.6  处理数据进阶——嵌套语句······ 12

1.7  函数·································· 14

1.8  拿来就用——模块················· 16

1.9  文件·································· 17

1.10  处理异常··························· 18

第2章  网页································ 20

2.1  工具准备····························· 20

2.2  从URL开始························· 21

2.2.1  简单获取URL····················· 22

2.2.2  链接与URL························ 24

2.3  编写网页的语言——HTML······· 25

2.3.1  创建自己的**个网页············ 26

2.3.2  标签——创建网页的方块·········· 27

2.3.3  标签属性··························· 30

2.4  CSS与class·························· 31

2.5  Javascript和id······················ 33

2.6  网页分析工具······················· 36

2.6.1  谷歌开发者工具··················· 36

2.6.2  查看网页结构······················ 38

2.6.3  定位指定的元素··················· 39

2.6.4  筛选不同的资源··················· 41

2.7  网页的快递——HTTP············· 44

2.7.1  HTTP请求························· 45

2.7.2  HTTP响应························· 46

2.7.3  HTTP的应用——Cookie和Session 47

2.7.4  实战——HTTP的交互过程········ 49

2.8  以URL结束························· 52

2.9  本章总结····························· 55

第3章  数据抓取··························· 56

3.1  工具准备····························· 56

3.2  Xpath和lxml.html·················· 58

3.2.1  网页分析利器——lxml············· 58

3.2.2  XPath······························ 59

3.2.3  XPath使用实例···················· 60

3.2.4  XPath演示························· 61

3.3  关于robots.txt······················· 62

3.4  小试牛刀····························· 64

3.4.1  过程分析··························· 64

3.4.2  动手敲代码························ 67

3.4.3  小结······························· 68

3.4.4  扩展······························· 68

3.5  获取电影数据（上）··············· 69

3.5.1  过程分析··························· 70

3.5.2  动手敲代码························ 73

3.5.3  小结······························· 74

3.6  获取电影数据（下）··············· 75

3.6.1  过程分析··························· 76

3.6.2  动手敲代码························ 76

3.6.3  考虑加强代码的健壮性············ 78

3.6.4  小结······························· 80

3.7  另类的网页抓取···················· 80

3.7.1  过程分析··························· 81

3.7.2  动手敲代码························ 84

3.7.3  小结······························· 85

3.8  爬虫与网络机器人················· 85

3.9  本章总结····························· 86

第4章  文本处理··························· 87

4.1  正则表达式·························· 87

4.1.1  怎样进行匹配······················ 87

4.1.2  常用的元字符······················ 88

4.2  更强的文本工具——Python的
       re库·································· 89

4.2.1  匹配对象怎么用··················· 91

4.2.2  使用regex来搜索·················· 91

4.2.3  使用regex来替换·················· 93

4.2.4  更方便查找························ 95

4.2.5  re库中的控制标志················· 95

4.2.6  replace()和re.sub()·················· 98

4.2.7  实现更高级的strip()方法··········· 99

4.2.8  新的拆分方法re.split()············ 100

4.2.9  怎样提取中文···················· 101

4.3  电影数据的处理··················· 102

4.3.1  提取之前的观察·················· 104

4.3.2  需要获取哪些数据················ 104

4.3.3  多样化的方法····················· 111

4.3.4  格式化的数据····················· 112

4.4  本章总结··························· 115

第5章  数据分析·························· 116

5.1  工具准备··························· 116

5.1.1  配置Jupyter Notebook············· 116

5.1.2  数据生成帮手——Numpy········· 116

5.1.3  Pandas中的数据结构············· 118

5.2  像一维数组的Series·············· 118

5.2.1  获取Series信息·················· 120

5.2.2  Series进行数学运算·············· 123

5.2.3  对Series进行一些操作··········· 124

5.2.4  方法串联························· 128

5.2.5  操作Series中的字符串数据······ 129

5.2.6  小结一下Series··················· 130

5.3  DataFrame·························· 131

5.3.1  创建DataFrame··················· 132

5.3.2  对齐······························ 133

5.3.3  了解DataFrame··················· 134

5.3.4  常用DataFrame操作·············· 137

5.3.5  数据的导入与导出················ 141

5.4  简单数据分析······················ 145

5.4.1  电影评分分布···················· 145

5.4.2  电影产量趋势···················· 146

5.4.3  评论人数*多的电影············· 147

5.4.4  发行电影*多的国家············· 148

5.5  看得见的数据······················ 153

5.5.1  线图······························ 153

5.5.2  柱状图···························· 155

5.5.3  饼图······························ 157

 

张丽，女，电子科技大学大数据研究中心教师，主要从事数据分析、Python语言的应用以及项目开发等相关课程的教学和科研。

前    言

打开本书，请记下今天的日期，同时记住30天内要完成本书内容的学习。那么Python是什么？为什么要学习Python？我作为一名受益者，亲历了从一个编程小白到学会使用Python进行自动化的工具开发，以及编写自己工作中需要代码的过程。

大学学习C语言编程的时候，老师上课讲的知识我都听懂了，但我就是不会编写程序。这个问题困扰了我很久。现在回头想想学习编程有两种境界：痴迷和崩溃。我应该就是学到崩溃了吧。参加工作以后，我因为工作需要自学了Python，看着编写的代码运行起来，心情也跟着放飞了，即使过程中遇到各种错误和异常状况，我也会专注地投入去解决问题。

初学编程语言很容易陷入复杂的逻辑中而一筹莫展，久而久之就会逐步放弃，所以选择一门好的编程语言就是成功的一半。使用Python编程不用很费劲就能实现想要的代码功能，编写的代码也清晰易懂，并且能够保持自己的编码风格。

本书围绕学会编程并能使用编程语言进行程序设计、围绕数据进行处理的主题，介绍编程和相关的知识。

学以致用是一条很幸福的学习道路。本书面向那些希望学习一门编程语言并想对数据进行处理的读者。如果你是Python语言的小白，那么请从第1章开始学习；如果你已经具备Python编程的基础，那么请跳过第 1 章，从第 2 章开始学习。仅凭几行代码搞定复杂的文本处理任务，是不是很酷？快速进行项目实战，就不会失去学习的兴奋点。

保持幽默是Python语言和社区的传统，你在学习的过程中，输入import this后就会体验到了。那么就按照import this输出的箴言前进吧。好了，祝你编程愉快，30天后见。

本书特色

本书能让你在30天内将Python、HTML、爬虫、数据抓取、文本分析和数据可视化等技术，从应用流程上将各个知识点串联起来。30天后，你将有如下收获。

1．获得Python语言的基础技能，学会用程序员的思维来处理问题。

2．了解HTML，学会使用强大的网页分析工具，轻松获取网页中的数据。在面对大量数据时，会借助Python，学习怎样自动抓取。

3．当抓取的数据（文本）杂乱无章时，文本分析的方法可对数据进行清洗，你将了解到正则表达式的强大。

4．当干净的数据被导入后，你会学习分析这些数据，将枯燥的数据转化为可视化的、生动的图片。

通过上述学习之后，你能够对Python工具生态圈有一个完整的认识，了解自己在这个生态圈中的定位，决定自己后续的升级（学习）方向。

 

作  者

 

1