全新游戏服务器架构与优化蔡能 著9787111595472

前言
部  网络和服务器
章  Python网络编程模块
1.1  Python Socket
1.1.1  Socket套接字
1.1.2  SOCK_STREAM、SOCK_DGRAM
1.1.3  阻塞和非阻塞模式
1.2  服务器端Socket方法
1.2.1  bind和listen
1.2.2  setsockopt
1.3  客户端Socket
1.4  通用的Socket方法
1.4.1  recv和send
1.4.2  recvfrom和sendto
1.5  SimpleHTTPServer和BaseHTTPServer
1.5.1  SimpleHTTPServer
1.5.2  BaseHTTPServer
1.6  urllib和urllib2
1.6.1  urllib.urlopen和urllib2.urlopen
1.6.2  urllib2中的GET和POST方法
1.7  事件驱动框架Twisted
1.7.1  Reactor模式
1.7.2  run、stop和callLater
1.7.3  Transports、Protocols、Protocol Factoies以及Deferred
第2章  通信加密
2.1  软件、通信加密的几种常用方案
2.1.1  异或位运算加密
2.1.2  对称加密
2.1.3  非对称加密
2.2  OpenSSL
2.2.1  生成
2.2.2  公钥和私钥的配置
.  SSL/TLS通信
..1  SSL/TLS连接
..2  SSL/TLS HTTPS通信
2.4  加密方式
2.4.1  散列算法
2.4.2  BASE64
2.4.3  多国语言
第3章  服务器实作
3.1  构建Python Websocket服务器
3.1.1  Websocket的应用场景
3.1.2  实作Websocket握手协议
3.1.3  MAGIC_STRING在Websocket中的作用
3.1.4  Websocket 启动
3.1.5  Websocket消息拆分和读取
3.2  多线程服务器
3.2.1  Python的多线程模式
3.2.2  锁
3..  Python GIL
3.2.4  multiprocess的解决思路
3.2.5  给Websocket加上多线程
3.3  线程池
3.3.1  默认线程池和进程池
3.3.2  协程
3.3.3  第三方库
3.3.4  gevent的数据结构
第二部分  存储与数据库
第4章  基础内容存储
4.1  数据库存储的种类
4.2  SL与NoSL
4.2.1  SL
4.2.2  SL语句语法
4..  NoSL
4.2.4  NoSL语句语法
4.3  内存与IO读写速度
4.4  同步内存数据
4.4.1  Redis数据库的持久
4.4.2  Redis主从数据库复制
4.5  数据备份和恢复
4.5.1  备份的类型
4.5.2  使用Python编写备份代码
4.6  不可或缺的SLite
第5章  存储方案
5.1  高并发服务器的存储方案
5.1.1  高并发服务器的策略
5.1.2  数据库的锁
5.2  高速缓存
5.2.1  Memcached
5.2.2  大文件缓存
5..  分布式和集群
5.3  二进制存储方案
5.3.1  磁盘IO和缓存
5.3.2  图片和影音文件
5.4  大规模计算
5.4.1  图片服务器的架构
5.4.2  读取和写入文本
5.4.3  文本搜索方案
5.5  区块链技术
第三部分  服务器架构及其方案
第6章  游戏服务器初探
6.1  服务器消息和轮询
6.1.1  卡牌游戏和弱连接
6.1.2  消息的轮询
6.2  游戏服务器架构演变
6.2.1  “上古时代”的游戏服务器
6.2.2  近代的网络游戏服务器
6..  近现代经典游戏服务器模型
6.3  地图的无缝连接
6.3.1  无缝连接的分析
6.3.2  无缝地图更深层次的问题
第7章  游戏服务器的交互
7.1  无状态和有状态的服务器设计方案
7.1.1  无状态的服务器设计方案
7.1.2  有状态的服务器设计方案
7.2  轮询
7.3  集群方案
7.3.1  集群的几种方式
7.3.2  集群的方案
7.3.3  数据库方案
7.3.4  Web服务和数据库
7.3.5  方案
7.4  定时任务
第8章  游戏厅8.1  大厅登录流程
8.1.1  登录和选择游戏区
8.1.2  注册和登录
8.2  中间件
8.2.1  中间件的相关概念
8.2.2  ElasticSearch
8..  在Python中使用ES
8.3  聊天服务
8.3.1  聊天服务器的搭建
8.3.2  聊天内容的获取和分发
8.4  大厅与游戏的对接
8.4.1  创建房间
8.4.2  与游戏的对接
第9章  实时交互服务器
9.1  长连接和强交互
9.1.1  TCP连接
9.1.2  多线程
9.1.3  异步控制
9.1.4  加入队列
9.2  使用UDP的方案
9.2.1  什么是UDP协议
9.2.2  TCP协议和UDP协议的区别
9..  使用Python编写UDP服务
9.2.4  加入多线程
9.3  协议包的设计和实现
9.3.1  协议包头和包身
9.3.2  协议包完整
9.3.3  协议的加密和压缩
9.3.4  协议包混淆
9.4  断线重连
0章  天梯和经济系统
10.1  什么是天梯
10.1.1  天梯的框架
10.1.2  数据载入
10.2  天梯层级
10.3  经济系统
10.3.1  经济系统
10.3.1 经济系统简介
10.3.2 经济系统的设计
10.3.3 通货膨胀
10.4 预留接口和热更新
10.4.1 如何预留接口
10.4.2 代码热更新
1章 服务器承载量和客户端优化方案
11.1 心跳服务
11.1.1 应用层的心跳服务
11.1.2 心跳包协议
11.2 同步校验
11.2.1 服务器数据包同步
11.2.2 游戏世界的同步
11.3 服务器承载
11.3.1 Python的多线程并发
11.3.2 混合C／C++之一
11.3.3 混合C／C++之二
11.4 守护者进程
11.4.1 Windows下的守护者进程
11.4.2 监控和重启进程
11.5 客户端优化方案
11.5.1 优化解决方案
11.5.2 游戏引擎
2章 分布式服务器
12.1 什么是分布式系统
12.1.1 分布式文件系统
12.1.2 分布式服务
12.1.3 Python实现
12.2 流式处理
12.2.1 Storm
12.2.2 Spark
12.. Samza
12.2.4 Flink
12.2.5 Trident
1. Pytlaon分布式框架
附录A 不同语言之间的区别

蔡能，资历服务器底层技术专家和游戏服务器开发专家，有超过20年的编码和团队管理经验，是网易的早期员工之一。

Preface?前    言为什么要写这本书在人们的观念中，游戏行业是一个既火爆又赚钱的行业，而游戏开发在非游戏开发人员的心里，则是比较的存在。隔行如隔山，游戏究竟是如何开发的？游戏服务器究竟又是怎样工作的？软件服务器后台开发人员对于游戏服务器的开发充满兴趣，而对于本身就是游戏开发者的人来说，对于更深层次的服务器逻辑，各种类型游戏服务器的区分和编写，各种平台的优化，都需要进行更进一步的了解。    作为游戏开发人员，H5 Game和Flash Game之间通信的差异在哪里？MMORPG的服务器究竟该怎么编写？HTTPS通信和普通HTTPS协议有何区分？如何进行分布式编程？如何提高游戏服务器的高并发量？这些都是需要重点关心的问题。    不仅仅是游戏开发人员，作为普通后台开发人员，配置负载均衡，利用后台程序之间的相互通信进行负载，也是比较关心的问题。现今琳琅满目的开发包、开发工具，让这些事情变得事半功倍，在这样的情况下，如何利用现有的工具来进行配置，提高并发量，或者如何利用分布式计算来提高业务效率、工作效率，尽其所能地发挥工具的效率，也成为我们必须面对并解决的问题。    对于运维人员来说，面对的不仅仅是服务于程序员的各种后台配置，也需要集群配置、HTTPS，甚至各种类型数据库的配置。    针对以上提到的所有问题，本书会进行深入挖掘。    本书中99%使用Python语言进行代码或者伪代码的编写和说明，为什么使用Python？这是因为虽然开发游戏服务器的语言多种多样，包括C/C++、Python、Node.JS等，但Python是目前上升热度快，且用户呈直线增长的一种语言，其简洁的特，就算是非专业程序员都可以很快掌握，学习成本不高，且能达到较为满意的产出。    从国内的情况来看，关于Python或游戏开发的书籍都很多，但是将两者合二为一进行讲解和说明的却并不多见。笔者在几十年的工作过程当中，经历了各种各样的项目，虽然大部分属于游戏行业，但行业也有涉及，比如视频类、人工智能、区块链等。在经历这些项目的过程中，我看到很多的团队和开发人员为了某一个项目和业务的功能进行各种细节上的取舍，或者各种没有经验一脚踩进大坑，这让我萌生编写本书的想法。我希望能尽一点微薄之力，将在游戏后台或后台开发过程中所经历的各种问题、优化方案及解决方案，进行一个提炼和汇总，如果能具体解决读者的各种问题，那就是本书之幸，本人之福。    读者对象本书针对游戏服务器、应用服务器后台的优化、搭建以及应用进行讲解和介绍。为了照顾各个层面的读者，本书使用的语言是Python 2.7版本，书中并没有就Python基础规则和语法做详细介绍，因此要求读者具有基本的Python编程知识，比如Python库的导入、pip包安装工具的使用、调用库函数等基础语法知识。事实上，如果你专心花上几个小时的时间自学一下Python，就能具备Python的编程基础。    本书对读者的知识背景没有特定要求，如果你拥有了Python编程基础，看完本书应该对服务器端需要做什么、应该做什么、怎么做，有了然于胸的感觉。具体来说，本书适合以下几类读者阅读：    游戏服务器程序员。本书的核心命题就是游戏服务器的优化，其中涉及游戏服务器的基础、搭建；Socket知识、HTT础；以及使用Python进行实作和优化。无论你是游戏后台开发人员还是客户端开发人员，都可以从书中获益。    应用服务器开发程序员。虽说游戏服务器程序员是重点，但是我们的核心议题仍然是服务器后台的开发，所以从这点来说，应用服务也是后台程序，本书在剖析游戏服务器后台编写和优化的同时，也涉及了分布式系统、集群，甚至Web服务器，或许在阅读本书后你会迸发一些灵感。    运维。事实上，只要是服务器开发，都会涉及运维的工作，而一个好的运维，必须而且一定会涉及各种脚本语言的开发和对现有系统的扩展。当一个团队中的程序员忙得不可开交的时候，一个好的运维能帮程序员分担40%甚至更多的工作量。本书也介绍和挖掘了后台编码过程中的各种配置和搭建，比如HTTPS的配置、Websocket的Python实现等。如果你是运维，或多或少会从书中汲取一些知识。    Python程序员。Python能做什么？它也能编写游戏服务器吗？是肯定的。只要你做得好，搭配得当，使用Python编写游戏后台不会比语言差（比如Java），有时候甚至更方便。如果你是Python程序员，又希望涉猎游戏后台的开发，本书一定会对你有极大帮。    如何阅读本书本书内容从逻辑上共分为三大部分。    部的内容包括～3章，主要介绍了Python中网络的基础模块、通信加密，以及一部分服务器实作。其中：    章的内容包含Socket套接字的介绍和使用、基础send和recv方法、阻塞和非阻塞方式、urllib和urllib2等Python基础库的使用。    第2章介绍了通信加密，其中包括基础的异或加密、对称和非对称加密，以及OpenSSL、SSL/TLS通信方式等的详细介绍。    第3章开始使用Python代码编写实际可运行的服务器代码，并介绍了Websocket协议、GIL的优劣，以及Python线程池的使用。    第二部分的内容包括第