诺森系统与深度学习黄昕[等]编著9787302513636清华大学出版社

章什么是系统1
1.1 系统的概念.1
1.1.1 系统的基本概念1
1.1.2 深度学与统4
第2 章深度神经网络.7
2.1 什么是深度学习.7
2.1.1 深度学习的三次兴起7
2.1.2 深度学习的优势9
2.2 神经网络基础11
2.2.1 神经元11
2.2.2 神经网络.12
2.. 反向传播.13
2.2.4 优化算法.14
. 卷积网络基础17
..1 卷积层17
..2 池化层19
.. 常见的网络结构19
2.4 循环网络基础21
2.4.1 时序反向传播算法22
2.4.2 长短时记忆网络24
2.5 生成对抗基础25
2.5.1 对抗博弈.26
2.5.2 理论推导.27
2.5.3 常见的生成对抗网络29
iv j 系统与深度学习
第3 章TensorFlow 平台31
3.1 什么是TensorFlow 31
3.2 TensorFlow 安装指南.33
3.2.1 Windows 环境安装.33
3.2.2 Linux 环境安装.34
3.3 TensorFlow 基础.36
3.3.1 数据流图.36
3.3.2 会话37
3.3.3 图可视化.37
3.3.4 变量37
3.3.5 占位符38
3.3.6 优化器38
3.3.7 一个简单的例子38
3.4 深度学台39
第4 章系统的基础算法42
4.1 基于内容的算法.42
4.1.1 基于内容的算法基本流程42
4.1.2 基于内容的特征提取.45
4.2 基于协同的算法.47
4.2.1 基于物品的协同算法49
4.2.2 基于用户的协同算法57
4.. 基于用户协同和基于物品协同的区别59
4.2.4 基于矩阵分解的方法.61
4.2.5 基于稀疏自编码的方法.71
4.3 基于社交网络的算法80
4.3.1 基于用户的在社交网络中的应用81
4.3.2 node2vec 技术在社交网络中的应用85
4.4 系统的冷启动问题94
4.4.1 如何解决系统冷启动问题94
4.4.2 深度学习技术在物品冷启动上的应用101
目录j v
第5 章混合系统119
5.1 什么是混合系统.119
5.1.1 混合系统的意义120
5.1.2 混合系统的算法分类.122
5.2 系统特征处理方法125
5.2.1 特征处理方法126
5.2.2 特征选择方法134
5.3 常见的预测模型141
5.3.1 基于逻辑回归的模型141
5.3.2 基于支持向量机的模型.144
5.3.3 基于梯度提升树的模型.148
5.4 排序学习150
5.4.1 基于排序的指标来优化.150
5.4.2 L2R 算法的三种情形.152
第6 章基于深度学习的模型156
6.1 基于DNN 的算法156
6.2 基于DeepFM 的算法163
6.3 基于矩阵分解和图像特征的算法171
6.4 基于循环网络的算法.174
6.5 基于生成对抗网络的算法.176
6.5.1 IRGAN 的代码实现.179
第7 章系统架构设计.183
7.1 系统基本模型183
7.2 系统常见架构185
7.2.1 基于离线训练的系统架构设计185
7.2.2 面向深度学习的系统架构设计191
7.. 基于在线训练的系统架构设计194
7.2.4 面向内容的系统架构设计197
7.3 系统常用组件199
7.3.1 数据上报常用组件199
vi j 系统与深度学习
7.3.2 离线存储常用组件200
7.3.3 离线计算常用组件200
7.3.4 在线存储常用组件201
7.3.5 模型服务常用组件201
7.3.6 实时计算常用组件201
7.4 系统常见问题201
7.4.1 实时201
7.4.2 多样202
7.4.3 曝光打击和不良内容过滤.202
7.4.4 评估测试.202
后记.203
图1.1 猜你喜欢栏目2
图1.2 百度指数.4
图1.3 歌曲词嵌入模型空间向量.6
图2.1 神经网络的三次兴起8
图2.2 不同层数的神经网络拟合分界面的能力.10
图. 不同层数的神经网络表示能力10
图2.4 神经网络的基本结构11
图2.5 感知器算法12
图2.6 三层全连接神经网络13
图2.7 动量对比.16
图2.8 卷积运算.18
图2.9 池化层19
图2.10 LeNet 卷积结构.20
图2.11 Alex-Net 卷积结构20
图2.12 RNN 21
图2.13 LSTM 在t 时刻的内部结构24
图2.14 GAN 网络25
图3.1 TensorFlow 安装截图34
图3.2 TensorBoard 计算37
图4.1 腾讯视频APP 页面.44
图4.2 截取自网.49
图4.3 截取自 音AP.49
图4.4 用户购买物品记录50
图4.5 同时被购买次数矩阵C 51
图4.6 相似度计算结果1 52
图4.7 相似度计算结果2 54
viii j 系统与深度学习
图4.8 相似度计算结果3 55
图4.9 截取自网.57
图4.10 物品的倒排索引57
图4.11 用户评分矩阵.63
图4.12 Sigma 值64
图4.13 NewData 值65
图4.14 Mydata 值65
图4.15 自编码神经网络模型72
图4.16 稀疏自编码个网络.73
图4.17 稀疏自编码第二个网络.74
图4.18 稀疏自编码第三个网络.75
图4.19 将三个网络组合起来75
图4.20 社交网络关系图示例81
图4.21 融入用户关系和物品关系82
图4.22 社交网络关系图示例86
图4. 社交网络关系图示例86
图4.24 CBOW 和Skip-Gram 示例.88
图4.25 Skip-Gram 网络结构89
图4.26 CBOW 网络结构91
图4.27 word analogy 示例93
图4.28 某登录页面95
图4.29 互联开放注册平台1 96
图4.30 互联开放注册平台2 97
图4.31 互联应用管理页面1 97
图4.32 互联应用管理页面2 97
图4.33 互联 登录功能获取97
图4.34 音AP 中的偏好选择98
图4.35 (a) 为每部电影被打分的分布，(b) 为每个用户打分的分布100
图4.36 (a) 为每部电影平均分分布，(b) 为每个用户平均分分布.100
图4.37 基于专家数据的CF 与基于用户数据CF 比较.101
图目录j ix
图4.38 音乐频谱示例102
图4.3个流派的频谱图示例103
图4.40 CNN 音频分类结构.103
图4.41 CNN LSTM 组合音频分类模型.104
图4.42 分类预测结果的混淆矩阵104
图4.43 模型倒数第二层128 维向量降维可视化104
图4.44 微软how-old.net 107
图4.45 SCUT-FBP 数据集示例图108
图4.46 脸部截取后的数据集示例图.108
图4.47 CNN 层数过多，误差反而较大113
图4.48 残差网络的基本结构113
图4.49 残差网络完整结构.114
图5.1 NetFlix 的实时系统的架构图120
图5.2 整体式混合系统125
图5.3 并行式混合系统125
图5.4 流水线式混合系统.125
图5.5 MDLP 特征离散化130
图5.6 ChiMerge 特征离散化.131
图5.7 层次化时间按序列特征.133
图5.8 Learn to rank 的局限153
图6.1 Wide & Deep 模型结构157
图6.2 系统的召回和排序两个阶段158
图6.3 召回模型结构.159
图6.4 序列信息160
图6.5 排序模型结构.161
图6.6 不同NN 的效果162
图6.7 DeepFM 模型结构(网络左边为FM 层，右边为DNN 层).164
图6.8 FM 一阶部分165
图6.9 FM 二阶部分166
图6.10 FM/DNN/DeepFM 的比较171
x j 系统与深度学习
图6.11 电影静止帧图片举例172
图6.12 Alex-Net 卷积网络.173
图6.13 左图：时间无关的系统。右图：时间相关的系统174
图6.14 基于循环神经网络的系统175
图6.15 判别器177
图6.16 生成器178
图6.17 IRGAN 说明179
图7.1 监督学习基本模型.184
图7.2 基于离线训练的系统架构设计186
图7.3 数据上报模块.187
图7.4 离线训练模块.187
图7.5 系统中的存储分层.188
图7.6 在线预测的几个阶段189
图7.7 系统通用设计190
图7.8 面向深度学习的系统架构设计191
图7.9 利用深度学习进行特征提取192
图7.10 参数服务器架构193
图7.11 基于在线训练的系统架构设计195
图7.12 在线学习之实时特征处理196
图7.13 面向内容的系统架构设计198
图7.14 用于的内容池.198
图7.15 Apache Kafka 逻辑架构.200
表4.1 用户A 和B 的评分矩阵.43
表4.2 电影内容特征二进制表示45
表4.3 人脸魅力值打分不同模型的MAE 比较112
表4.4 人脸魅力值打分不同模型的MAE 比较117
表4.5 Keras 预训练好的图像分类模型118

黄昕，现任腾讯音乐集团不错，先后负责音乐、全民K歌等App算法开发及系统架构设计工作。

本书的几位作者都在大型互联网公司从事与系统相关的实践与研究，通过这本书，把系统工作经验予以总结，以帮想从事系统的工作者或系统爱好者。本书的内容设置由浅入深，从传统的算法过渡到近年兴起的深度学习技术。不管是初学者，还是有一定经验的从业人员，相信都能从本书的不同章节中有所收获。 区别于算法书籍，本书引入了已被实践明效果较好的深度学习技术，包括Word2Vec、Wide & Deep、DeepFM、GAN 等技术应用，并给出了相关的实践代码；除了在算法层面讲解系统的实现，还从工程层面详细阐述系统如何搭建。

本书的五位作者均曾就职于腾讯，分别在不同的部门从事与系统相关的工作。
算法具有多的应用场景和巨大的商业价值。算法种类很多，目前应用*广泛的应该是基于协同过滤的算法。在2016年，随着阿尔法围棋（AlphaGo）大放异彩，新的一波深度学习浪潮已至。在图像、音频处理等领域，深度学习技术已成为当之无愧的；但在领域，深度学习还处于发展阶段。同时，我们在平时工作学习中，发现市面上并没有关于两者相结合的书籍，只能在国外中发现相关的方法与应用。所以，我们决定以比较简单的表达方式，通过总结过往的算法经验，将深度学习相关的应用介绍给更多的读者。