醉染图书构建企业级系统 算法、工程实现与案例分析9787111686163

前言

篇 系统基础认知

章 系统介绍

1.1 系统产生的背景

1.2 系统解决什么问题

1.3 系统的应用领域

1.4 系统的定义

1.5 常用的算法

1.5.1 基于内容的

1.5.2 协同过滤

1.5.3 基于模型的

1.5.4 基于社交关系的

1.6 构建系统的阻碍与挑战

1.7 系统的价值

1.8 本章小结

第二篇 系统基础算法

第2章 算法基础

2.1 系统范式

2.2 算法3阶段pipeline架构

. 召回算法

..1 完全非个化范式

..2 完全个化范式

.. 群组个化范式

..4 标的物关联标的物范式

..5 笛卡儿积范式

2.4 排序算法

2.4.1 logistic回归模型

2.4.2 GBDT模型

2.4.3 Wide & Deep模型

2.5 算法落地需要关注的几个问题

2.5.1 算法工程落地一定要用到排序模块
2.5.2 算法服务于用户的两种形式

2.5.3 系统评估

2.6 本章小结

第3章 基于内容的算法

3.1 什么是基于内容的算法

3.2 基于内容的算法的实现原理

3.2.1 基于用户和标的物特征为用户的核心思想

3.2.2 构建用户特征表示

3.. 构建标的物特征表示

3.2.4 为用户做个化

3.3 基于内容的算法应用场景

3.4 基于内容的算法的优缺点

3.4.1 优点

3.4.2 缺点

3.5 基于内容的算法落地需要关注的问题

3.5.1 内容来源的获取

3.5.2 怎么利用负向反馈

3.5.3 兴趣随时间变化

3.5.4 数据清洗

3.5.5 加速计算与节省资源

3.5.6 解决基于内容的越推越窄的问题

3.5.7 工程落地技术选型

3.5.8 业务的安全

3.6 本章小结

第4章 协同过滤算法

4.1 协同过滤思想简介

4.2 协同过滤算法原理介绍

4.2.1 基于用户的协同过滤

4.2.2 基于标的物的协同过滤

4.3 离线协同过滤算法的工程实现

4.3.1 计算topN相似度

4.3.2 为用户生成

4.4 近实时协同过滤算法的工程实现

4.4.1 获取用户在一个时间窗口内的行为

4.4.2 基于用户行为记录更新标的物关联表CR

4.4.3 更新用户的行为记录HBase表：UAction

4.4.4 为用户生成个化

4.5 协同过滤算法的应用场景

4.5.1 完全个化

4.5.2 标的物关联标的物

4.5.3 应用形式及场景

4.6 协同过滤算法的优缺点

4.6.1 优点

4.6.2 缺点

4.7 协同过滤算法落地到业务场景需要关注的问题

4.7.1 两种协同过滤算法的选择

4.7.2 对时间加权

4.7.3 关于用户对标的物的评分

4.7.4 相似度计算

4.7.5 冷启动问题

4.8 本章小结

第5章 基于朴素ML思想的协同过滤算法

5.1 基于关联规则的算法

5.2 基于朴素贝叶斯的算法

5.3 基于聚类的算法

5.3.1 基于用户聚类的

5.3.2 基于标的物聚类的

5.4 YouTube基于关联规则思路的视频算法

5.4.1 计算两个视频的相似度（关联度）

5.4.2 基于单个种子视频生成候选视频集

5.4.3 基于用户行为为用户生成候选集

5.4.4 结果排序

5.5 Google News基于贝叶斯框架的算法

5.5.1 基于用户过去的行为来分析用户的兴趣点

5.5.2 利用贝叶斯框架来建模用户的兴趣

5.5.3 为用户做个化

5.6 Google News基于用户聚类的算法

5.6.1 基于MinHash聚类

5.6.2 基于聚类为用户做

5.7 本章小结

第6章 矩阵分解算法

6.1 矩阵分解算法的核心思想

6.2 矩阵分解算法的算法原理

6.3 矩阵分解算法的求解方法

6.3.1 利用SGD来求解矩阵分解

6.3.2 利用ALS来求解矩阵分解

6.4 矩阵分解算法的拓展与优化

6.4.1 整合偏差项

6.4.2 增加更多的用户信息输入

6.4.3 整合时间因素

6.4.4 整合用户对评分的置信度

6.4.5 隐式反馈

6.4.6 整合用户和标的物metadata信息

6.5 近实时矩阵分解算法

6.5.1 算法原理

6.5.2 工程实现

6.6 矩阵分解算法的应用场景

6.6.1 应用于完全个化场景

6.6.2 应用于标的物关联标的物场景

6.6.3 应用于用户及标的物聚类

6.6.4 应用于群组个化场景

6.7 矩阵分解算法的优缺点

6.7.1 优点

6.7.2 缺点

6.8 本章小结

第7章 因子分解机

7.1 分解机简单介绍

7.2 分解机参数预估与模型价值

7.2.1 分解机在稀疏场景下的参数估计

7.2.2 分解机的计算复杂度

7.. 分解机模型求解

7.2.4 模型预测

7.3 分解机与模型的关系

7.3.1 FM与矩阵分解的联系

7.3.2 FM与SVM的联系

7.4 分解机的工程实现

7.5 分解机的拓展

7.5.1 高阶分解机

7.5.2 FFM

7.5.3 DeepFM

7.6 近实时分解机

7.7 分解机在系统上的应用

7.7.1 用户与标的物的交互行为信息

7.7.2 用户相关信息

7.7.3 标的物相关信息

7.7.4 上下文信息

7.8 分解机的优势

7.9 本章小结

第三篇 系统进阶算法

第8章 系统冷启动

8.1 冷启动的概念

8.2 解决冷启动面临的挑战

8.3 解决冷启动的重要

8.4 解决冷启动的方法和策略

8.4.1 用户冷启动

8.4.2 标的物冷启动

8.4.3 系统冷启动

8.4.4 新的视角看冷启动

8.5 不同产品形态解决冷启动的方案

8.6 设计冷启动需要注意的问题

8.7 冷启动的未来发展趋势

8.8 本章小结

第9章 嵌入方法在系统中的应用

9.1 嵌入方法简介

9.2 嵌入方法应用于系统的一般思路

9.2.1 学习标的物的嵌入表示

9.2.2 同时学习用户和标的物的嵌入表示

9.3 用于系统的嵌入方法的算法原理介绍

9.3.1 基于矩阵分解的嵌入

9.3.2 基于Word2vec的嵌入

9.3.3 基于有向图的嵌入

9.3.4 基于深度神经网络的嵌入

9.4 嵌入方法在系统中的应用案例介绍

9.4.1 利用矩阵分解嵌入做

9.4.2 利用Item2vec获得标的物的嵌入做

9.4.3 阿里盒马的联合嵌入模型

9.4.4 基于图嵌入的算法

9.4.5 整合标的物多种信息的Content2vec模型

9.5 利用嵌入方法解决冷启动问题

9.5.1 通过间的结构连接关系及特征迁移解决冷启动问题

9.5.2 通过图片、文本内容嵌入解决冷启动问题

9.6 本章小结

0章 深度学习在系统中的应用

10.1 深度学习介绍

10.2 利用深度学习技术构建系统的方法和思路

10.2.1 从系统中使用的深度学习技术角度看

10.2.2 从系统的预测目标角度看

10.. 从算法的归类角度看

10.3 工业界几个经典深度学习算法介绍

10.3.1 YouTube的深度学统

10.3.2 Google的Wide & Deep深度学习模型

10.3.3 阿里基于兴趣树的深度学习算法

10.3.4 Google的神经网络协同过滤深度学习算法

10.4 开源深度学习框架 & 算法

10.4.1 TensorFlow（Keras）

10.4.2 PyTorch（Caffe）

10.4.3 MxNet

10.4.4 DeepLearning4j

10.4.5 百度的PaddlePaddle

10.4.6 腾讯的Angel

10.4.7 微软开源的算法库recommenders

10.5 深度学习技术应用于系统的优缺点及挑战

10.5.1 优点

10.5.2 缺点与挑战

10.6 深度学统工程实施建议

10.6.1 深度学习的效果真的有那么好
10.6.2 团队适合引入深度学习技术

10.6.3 打通深度学习相关技术栈与团队现有技术栈

10.6.4 从经典成熟的模型与跟公司业务接近的模型着手

10.7 深度学统的未来发展

10.7.1 算法模型维度

10.7.2 工程维度

10.7.3 应用场景维度

10.7.4 数据维度

10.7.5 产品呈现与交互维度

10.8 本章小结

1章 混合系统介绍

11.1 什么是混合系统

11.2 混合系统的价值

11.2.1 冷启动问题

11.2.2 数据稀疏问题

11.. 马太效应

11.2.4 灰羊效应

11.2.5 组合效应

11.2.6 稳定/可塑问题

11.3 混合系统的实现方案

11.3.1 单体的混合范式

11.3.2 并行的混合范式

11.3.3 流水线混合范式

11.4 工业级系统与混合

11.4.1 实时系统与混合

11.4.2 深度学习等复杂模型整合多数据源和多模型

11.4.3 特殊情况下的处理策略

11.4.4 数量不足的增补

11.4.5 通过混合策略解决用户冷启动

11.5 对混合系统的思考

11.5.1 整合实时中用户的短期和长期兴趣

11.5.2 利用单个复杂模型建模多源信息

11.5.3 多源的标的物混合

11.5.4 家庭场景中多人兴趣的混合

11.5.5 用户在多APP场景下行为的混合

11.5.6 用户多状态（场景）的融合

11.6 本章小结

2章 构建可解释系统

12.1 可解释系统简介

12.1.1 什么是解释

12.1.2 解释的价值

12.1.3 互联网产品的解释模型

12.1.4 解释的形式

12.1.5 解释的现状

12.2 构建可解释系统的方法

12.2.1 基于用户关系来做解释

12.2.2 基于标的物相似关系来做解释

12.. 基于标签来做解释

12.2.4 解释方式

1. 常用工业级产品的解释

1..1 完全个化范式的解释

1..2 标的物关联标的物范式的解释

1.. 范式的解释

12.4 做好解释需要关注的几个问题

12.5 构建可解释系统面临的挑战与机遇

12.5.1 混合算法让解释更加困难

12.5.2 设计实时个化解释面临的技术挑战

12.5.3 企业管理者/数据产品经理更关注精准度而不是解释

12.5.4 黑盒算法很难解释

12.5.5 普适的解释框架

12.5.6 利用知识图谱做解释

12.5.7 生成对话式解释

12.6 本章小结

第四篇 系统评估与价值

3章 系统的评估

13.1 系统评估的目的

13.2 评估系统的常用指标

13.2.1 用户的维度

13.2.2 平台方的维度

13.. 系统自身的维度

13.2.4 标的物提供方的维度

13.3 系统的评估方法

13.3.1 离线评估

13.3.2 在线评估阶段

13.3.3 在线评估第二阶段

13.3.4 主观评估

13.4 系统评估需要关注的问题

13.5 本章小结

4章 系统的商业价值

14.1 为什么要关注系统的商业价值

14.2 衡量系统商业价值的维度

14.2.1 广告变现

14.2.2 电商变现

14.. 增值服务变现

14.2.4 用户增长

14.2.5 成本节省及效率提升

14.3 量化系统商业价值的思路和方法

14.3.1 提升广告的曝光与转化

14.3.2 促进标的物提供方（即商家）生态繁荣

14.3.3 促进标的物售卖，获取更多经济收益

14.3.4 提升会员的转化与留存

14.3.5 提升用户留存率、活跃度和停留时长

14.3.6 节省人力成本

14.3.7 提升内容分发效率

14.4 提升系统商业价值需要关注的问题及建议

14.5 本章小结

第五篇 系统工程实现

5章 系统之数据与特征工程

15.1 算法建模的般程

15.2 系统依赖的数据源介绍

15.2.1 根据数据来源来划分

15.2.2 根据数据载体来划分

15.. 根据数据组织形式来划分

15.3 数据处理与特征工程简介

15.3.1 数据生成

15.3.2 数据预处理

15.3.3 特征工程

15.4 常用算法之数据与特征工程

15.4.1 排行榜

15.4.2 标的物关联标的物

15.4.3 个化

15.5 系统数据与特征工程的未来趋势

15.5.1 融合更多的数据源来构建更复杂的模型

15.5.2 深度学习等复杂技术可减少人工特征工程的投入

15.5.3 实时数据处理与实时特征工程

15.5.4 自动化特征工程

15.6 本章小结

6章 系统的工程实现

16.1 系统与大数据

16.2 系统业务流及核心模块

16.2.1 数据收集模块

16.2.2 ETL模块

16.. 特征工程模块

16.2.4 算法模块

16.2.5 结果存储模块

16.2.6 Web服务模块

16.3 系统支撑模块

16.3.1 评估模块

16.3.2 调度模块

16.3.3 监控模块

16.3.4 审查模块

16.4 系统架构设计

16.5 系统工程实现的设计哲学

16.5.1 什么是好的系统工程实现

16.5.2 系统工程实现的原则

16.5.3 怎样设计好的系统工程架构

16.6 近实时个化

16.7 系统业务落地需要关注的问题

16.8 系统的技术选型

16.9 系统工程的未来发展

16.10 本章小结

7章 AB测试平台的工程实现

17.1 什么是AB测试

17.2 AB测试的价值

17.3 什么时候需要AB测试

17.4 AB测试的应用场景

17.5 AB测试平台的核心模块

17.5.1 分组模块

17.5.2 实验管理模块

17.5.3 业务接入模块

17.5.4 行为记录分析模块

17.5.5 效果评估模块

17.6 业界流行的AB测试架构实现方案

17.7 系统业务AB测试实现方案

17.8 开发AB测试平台需要的资源及支持

17.9 构建AB测试平台需要关注的重要问题

17.10 本章小结

8章 构建优质的系统服务

18.1 服务背景介绍

18.2 什么是优质的服务

18.2.1 高能

18.2.2 高可用

18.. 可伸缩

18.2.4 可扩展

18.2.5 安全

18.3 设计优质的服务面临的挑战

18.3.1 需要存储的数据量
18.3.2 需要快速及时响应用户请求

18.3.3 接口访问并发量
18.3.4 业务相对复杂

18.4 构建优质服务的一般原则

18.4.1 模块化

18.4.2 数据存储与数据缓存

18.4.3 负载均衡

18.4.4 异步调用

18.4.5 分布式及去中心化

18.4.6 分层思想

18.5 设计优质服务的可行策略

18.5.1 高能

18.5.2 高可用

18.5.3 可伸缩

18.5.4 可扩展

18.5.5 安全

18.6 本章小结

9章 系统提供Web服务

19.1 什么是系统Web服务

19.2 系统提供Web服务的两种方式

19.2.1 事先计算式Web服务

19.2.2 实时装配式Web服务

19.3 两种Web服务方式的优劣对比

19.3.1 事先计算式Web服务的优缺点

19.3.2 实时装配式Web服务的优缺点

19.4 影响Web服务方式的因素及选择原则

19.4.1 产品形态的时效对选择Web服务的影响

19.4.2 技术及架构复杂对选择Web服务的影响

19.4.3 阶段对选择Web服务的影响

19.4.4 算法形态对选择Web服务的影响

19.5 本章小结

第20章 实时个化

20.1 实时系统背景介绍

20.2 实时系统的价值

20.3 实时系统的应用场景

20.3.1 新闻资讯类

20.3.2 类

20.3.3 婚恋、陌生人社交类

20.3.4 直播类

20.3.5 电商类

20.3.6 音乐、电台类

20.4 实时系统的整体架构

20.4.1 Lambda架构

20.4.2 Kappa架构

20.5 实时系统的技术选型

20.5.1 离线部分算的技选型

20.5.2 实时部分算的技选型

20.6 实时算法与工程实现

20.7 构建实时系统面临的困难和挑战

20.8 实时系统的未来发展

20.8.1 实时是未来发展的方向

20.8.2 每个人都有望拥有为自己服务的个化算法

20.8.3 实时应用场景的多样

20.8.4 实时交互方式趋于多元化

20.9 本章小结

第六篇 系统产品与运营

2章 系统产品

21.1 产品简介

21.2 产品形态介绍

21.2.1 基于用户维度的

21.2.2 基于标的物维度的

21.. 基于用户和标的物交叉维度的

21.3 产品的应用场景

21.4 设计优质产品的要点

21.5 本章小结

第22章 系统的UI交互与视觉展示

22.1 信息获取与系统

22.2 交互设计的基本原则

2. 系统的UI交互

2..1 什么是系统的UI交互

2..2 设计好的UI交互的原则

2.. UI交互在系统中的价值

22.4 系统的视觉展示

22.4.1 什么是系统的视觉要素

22.4.2 视觉要素展示的一般原则

22.4.3 视觉要素展示的价值

22.5 关于系统UI交互和视觉展示的展望

22.6 本章小结

第章 系统与精细化运营

.1 运营简介

.2 数据化运营

. 精细化运营

..1 精细化运营的概念

..2 精细化运营的特点

..3 为什么说现在进入了精细化运营时代

..4 精细化运营面临的挑战

..5 精细化运营的流程与方法

.4 用户画像介绍

.4.1 用户画像的概念

.4.2 标签的分类

.4.3 用户画像构建流程

.4.4 用户画像平台的基础架构

.4.5 用户画像的应用场景

.5 系统与精细化运营

.5.1 系统是精细化运营的不错形式

.5.2 系统与精细化运营的区别与联系

.5.3 利用系统的思路进行精细化运营

.5.4 利用系统的思路进行精细化运营面临的困境

. 本章小结

第24章 系统的人工调控策略

24.1 什么是系统的人工调控

24.2 为什么要进行人工调控

24.2.1 用户体验

24.2.2 安全

24.. 商业价值

24.2.4 运营需要

24.2.5 降低人力成本

24.3 怎样进行人工调控

24.3.1 数据层面的人工调控

24.3.2 特征层面的人工调控

24.3.3 模型层面的人工调控

24.3.4 结果层面的人工调控

24.3.5 展示层面的人工调控

24.3.6 效果层面的人工调控

24.4 怎样评估人工调控的价值

24.5 人工调控面临的挑战

24.5.1 知识层面的脱节，沟通不畅

24.5.2 很难评估对系统的影响范围

24.5.3 为运营人员提供方便操控的界面是关键

24.6 人与机器的有效协作

24.7 本章小结

第七篇 系统案例分析

第25章 从零开始构建企业级系统

25.1 Why：你的产品为什么需要系统

25.2 Who：让谁来搭建系统

25.2.1 自建系统

25.2.2 通过外包构建系统

25.. 购买系统云服务

25.3 When：在产品的什么阶段搭建系统

25.4 What、Where：搭建什么样的系统

25.5 How：怎样搭建系统

25.5.1 产品起步阶段的

25.5.2 产品成长阶段的

25.6 How much：关于构建系统的资源投入

25.6.1 人力投入

25.6.2 计算资源投入

25.7 How feel：对系统价值的预期

25.8 从零搭建系统必须做好的3件事

25.8.1 产品与算法

25.8.2 评估指标

25.8.3 AB测试

25.9 几个具体实用的建议

25.10 本章小结

第26章 基于标签的实时系统

26.1 基于标签的算法应用场景

26.1.1 完全个化

26.1.2 标的物关联标的物

26.1.3 主题

26.2 基于标签的算法原理

26.2.1 个化

26.2.2 视频相似

26.. 主题

26.3 产品的整体架构及工程实现

26.3.1 个化

26.3.2 相似视频

26.3.3 主题

26.4 个化的召回与排序策略

26.4.1 召回策略

26.4.2 排序策略

26.4.3 电视猫个化实时更新策略

26.5 冷启动策略

26.6 未来优化方向

26.6.1 增加模型排序模块

26.6.2 对重复的节目做过滤

26.6.3 整合用户负反馈

26.6.4 针对标签的优化

26.7 本章小结

第27章 基于Erlang语言的视频相似

27.1 视频相似系统简介

27.2 相似算法原理及实现细节

27.2.1 年代

27.2.2 标题

27.. 地域

27.2.4 豆瓣评分

27.2.5 获奖

27.3 实现视频相似系统的问题与难点

27.3.1 数据量大，增速快

27.3.2 需要实时计算

27.3.3 计算与某个视频相似的视频需要遍历所有视频

27.3.4 需要更新已经计算视频的相似度

27.4 为什么要用Erlang语言开发

27.4.1 Erlang语言简介

27.4.2 Erlang语言的特

27.4.3 选择Erlang语言开发视频相似系统的原因

27.5 系统架构与工程实现

27.5.1 Master节点模块与功能

27.5.2 Slaver主要负责计算任务

27.5.3 Riak集群负责相似结果的存储

27.5.4 响应请求模块会基于用户请求给出结果

27.6 相似的核心亮点

27.7 未来的优化方向

27.8 本章小结

附录A 算法的成长之道

附录B 算法团队组成及目标定位