醉染图书AB实验 科学归因与增长的利器9787111707134

前言

部了解AB实验

章AB实验的基本原理和应用002

1.1什么是AB实验002

1.1.1AB实验的定义002

1.1.2AB实验的类型004

1.2AB实验的3个基本要素005

1.2.1实验参与单元005

1.2.2实验控制参数007

1..实验指标008

1.3AB实验的2个核心价值009

1.3.1定因果：验因果关系，确保方向正确009

1.3.2定量增长：实践数据驱动，精细成本收益012

1.4AB实验的2个关键特015

1.5AB实验行业应用016

1.5.1AB实验应用场景016

1.5.2AB实验应用案例018

第二部分深入AB实验

第2章AB实验的关键问题026

2.1实验参与对象的3个问题027

2.2实随分流的3个问题027

.实验指标的2个问题028

2.4实验分析和评估的3个问题028

第3章AB实验的统计学知识031

3.1随机抽样和抽样分布032

3.2区间估计和置信区间037

3.3样本容量和边际误差038

3.3.1均值类指标038

3.3.2比率类指标040

3.4设检验041

3.4.1为什么需要设检验041

3.4.2如何进行设检验042

3.4.3类错误、第二类错误和功效047

3.4.4如何计算功效049

3.5非参数检验051

3.6方差估计问题052

3.6.1变化差和相对差的方差估计053

3.6.2比率类指标的方差估计054

3.6.3指标的方差估计055

3.6.4异常点对方差估计的影响055

3.7多重测试问题056

3.7.1什么是多重测试问题056

3.7.2如何避免多重测试056

3.7.3如何控制多重测试问题058

第4章AB实验参与单元061

4.1实验参与单元的选择061

4.1.1常见的实验参与单元062

4.1.2实验参与单元粒度与实验评估066

4.1.3用户级别的实验参与单元067

4.2实验参与单元的SUTVA问题070

4.2.1什么是SUTVA070

4.2.2为什么需要让SUTVA成立071

4..导致SUTVA不成立的原因073

4.2.4如何解决SUTVA不成立的问题075

4.3实验参与单元数量079

第5章AB实的随分流083

5.1单层分流模式083

5.2正交分层模式084

5.2.1正交问题085

5.2.2分层问题087

5.3散列算法089

第6章AB实验的SRM问题092

6.1什么是SRM问题092

6.2导致SRM问题的原因093

6.2.1部署阶段093

6.2.2执行阶段097

6..数据处理和分析阶段098

6.3SRM指标计算和定位099

6.3.1SRM指标计算099

6.3.2定位SRM问题099

第7章AA实验101

7.1AA实验的意义101

7.1.1控制类错误102

7.1.2确保用户同质104

7.1.3数据指标对齐105

7.1.4估计统计方差106

7.2如何运行AA实验108

7.2.1什么时候运行AA实验108

7.2.2AA实验失败的常见原因110

第8章AB实验的灵敏度112

8.1什么是实验灵敏度112

8.2如何提升实验灵敏度113

8.3选择指标114

8.3.1选择方差较小的评估指标114

8.3.2标准化评估指标115

8.4选择实验参与对象116

8.4.1采用更细粒度的单元随机化对象116

8.4.2使用触发分析116

8.5选择实验分组117

8.5.1使用分层、控制变量或CUPED方法117

8.5.2设计配对实验119

8.6定向触发技术和评估119

8.6.1触发的方式120

8.6.2触发范围变化121

8.6.3触发实验的分析1

8.6.4触发检验125

8.6.5触发技术的局限125

8.7如何验实验灵敏度的提升127

第9章AB实验的长期影响129

9.1长短期影响不一致的原因130

9.2评估长期影响的意义133

9.3如何评估长期影响134

9.3.1长周期实验134

9.3.2保留实验和反转实验136

9.3.3后期分析法137

9.3.4时间交错实验法139

9.3.5固定群组分析法140

9.3.6长期影响的代理指标法141

第三部分AB实验评估指标体系

0章产品指标体系145

10.1什么是指标体系145

10.2设计指标146

10.2.1基于OKR的分级法147

10.2.2OSM模型法153

10..指标设计和开发技巧154

10.3评估指标156

10.3.1信息增益156

10.3.2因果关系158

10.3.3长期有效15

10.4进化指标159

10.5指标分类162

10.6指标体系设计案例165

1章实验评估指标体系169

11.1实验评估指标的3个基本条件169

11.2选择更好的实验评估指标170

11.2.1综合指向与灵敏170

11.2.2从业务视角出发172

11..考虑应用和工程174

11.3将关键指标合并为OEC175

11.3.1如何建立OEC176

11.3.2OEC的关键属179

11.3.3构建OEC的注意事项179

11.3.4构建OEC的案例180

第四部分AB实验的基础建设

2章开展AB实验的基础条件187

12.1决策层认知187

12.2基础工具建设188

12.2.1购买外部服务189

12.2.2自建平台190

1.文化制度建设191

3章AB实验平台的建设192

13.1AB实验平台架构193

13.2实验管理功能194

13.2.1实验创建管理195

13.2.2实验配置管理196

13..实验操作管理197

13.2.4实验权限管理198

13.3实验部署功能199

13.3.1流量分配大小200

13.3.2流量分配时机202

13.3.3实验放量节奏203

13.3.4不同类型实验的部署205

13.3.5实验部署中的问题209

13.4实验数据处理和分析211

13.4.1数据源212

13.4.2数据处理214

13.4.3指标定义和数据计算215

13.4.4数据可视化219

13.4.5数据分析221

13.5AB实验服务通用框架221

4章实验组织和文化建设224

14.1决策层的支持与参与226

14.2实验专家团队的带领与教育228

14.3业务团队实验骨干的深入与传递229

14.4全体参与和扩大影响1

14.5国内AB实验的开展情况

14.6实验成熟度模型

第五部分基于AB实验的增长实践

5章构建想法：形成产品设240

15.1产品策划找方向240

15.2数据洞察找瓶颈245

6章验想法：AB实验实践252

16.1实验设252

16.1.1目标252

16.1.2可归因253

16.1.3可复用254

16.2实验设计255

16.2.1实验样本选择255

16.2.2实验指标设计257

16..实验流量计算258

16.2.4实验周期预估260

16.3实验运行261

16.3.1实验上线261

16.3.2实验停止263

16.3.3实验放量265

16.4实验分析和理解266

16.4.1明确实验影响范围266

16.4.2确保实验对比人群具有可对比270

16.4.3实验影响评估：先总后分、从主到次272

16.4.4通过维度细分发现问题273

16.4.5理解实验统计学含义275

16.4.6解读数据背后的产品逻辑277

16.5实验决策278

16.5.1从分析到决策278

16.5.种实验结果282

16.5.3实验报告284

7章沉淀想法：实验记忆285

17.1什么是实验沉淀285

17.2实验沉淀的价值286

17.2.1发现策略通用26

17.2.2从失败中寻找机会289

17..发扬实验文化290

17.2.4帮理解指标290

17.3如何进行实验沉淀291

8章基于AB实验的增长实践解决方案293

18.1角色分工方案295

18.2数据建设方案295

18.3效果评估方案297

第六部分AB实验的局限与补充

9章AB实验的局限303

19.1战略创新层面303

19.2战术执行层面305

第20章AB实验之外的因果分析方法309

20.1匹配法310

20.1.1匹配法的基本步骤310

20.1.2倾向得分方法313

20.2工具变量法314

20.2.1什么是工具变量314

20.2.2案例1：教育、参军对收入的影响316

20..案例2：内容发布者与用户活跃度的关系317

20.3面板数据法317

20.4中断时间序列法319

20.5断点回归法320

20.6增益模型322

2章常用的用户调查分析方法325

21.1用户日志分析326

21.2调查问卷328

21.3焦点小组329

21.4用户体验研究330

21.5人工评测330

21.6外部数据332

（1）作者背景深厚：作者在某BAT大厂从事策略产品、数据产品、AB实验等数据科学相关工作10余年。
（2）作者经验丰富：作者负责了某BAT大厂AB实验平台的搭建、大量AB实验产品的设计与分析，同时分析了国内外知名企业的AB实验实践。
（3）全面系统、主次分明：本书涵盖AB实验理论、实践的方方面面，重点放在对AB实验关键环节的深入理解、关键问题的解决方案上，力争把关键问题剖析到位，而不是面面俱到地泛泛而谈。
（4）案例丰富、算例清晰：重要知识点都配有翔实的行业案例，帮读者通过应用场景理解AB实验；以深入浅出的方式阐述了AB实验涉及的复杂数理知识。
（5）全球视野、与时具进：不仅总结了国内外企业的AB实验案例，而且将全球AB实验领域优选的研究成果和案例融入了书中。