正版 农业经济调查数据的缺失值处理:模型和方法:model and metho

目录

?

1 导 论… ………………………………………………… 1

1.1 研究背景和研究意义… ………………………………………… 1

1.1.1 研究背景… ……………………………………………… 1

1.1.2 研究意义… ……………………………………………… 4

1.2 主要概念界定… ………………………………………………… 5

1.2.1 农业经济调查… ………………………………………… 5

1.2.2 缺失值… ………………………………………………… 6

1.3 问题的提出与研究目标… ……………………………………… 7

1.3.1 问题的提出… …………………………………………… 7

1.3.2 研究目标… ……………………………………………… 8

1.4 技术路线与结构框架… ………………………………………… 8

1.4.1 技术路线… ……………………………………………… 8

1.4.2 结构框架… ……………………………………………… 9

1.5 研究方法与数据来源… ………………………………………… 11

1.5.1 研究方法… ……………………………………………… 11

1.5.2 数据来源… ……………………………………………… 12

1.6 可能的创新与不足… …………………………………………… 13

1.6.1 可能的创新… …………………………………………… 13

1.6.2 不足之处与展望… ……………………………………… 14

?

2 农业经济调查数据缺失值处理的文献综述… ………… 15

2.1 缺失值处理的理论和方法的研究综述… ……………………… 16

2.1.1 国外缺失值处理的理论和方法的研究综述… ………… 16

2.1.2 国内缺失值处理的理论和方法的研究综述… ………… 20

2.2 农业经济调查数据缺失值问题的研究综述… ………………… 21

2.2.1 国外农业经济调查数据缺失值问题的研究综述… …… 21

2.2.2 国内农业经济调查数据缺失值问题的研究综述… …… 23

2.3 结论和评价… …………………………………………………… 25

?

3 农业经济调查数据缺失值处理的研究基础和假设… … 27

3.1 农业经济调查的特点和数据缺失原因… ……………………… 28

3.1.1 农业经济调查的特点… ………………………………… 28

3.1.2 农业经济调查数据缺失的原因… ……………………… 30

3.2 基本概念及符号表示… ………………………………………… 31

3.2.1 基本概念及符号… ……………………………………… 31

3.2.2 缺失数据及缺失信息的转换… ………………………… 32

3.3 模拟方法介绍… ………………………………………………… 34

3.3.1 模拟方法的含义… ……………………………………… 34

3.3.2 采取模拟方法的原因… ………………………………… 34

3.3.3 模拟方法的优势… ……………………………………… 35

3.4 农业经济调查数据的缺失模式… ……………………………… 35

3.4.1 一般缺失模式… ………………………………………… 35

3.4.2 单一缺失模式… ………………………………………… 36

3.4.3 单调缺失模式… ………………………………………… 37

3.5 农业经济调查数据的缺失机制… ……………………………… 37

3.5.1 农业经济调查数据缺失机制及模型… ………………… 37

3.5.2 农业经济调查数据缺失机制的模拟… ………………… 39

3.6 基本假设… ……………………………………………………… 41

3.6.1 农业经济调查总体分布的假设… ……………………… 41

3.6.2 农业经济调查样本随机性的假设… …………………… 42

3.6.3 农业经济调查的变量假设… …………………………… 42

3.6.4 农业经济调查数据缺失模式的假设… ………………… 43

3.6.5 农业经济调查数据缺失机制的假设… ………………… 44

3.7 缺失值处理的统计软件… ……………………………………… 44

3.7.1 分析软件… ……………………………………………… 44

3.7.2 本研究使用的软件… …………………………………… 45

3.7.3 本研究自编的R 程序代码… …………………………… 45

?

4 农业经济调查数据缺失值处理的删除及模拟分析… … 46

4.1 成列删除及其缺陷分析… ……………………………………… 46

4.1.1 成列删除及其争议… …………………………………… 46

4.1.2 成列删除引致的估计错误分析… ……………………… 48

4.1.3 成列删除引致数据损失和估计错误的模拟分析… …… 50

4.2 成对删除及比较分析… ………………………………………… 54

4.2.1 成对删除及其争议… …………………………………… 54

4.2.2 成对删除的估计复杂性分析… ………………………… 55

4.2.3 成对删除和成列删除在相关关系估计上的模拟

比较分析… …………………………………………… 57

4.3 随机缺失下成列删除有偏估计的加权调整分析… …………… 60

4.3.1 加权调整的基本模型… ………………………………… 60

4.3.2 加权调整的方法… ……………………………………… 61

4.3.3 加权调整效果的模拟分析… …………………………… 63

4.4 结论和讨论… …………………………………………………… 65

?

5 农业经济调查数据缺失值处理的单一插补及

模拟比较分析…………………………………………… 67

5.1 单一插补的模型和缺陷分析… ………………………………… 67

5.1.1 单一插补的基本思想… ………………………………… 67

5.1.2 单一插补的基本模型… ………………………………… 68

5.1.3 单一插补的缺陷分析… ………………………………… 69

5.2 均值插补及其改进分析… ……………………………………… 70

5.2.1 关于均值插补的讨论… ………………………………… 70

5.2.2 简单均值插补对总体方差的低估分析… ……………… 71

5.2.3 均值插补离散性的改进分析… ………………………… 73

5.2.4 随机缺失下均值插补估计偏差的修正… ……………… 75

5.2.5 简单均值插补对相关关系低估的模拟分析… ………… 76

5.3 回归插补及其插补效果的比较分析… ………………………… 78

5.3.1 关于回归插补的讨论… ………………………………… 78

5.3.2 简单回归插补及对总体方差的低估分析… …………… 79

5.3.3 回归插补的改进分析… ………………………………… 81

5.3.4 回归插补效果的模拟比较分析… ……………………… 83

5.4 基于模糊后验分布的热平台插补及比较分析… ……………… 86

5.4.1 关于热平台插补的讨论… ……………………………… 86

5.4.2 简单随机插补的稳健性分析… ………………………… 87

5.4.3 随机缺失下随机插补的改进… ………………………… 87

5.4.4 距离插补及其模型方法… ………………………… 88

5.4.5 热平台插补效果的模拟比较分析… …………………… 89

5.5 结论和讨论… …………………………………………………… 90

潘传快，男，生于1979年。中南财经政法大学统计学专业学士，武汉大学世界经济专业硕士，华中农业大学农业经济管理专业博士，德克萨斯理工大学访问学者。在《农业技术经济》《华中农业大学学报》《统计与决策》等期刊上发表论文10余篇。

任何调查都会存在缺失值问题，农业经济调查亦不例外。在实践中，绝大部分农业经济管理研究人员都将这个问题忽略了。本书在充分探讨农业经济调查的特点和数据缺失原因的基础上，对农业经济调查数据中产生的缺失值问题进行了专门研究，构建了处理农业经济调查缺失数据的基本模型和方法，从理论分析和模拟分析两个角度充分比较了这些模型和方法的优劣以及使用条件，并*终应用于实际农业经济调查缺失数据的处理，本书还为这些缺失值的处理编写了基于R的语言程序。本书的研究成果对于农业经济管理方面的研究具有指导意义。