音像MATLAB数据分析与挖掘实战张良均 等 著

前言
基础篇
章数据挖掘基础
1.1某知名连锁餐饮企业的困惑
1.2从餐饮服务到数据挖掘
1.3数据挖掘的基本任务
1.4数据挖掘的建模过程
1.4.1定义挖掘目标
1.4.2数据取样
1.4.3数据探索
1.4.4数据预处理
1.4.5挖掘建模
1.4.6模型评价
1.5常用的数据挖掘建模工具
1.6小结
第2章MATLAB数据分析工具箱简介
2.1MATLAB的安装
2.2MATLAB使用入门
2.2.1MATLAB R2014a操作界面
2.2.2MATLAB常用作.MATLAB数据分析工具箱
2.4配套附件使用设置
2.5小结
第3章数据探索
3.1数据质量分析
3.1.1缺失值分析
3.1.2异常值分析
3.1.3一致分析
3.2数据特征分析
3.2.1分布分析
3.2.2对比分析
3..统计量分析
3.2.4周期分析
3.2.5贡献度分析
3.2.6相关分析
3.3MATLAB主要数据的探索函数
3.3.1统计特征函数
3.3.2统计作图函数
3.4小结
第4章数据预处理
4.1数据清洗
4.1.1缺失值处理
4.1.2异常值处理
4.2数据集成
4.2.1实体识别
4.2.2冗余属识
4.3数据变换
4.3.1简单的函数变换
4.3.2规范化
4.3.3连续属离散化
4.3.4属构造
4.3.5小波变换
4.4数据规约
4.4.1属规约
4.4.2数值规约
4.5MATLAB主要的数据预处理函数
4.6小结
第5章挖掘建模
5.1分类与预测
5.1.1实现过程
5.1.2常用的分类与预测算法
5.1.3回归分析
5.1.4决策树
5.1.5人工神经网络
5.1.6分类与预测算法评价
5.1.7MATLAB主要分类与预测算法函数
5.2聚类分析
5.2.1常用的聚类分析算法
5.2.2K-Means聚类算法
5..聚类分析算法评价
5.2.4MATLAB主要聚类分析算法函数
5.3关联规则
5.3.1常用的关联规则算法
5.3.2Apriori算法
5.4时序模式
5.4.1时间序列算法
5.4.2时间序列的预处理
5.4.3平稳时间序列分析
5.4.4非平稳时间序列分析
5.4.5MATLAB主要时序模式算法函数
5.5离群点检测
5.5.1离群点的检测方法
5.5.2基于统计模型的离群点的检测方法
5.5.3基于聚类的离群点的检测方法
5.6小结
实战篇
第6章电力企业的窃漏电用户自动识别
6.1背景与挖掘目标
6.2分析方法与过程
6.2.1数据抽取
6.2.2数据探索分析
6..数据预处理
6.2.4构建专家样本
6.2.5构建模型
6.3上机实验
6.4拓展思考
6.5小结
第7章航空公司的客户价值分析
7.1背景与挖掘目标
7.2分析方法与过程
7.2.1数据抽取
7.2.2数据探索分析
7..数据预处理
7.2.4模型构建
7.3上机实验
7.4拓展思考
7.5小结
第8章中医型关联规则挖掘
8.1背景与挖掘目标
8.2分析方法与过程
8.2.1数据获取
8.2.2数据预处理
8..模型构建
8.3上机实验
8.4拓展思考
8.5小结
第9章基于水色图像的水质评价
9.1背景与挖掘目标
9.2分析方法与过程
9.2.1数据预处理
9.2.2构建模型
9..水质评价
9.3上机实验
9.4拓展思考
9.5小结
0章基于关联规则的智能服务
10.1背景与挖掘目标
10.2分析方法与过程
10.2.1数据抽取
10.2.2数据预处理
10..构建模型
10.3上机实验
10.4拓展思考
10.5小结
1章应用系统负载分析与磁盘容量预测
11.1背景与挖掘目标
11.2分析方法与过程
11.2.1数据抽取
11.2.2数据探索分析
11..数据预处理
11.2.4构建模型
11.3上机实验
11.4拓展思考
11.5小结
2章面向网络舆情的关联度分析
12.1背景与挖掘目标
12.2分析方法与过程
12.2.1数据抽取
12.2.2数据预处理
12..构建模型
1.上机实验
12.4拓展思考
12.5小结
3章家用电器用户行为分析及事件识别
13.1背景与挖掘目标
13.2分析方法与过程
13.2.1数据抽取
13.2.2数据探索分析
13..数据预处理
13.2.4模型构建
13.2.5模型检验
13.3上机实验
13.4拓展思考
13.5小结
4章基于基站定位数据的商圈分析
14.1背景与挖掘目标
14.2分析方法与过程
14.2.1数据抽取
14.2.2数据探索分析
14..数据预处理
14.2.4构建模型
14.3上机实验
14.4拓展思考
14.5小结
5章气象与输电线路的缺陷关联分析
15.1背景与挖掘目标
15.2分析方法与过程
15.2.1数据抽取
15.2.2数据探索分析
15..数据预处理
15.2.4模型构建
15.3上机实验
15.4拓展思考
15.5小结
提高篇
6章基于MATLAB的数据挖掘二次开发
16.1混合编程应用体验——TipDM数据挖掘平台
16.1.1建设目标
16.1.2模型构建
16.1.3模型发布
16.1.4模型调用
16.1.5模型更新
16.2二次开发过程
16.2.1接口算法编程
16.2.2用Library Compiler创建Java组件
16..安装MATLAB运行时环境
16.2.4JDK环境及设置
16.2.5接口函数的调用
16.3小结
参考文献

张良均，资深大数据挖掘专家和模式识别专家，有10多年的大数据挖掘应用、咨询经验，10余年数据仓库系统管理与实施经验，超过10年的系统开发与设计经验。为电信、电力、互联网、生产制造、、银行、生物、化工、医药等多个行业上百家大型企业提供过数据挖掘应用与咨询服务，实践经验很好丰富。此外，他精通Java EE企业级应用开发，是广东工业大学和华南师范大学兼职教授，著有《神经网络实用教程》、《数据挖掘：实用案例分析》等书。

Preface?前  言为什么要写这本书LinkedIn 对全球超过3.3亿用户的工作经历和技能进行分析后得出，在目前炙手可热的25项技能中，数据挖掘人才需求排名。那么数据挖掘是什么？数据挖掘是从大量数据（包括文本）中挖掘出隐含的、先前未知的、对决策有潜在价值的关系、模式和趋势，并用这些知识和规则建立用于决策支持的模型，以及提供预测决策支持的方法、工具和过程。数据挖掘有于企业发现业务的趋势，揭示已知的事实，预测未知的结果，因此“数据挖掘”已成为企业保持竞争力的必要方法。 但和国外相比，我国由于信息化程度不太高，企业内部信息不完整，所以业、银行、保险、券等行业对数据挖掘的应用并不太理想。但随着市场竞争的加剧，各行业对数据挖掘技术的意愿越来越强烈，可以预计，未来几年，各行业的数据分析应用一定会从传统的统计分析发展到大规模的数据挖掘应用。在大数据时代，数据过剩、人才短缺，数据挖掘专业人才的培养又需要专业知识和职业经验的积累。所以，本书注重数据挖掘理论与项目案例实践相结合，可以让读者获得真实的数据挖掘学习与实践环境，更快、更好地学习数据挖掘知识与积累职业经验。 总的来说，随着云时代的来临，大数据技术将具有越来越重要的战略意义。大数据已经渗透到每一个行业和业务职能领域，逐渐成为重要的生产要素，人们对于海量数据的运用预示着新一轮生产率增长和消费者激增浪潮的到来。大数据分析技术将帮企业用户在合理的时间内攫取、管理、处理、整理海量数据，也为企业经营决策提供积极的帮；大数据分析作为数据存储和挖掘分析的前沿技术，广泛应用于物联网、云计算、移动互联网等战略的新兴产业。虽然大数据目前在国内还处于初级阶段，但是其商业价值已经显现出来，特别是有实践经验的大数据分析人才更是各企业争夺的热门。为了满足日益增长的大数据分析人才的需求，很多大学开始尝试开设不同程度的大数据分析课程。“大数据分析”作为大数据时代的核心技术，必将成为高校数学与统计学专业的重要课程之一。 本书特色本书作者从实践出发，结合大量数据挖掘工程案例及教学经验，以真实案例为主线，深入浅出地介绍数据挖掘建模过程中的有关任务：数据探索、数据预处理、分类与预测、聚类分析、时序预测、关联规则挖掘、智能、偏差检测等。因此，本书的编排以解决某个应用的挖掘目标为前提，先介绍案例背景并提出挖掘目标，再阐述分析方法与过程，完成模型构建，在介绍建模的过程中穿插操作训练，把相关的知识点嵌入相应的操作过程中。为方便读者轻松地获取一个真实的实验环境，本书使用大家熟知的MATLAB工具对样本数据进行处理以进行挖掘建模。 为了便于读者对案例的理解，本书提供了真实的原始样本数据文件及数据探索、数据预处理、模型构建及评价等不同阶段的MATLAB代码程序，读者可以从全国大挖掘竞赛（http://www.tipdm.org/ts/578.jhtml）免费下载。另外，为满足教师授课的需要，本书还意提了建模阶段的过程数据文件、PPT课件，以及基于MATLAB、SAS EM、SPSS Modeler、R、TipDM等上机实验环境下的数据挖掘各阶段程序/模型及相关代码，读者可通过热线电话（40068-40020）、企业（4006840020）或以下公众号TipDM（或号Tip DataMining）咨询获取，同时也可通过上述联系方式咨询本书的相关问题。     本书适用对象开设数据挖掘课程的高校教师和学生。 目前国内不少高校将数据挖掘引入教学中，在数学、计算机、自动化、信息、金融等专业开设了与数据挖掘技术相关的课程，但目前这一课程的教学仍然主要限于理论介绍。因为单纯的理论教学过于抽象，学生理解起来往往比较困难，教学效果也不甚理想。本书提供的基于实战案例和建模实践的教学，能够使师生充分发挥互动和创造，理论联系实际，达到的教学效果。 需求分析及系统设计人员。 这类人员可以在理解数据挖掘原理及建模过程的基础上，结合数据挖掘案例完成营销、客户分、叉销售、流失分析、客户信用记分、欺诈发现、智能等数据挖掘应用的需求分析和设计。 数据挖掘开发人员。 这类人员可以在理解数据挖掘应用需求和设计方案的基础上，结合本书提供的第三方接口快速完成数据挖掘应用的编程实现。 进行数据挖掘应用研究的科研人员。 许多科研院所为了更好地对科研工作进行管理，纷纷开发了适用自身的科研业务管理系统，并在使用过程中积累了大量的科研信息数据。但是，这些科研业务管理系统一般没有对这些数据进行深入分析，并没有对数据所隐藏的价值充分地挖掘利用。科研人员需要通过数据挖掘建模工具及有关方来深挖科研信息的价值，从而提高科研水平。 关注不错数据分析的人员。 业务报告和商业智能解决方案对于了解过去和现在的状况可能是有用的。但是，数据挖掘的预测分析解决方案还能使这类人员预见未来的发展状况，让他们的机构能够先发制人，而不是处于被动。因为数据挖掘的预测分析解决方案将复杂的统计方法和机器学习技术应用到数据中， 通过使用预测分析技术来揭示隐藏在交易系统或企业资源计划（ERP）、结构数据库与普通文件中的模式和趋势，从而为其决策提供科学依据。 如何阅读本书本书共16章，分三篇：基础篇、实战篇和提高篇。基础篇介绍了数据挖掘的基本原理；实战篇介绍了各种真实案例，通过对案例深入浅出的剖析，使读者在不知不觉中获得数据挖掘项目的经验，同时快速领悟看似难懂的数据挖掘理论。读者在阅读过程中，应充分利用随书配套的案例建模数据，借相关的数据挖掘建模工具，通过上机实验，以快速理解相关的知识与理论。 基础篇（～5章），章的主要内容是数据挖掘基础；第2章对本书所用到的数据挖掘建模工具MATLAB进行了简明扼要的说明；第3～5章介绍数据挖掘的建模过程，包括数据探索、数据预处理及挖掘建模的常用算法与原理。 实战篇（6～5章），重点对数据挖掘技术在电力、航空、医疗、互联网、生产制造以及公共服务等行业的应用进行了分析。在案例结构组织上，本书是按照先介绍案例背景与挖掘目标，再阐述分析方法与过程，完成模型构建的顺序进行的，在建模过程的关键环节，穿插程序以实现代码。通过上机实践，加深数据挖掘技术在案例应用中的理解。 提高篇（6章），介绍了基于MATLAB二次开发的数据挖掘应用软件——TipDM数据挖掘建模工具，并以此工具为例详细介绍了基于MATLAB接口完成数据挖掘二次开发的各个步骤，使读者体验到通过MATLAB实现数据挖掘二次开发的强大魅力。 勘误和支持除封面署名外，参加本书编写工作的还有樊哲、云伟标、王路、徐英刚、姜雅君、廖晓霞、李白冰、刘名军、刘晓勇、薛云、胡晓辉、李成华、刘丽君、许宝通、黄辉煌、王云飞等，由于作者水平有限，编写时间仓促，书中难免会出现一些错误或者不准确的地方，恳请读者批评指正。 读者可以将书中的错误及遇到的问题通过前面提供的公众号或号反馈给我们，我们将尽量在线上为读者提供满意的解答。本书的全部建模数据文件及源程序，可以从全国大挖掘竞赛（www.tipdm.org）下载，同时我们将会及时发布相应内容的更新。如果您有更多的宝贵意见，欢迎发送邮件至邮箱13560356095@qq.com，期待能够得到您的真挚反馈。 致谢在本书编写过程中，得到了广大企事业单位科研人员的大力支持，在此谨向广东电力科学研究院、广西电力科学研究院、广东电信规划设计院、珠江/黄海水产研究所、轻工业环境保护研究所、华南师范大学、广东工业大学、广东技术师范学院、南京医大学、华南理工大学、湖南师范大学、韩山师范学院、广东石油化工学院、中山大学、广州泰迪智能科技有限公司、武汉泰迪智慧科技有限公司等单位给予支持的专家及师生致以深深的谢意。 在本书的编辑和出版过程中还得到了参与中国数据挖掘建模竞赛（http://www.tipdm.org）的众多师生及机械工业出版社杨福川和姜影等人的无私帮与支持，在此一并表示感谢。 张良均