音像网络安全态势感知杜嘉薇 等 编著

前言
部分基础知识
章开启网络安全态势感知的旅程2
1.1引言2
1.2网络安全简史3
1.2.1计算机网络3
1.2.2恶意代码4
1..漏洞利用6
1.2.4不错持续威胁7
1.2.5网络安全设施8
1.3网络安全态势感知10
1.3.1为什么需要态势感知10
1.3.2态势感知的定义12
1.3.3网络安全态势感知的定义13
1.3.4网络安全态势感知参考模型14
1.3.5网络安全态势感知的周期17
1.4我国网络安全态势感知政策和发展19
1.4.1我国网络安全态势感知政策19
1.4.2我国网络安全态势感知的曲线发展历程20
1.5国外的网络安全态势感知经验21
1.5.1美国网络安全态势感知建设方式21
1.5.2美国网络安全战略21
1.5.3可信互联网连接22
1.5.4信息安全持续监控
1.5.5可借鉴的经验24
1.6网络安全态势感知建设意见24
第2章大数据平台和技术26
2.1引言26
2.2大数据基础27
2.2.1大数据的定义和特点27
2.2.2大数据关键技术28
2..大数据计算模式28
.大数据应用场景29
2.4大数据主流平台框架30
2.4.1Hadoop30
2.4.2Spark32
2.4.3Storm33
2.5大数据生态链的网络安全态势感知应用架构34
2.6大数据采集与预处理技术34
2.6.1传感器36
2.6.2网络爬虫37
2.6.3日志收集系统39
2.6.4数据抽取工具40
2.6.5分布式消息队列系统42
2.7大数据存储与管理技术46
2.7.1分布式文件系统46
2.7.2分布式数据库50
2.7.3分布式协调系统53
2.7.4非关系型数据库55
2.7.5资源管理调度57
2.8大数据处理与分析技术64
2.8.1批量数据处理64
2.8.2交互式数据分析67
2.8.3流式计算71
2.8.4图计算74
2.8.5不错数据查询语言Pig75
2.9大数据可视化技术76
2.9.1大数据可视化含义76
2.9.2基本统计图表76
2.9.3大数据可视化分类77
2.9.4不错分析工具77
2.10国外的大数据实践经验78
2.10.1大数据平台78
2.10.2网络分析态势感知能力79
第二部分态势提取
第3章网络安全数据范围82
3.1引言82
3.2完整内容数据82
3.3提取内容数据85
3.4会话数据86
3.5统据88
3.6元数据90
3.7日志数据93
3.8告警数据98
第4章网络安全数据采集100
4.1引言100
4.2制定数据采集计划100
4.3主动式采集102
4.3.1通过SNMP采集数据102
4.3.2通过Telnet采集数据103
4.3.3通过SSH采集数据103
4.3.4通过WMI采集数据104
4.3.5通过多种文件传输协议采集数据104
4.3.6利用JDBC/ODBC采集数据库信息105
4.3.7通过代理和插件采集数据106
4.3.8通过漏洞和端口扫描采集数据107
4.3.9通过“蜜罐”和“蜜网”采集数据107
4.4被动式采集108
4.4.1通过有线和无线采集数据108
4.4.2通过集线器和交换机采集数据110
4.4.3通过Syslog采集数据112
4.4.4通过SNMPTrap采集数据112
4.4.5通过NetFlow/IPFIX/sFlow采集流数据113
4.4.6通过WebService/M采集数据114
4.4.7通过DI/I采集和检测数据115
4.5数据采集工具116
4.6采集点部署117
4.6.1需考虑的因素117
4.6.2关注网络出入口点118
4.6.3掌握IP地址分布118
4.6.4靠近关键资产119
4.6.5创建采集全景视图119
第5章网络安全数据预处理121
5.1引言121
5.2数据预处理的主要内容121
5.2.1数据审核121
5.2.2数据筛选122
5..数据排序122
5.3数据预处理方法1
5.4数据清洗1
5.4.1不完整数据124
5.4.2不一致数据124
5.4.3噪声数据124
5.4.4数据清洗过程125
5.4.5数据清洗工具126
5.5数据集成126
5.5.1数据集成的难点126
5.5.2数据集成类型层次127
5.5.3数据集成方法模式128
5.6数据归约129
5.6.1特征归约130
5.6.2维归约130
5.6.3样本归约131
5.6.4数量归约131
5.6.5数据压缩132
5.7数据变换132
5.7.1数据变换策略133
5.7.2数据变换处理内容133
5.7.3数据变换方法133
5.8数据融合135
5.8.1数据融合与态势感知135
5.8.2数据融合的层次分类136
5.8.3数据融合相关算法137
第三部分态势理解
第6章网络安全检测与分析142
6.1引言142
6.2入侵检测143
6.2.1入侵检测通用模型143
6.2.2入侵检测系统分类144
6..入侵检测的分析方法146
6.2.4入侵检测技术的现状和发展趋势151
6.3入侵防御152
6.3.1入侵防御产生的原因152
6.3.2入侵防御的工作原理153
6.3.3入侵防御系统的类型154
6.3.4入侵防御与入侵检测的区别155
6.4入侵容忍156
6.4.1入侵容忍的产生背景156
6.4.2入侵容忍的实现方法156
6.4.3入侵容忍技术分类157
6.4.4入侵容忍与入侵检测的区别157
6.5安全分析158
6.5.1安全分析流程158
6.5.2数据包分析160
6.5.3计算机/网络取163
6.5.4恶意软件分析164
第7章网络安全态势指标构建167
7.1引言167
7.2态势指标属的分类168
7.2.1定指标168
7.2.2定量指标169
7.3网络安全态势指标的提取169
7.3.1指标提取原则和过程170
7.3.2网络安全属的分析172
7.3.3网络安全态势指标选取示例178
7.4网络安全态势指标体系的构建179
7.4.1指标体系的构建原则179
7.4.2基础运行维指标179
7.4.3脆弱维指标180
7.4.4风险维指标181
7.4.5威胁维指标182
7.4.6综合指标体系和指数划分183
7.5指标的合理检验184
7.6指标的标准化处理185
7.6.1定量指标的标准化186
7.6.2定指标的标准化188
第8章网络安全态势评估189
8.1引言189
8.2网络安全态势评估的内涵190
8.3网络安全态势评估的基本内容190
8.4网络安全态势指数计算基本理论192
8.4.1排序归一法192
8.4.2层次分析法193
8.5网络安全态势评估方法分类194
8.6网络安全态势评估常用的融合方法196
8.6.1基于逻辑关系的融合评价方法196
8.6.2基于数学模型的融合评价方法197
8.6.3基于概率统计的融合评价方法204
8.6.4基于规则推理的融合评价方法207
第9章网络安全态势可视化212
9.1引言212
9.2数据可视化基本理论213
9.2.1数据可视化般程213
9.2.2可视化设计原则与步骤214
9.3什么是网络安全态势可视化216
9.4网络安全态势可视化形式217
9.4.1层次化数据的可视化217
9.4.2网络数据的可视化217
9.4.3可视化系统交互219
9.4.4安全仪表盘220
9.5网络安全态势可视化的前景221
第四部分态势预测
0章典型的网络安全态势预测方法224
10.1引言224
10.2灰色理论预测225
10.2.1灰色系统理论的产生及发展225
10.2.2灰色理论建立依据226
10..灰色预测及其类型226
10.2.4灰色预测模型227
10.3时间序列预测4
10.3.1时间序列分析的基本特征5
10.3.2时间序列及其类型5
10.3.3时间序列预测的步骤
10.3.4时间序列分析方法
10.4回归分析预测240
10.4.1回归分析的定义和思路241
10.4.2回归模型的种类241
10.4.3回归分析预测的步骤242
10.4.4回归分析预测方法242
10.5总结245
1章网络安全态势智能预测246
11.1引言246
11.2神经网络预测247
11.2.1人工神经网络概述247
11.2.2神经网络的学习方法248
11..神经网络预测模型类型249
11.2.4BP神经网络结构和学习原理252
11.3支持向量机预测254
11.3.1支持向量机方法的基本思想254
11.3.2支持向量机的特点255
11.3.3支持向量回归机的分类257
11.3.4支持向量机核函数的选取260
11.4人工免疫预测261
11.4.1人工免疫系统概述262
11.4.2人工免疫模型相关机理262
11.4.3人工免疫相关算法264
11.5复合式攻击预测267
11.5.1基于攻击行为因果关系的复合式攻击预测方法268
11.5.2基于贝叶斯博弈理论的复合式攻击预测方法269
11.5.3基于CTPN的复合式攻击预测方法270
11.5.4基于意图的复合式攻击预测方法272
2章274
12.1引言274
12.2网络安全人员274
12.2.1网络安全人员范围274
12.2.2需要具备的技能275
12..能力级别分类277
12.2.4安全团队建设278
1.威胁情报分析279
1..1网络威胁情报279
1..2威胁情报来源280
1..威胁情报管理281
1..4威胁情报共享282
参考文献283

前    言网络安全既涉及安全也涉及经济安全，目前世界各国每天都在进行着大量隐蔽的较量，网络安全的重要不容忽视。5年前，我因偶然机遇进入网络空间安全领域，通过各种活动和项目实践见了对网络安全重视程度的不断提升。这期间先后研究过威胁建模、信息安全风险评估与控制、流量检测和安全测试等方面，在持续学习和实践的同时，也与国内许多专家学者和企事业单位频繁接触，深感安全人员不能只关注具体点而忽略整体面。花大价钱购置一大批盒式设备“堆”在网络中的时代已经一去不复返，这只能带来虚的安全感。安全的“短板效应”和“木桶理论”决定了我们必须以全局整体的视角去看待它，而且这种整体视角是基于动态博弈的暂时平衡。    网络安全的哲学已经从“努力防住”转变为“防范终将失效”，从“发现并修补漏洞”转变为“持续过程监控”，也就是说，无论你在网络和系统中投入多少，入侵者仍可能获胜。基于这个哲学前提，我们能做的就是在入侵者实现目标前尽可能地发现、识别并做出响应，及时分析情况和通报事件的发生，并以代价减轻入侵者的破坏，只要入侵者的目标未能达成即是相对安的。络安全态势感知就是这种思路的典型体现，通过获取海量数据与事件，直观、动态、全面、细粒度地提取各类网络攻击行为，并对其进行理解、分析、预测以及可视化，从而实现态势感知。它有于安全团队发现传统安全平台和设备未能监测到的事件，将网络上似乎无关的事件关联起来，从而更有效地排查安全事件并做出响应。    虽然网络安全态势感知的概念早在若干年前就已被提及，但由于当时的技术和认知水平，其发展是有限的。随着时间的推移，以及数据量和数据形态的改变，老问题发生了新变化，需要我们重新审视它。尤其是近几年来，随着大数据技术的迅猛发展、数据处理和分析方法的不断创新，以大数据为平台框架进行安全分析（即数据驱动安全）逐渐成为热点。新技术的驱动给网络安全带来许多新的挑战，也迫使我们重新思考。只有不断更新知识，创造地发现问题、研究问题和解决问题，才能跟上信息化时代的脚步。正如《人类简史》中所写：“人类近500年的科学意义重大，它并不是‘知识的’，而是‘无知的’。真正让科学起步的伟大发现，就是发现‘人类对于重要的问题其实毫无所知’……现代科学愿意承认自己的无知，就让它比所有先前的知识体系更具活力、更有弹，也更有求知欲。这一点大幅提升了人类理解世界如何运作的能力，以及创造新科技的能力。”    读者对象本书的读者对象主要包括：    网络安全领域的技术爱好者和学生网络运维管理、信息安全领域的从业人员网络空间安全等相关专业的生及期望在网络安全领域就业的技术人员网络安全态势感知领域的研究人员本书结构本书分为四个部分：基础知识、态势提取、态势理解和态势预测。每章都会重点讨论相关理论、工具、技术和核心领域流程。我们将尽可能用通俗易懂的方式进行阐述，让新手和安全专家都能从中获得一些启发。本书所构建的框架和理论基于集体研究、经验以及合著者的观点，对于不同的话题和场景所给出的结论可能与他人不同。这是因为网络安全态势感知更多地是一门实践活动，不同人的认知和理解难以趋同，这也是完全正常的现象。    本书的内容框架如下：    部分：基础知识  章：开启网络安全态势感知的旅程  第2章：大数据平台和技术第二部分：态势提取  第3章：网络安全数据范围  第4章：网络安全数据采集  第5章：网络安全数据预处理第三部分：态势理解  第6章：网络安全检测与分析  第7章：网络安全态势指标构建  第8章：网络安全态势评估  第9章：网络安全态势可视化第四部分：态势预测  0章：典型的网络安全态势预测方法  1章：网络安全态势智能预测  2章：本书涉及的网络安全态势感知主题众多，我们希望书中各章涵盖的内容能够具有一定的参考价值；同时希望读者能够获得愉悦且充沛的阅读体验，就如同我们在字斟句酌数易其稿、亲历从开始寥寥数页的章节意向到成稿付梓形成手头这本书的过程中体会到的一样。    致谢写书的过程是漫长而艰辛的！我有个习惯，就是无论在何种环境下都会不断告诫自己：“人不能贪图安逸，总要有一个目标，时不时给自己一些挑战，做一些有难度的事情。”从设定这样一个目标到谋划这件事情，再到搭建书的整体框架，对每个章节进行布局，完成初稿、中间修改和定稿的整个过程中，是心中的信念让我克服了人固有的惰并坚持了下来。    当然，本书之所以能完成，离不开许多朋友直接或间接的帮，我也想借此机会感谢他们。    感谢父母，在你们的影响下成长，使我成为一个独特的人。作为子女所能做的是，传承他们赋予的格并分享他们给予的爱。    感谢我的家庭和可爱的女儿，家人给我的爱是浓厚的，对我重要，他们在生活中对我的关心和支持，让我有动力完成各种艰难的挑战。    感谢单位的领导和同事，他们给予我充分的信任和支持以开展这方面的研究和实践，并对我的研究工作提出了诸多宝贵意见和建议。    杜嘉薇