正版 自然语言结构计算:GPF结构分析框架 荀恩东 人民邮电出版社

第1章自然语言处理概述

1．1自然语言处理002

1．1．1自然语言处理是认知智能的核心002

1．1．2自然语言理解的本质是语言结构分析003

1．1．3自然语言理解的挑战005

1．2语言结构007

1．2．1语言结构的基本单元007

1．2．2基本单元之间的关系008

1．3语言结构分析011

1．3．1语言结构的形式化012

1．3．2语言结构分析的内容012

1．3．3语言结构分析知识014

1．3．4语言结构分析策略017

1．4基于网格的自然语言结构分析框架——GPF020

1．4．1GPF的设计思想020

1．4．2GPF的主要应用024



第2章GPF总体设计

2．1GPF分析框架028

2．1．1GPF功能部件029

2．1．2GPF工作模式034

2．1．3GPF编程体系035

2．2GPF属性计算037

2．2．1语言结构的属性037

2．2．2属性的形式化及计算038

2．2．3属性的应用043



第3章GPF网格

3．1概述048

3．1．1网格计算结构048

3．1．2主要功能049

3．1．3网格的形式结构050

3．1．4网格与属性051

3．2网格单元051

3．2．1网格单元的类型051

3．2．2网格单元的属性052

3．3网格单元之间的关系060

3．3．1网格单元之间关系的类型061

3．3．2网格单元之间关系的属性062



第4章GPF网格计算

4．1输入输出064

4．1．1输入064

4．1．2输出066

4．2网格单元计算078

4．2．1添加网格单元078

4．2．2获取网格单元089

4．3网格单元属性计算095

4．3．1添加网格单元属性095

4．3．2获取网格单元属性096

4．3．3测试网格单元属性099

4．4网格单元关系计算101

4．4．1增加网格单元关系101

4．4．2增加关系属性102

4．4．3判断关系属性103



第5章GPF数据表

5．1概述109

5．1．1格式定义109

5．1．2术语与定义109

5．2数据表类型111

5．2．1描述型数据表111

5．2．2关系型数据表114

5．3数据表相关的API函数116

5．3．1字符串操作（GetPrefix和GetSuffix）116

5．3．2创建单元（Segment）119

5．3．3构建关系（Relate）122

5．3．4提供属性（SetLexicon）131

5．3．5数据表测试函数（IsTable）133

5．3．6数据项获取函数（GetTableItems）134

5．3．7数据项属性获取函数（GetTableItemKVs）135

5．4数据表在属性计算中的应用137

5．4．1数据表用于“键值对”中137

5．4．2数据表用于键值表达式中139



第6章GPF有限状态自动机

6．1概述142

6．1．1形式化定义142

6．1．2主要功能144

6．2FSA文法144

6．2．1FSA脚本144

6．2．2FSA文法规定146

6．2．3文法编译149

6．3FSA运行机制150

6．3．1配置150

6．3．2匹配入口节点158

6．3．3前后双向匹配160

6．3．4执行操作160

6．4FSA应用162

6．4．1RunFSA算法过程162

6．4．2FSA应用示例163



第7章GPF数据接口

7．1初始语言结构的数据源168

7．1．1离线形式的本地数据168

7．1．2在线形式的第三方服务169

7．2初始语言结构类型及数据接口170

7．2．1初始语言结构类型170

7．2．2初始语言结构数据接口170

7．2．3几种典型结构的数据接口172

7．3初始语言结构在网格中的表示178

7．3．1分词结构178

7．3．2组块结构182

7．3．3短语结构树185

7．3．4词依存结构191

7．3．5组块依存结构196

7．3．6带有分词的组块依存结构200



第8章GPF应用

8．1GPF的配置206

8．2GPF的索引207

8．2．1索引数据表207

8．2．2索引有限状态自动机208

8．3GPF的运行209

8．3．1本地运行211

8．3．2网络服务213

8．3．3GPF输出214

8．4GPF的应用214

8．4．1短语识别215

8．4．2词义消歧217

8．4．3离合词识别220



第9章GPF的API函数

9．1GPF功能操作类API函数227

9．1．1SetText227

9．1．2AddStructure（JSON）227

9．1．3CallService229

9．1．4Segment229

9．1．5SetLexicon230

9．1．6Relate230

9．1．7GetSuffix230

9．1．8GetPrefix231

9．1．9RunFSA231

9．1．10GetParam231

9．1．11GB2UTF8232

9．1．12UTF82GB232

9．1．13cjson．decode232

9．1．14cjson．encode233

9．2GPF获取类API函数233

9．2．1GetGrid233

9．2．2GetText233

9．2．3GetGridKVs234

9．2．4GetLog235

9．2．5GetUnit235

9．2．6GetUnits235

9．2．7GetUnitKVs236

9．2．8GetRelations237

9．2．9GetRelationKVs238

9．2．10GetTableItems239

9．2．11GetTableItemKVs239

9．2．12GetFSANode240

9．3GPF添加类API函数241

9．3．1AddUnit241

9．3．2Reduce242

9．3．3AddUnitKV242

9．3．4AddGridKV242

9．3．5AddRelation243

9．3．6AddRelationKV243

9．4GPF测试类API函数244

9．4．1IsUnit244

9．4．2IsRelation244

9．4．3IsTable244

参考文献247

荀恩东 教授，博士生导师，博士毕业于哈尔滨工业大学，先后在微软亚洲研究院、香港科技大学工作，现任北京语言大学信息科学学院院长、语言智能研究院院长。 研究领域为自然语言处理和语言教育技术。近年来，主持多项“国家高技术研究发展计划”（简称863计划)、国家社会科学基金项目和国家自然科学基金项目，承担多项公司合作的项目,发表文章70余篇。主要研究内容为汉语语义计算和语言教育技术。 主持开发了北京语言大学语料库中心( BCC）语料库和国际中文智慧教学平台。提出了汉语语义分析的意合图理论和构建方法，带领团队揭榜工信部人工智能重大攻关任务，在包括专利等多个领域开展汉语语义理解落地应用工作。

作者深耕自然语言处理30多年，他在3本系列图书中所体现出来的创新精神，也令我赞叹，面对中国的语言文字，他的作品体现了中国学者的气派和自信，而不是削足适履、随波逐流。所贡献的学术思想和专业知识能够给自然语言处理领域的学者、工程师、学生带来别样的启发。 中国计算机学会 理事 中国中文信息学会 副理事长 哈尔滨工业大学 教授 刘挺

自然语言在语法、语义和语用三个平面上的结构统称为语言结构，通过计算得到语言结构是自然语言理解的核心任务。语言结构计算可以泛化为识别语言单元和建立语言单元之间的关系、为语言单元和关系赋予属性的过程。本书利用网格结构分析语言单元和关系，通过键值方式对其属性进行描述和计算，采用数据表解析不同类型的知识，借助有限状态自动机剖析语言的具体应用场景。这种基于网格的自然语言结构分析框架（Grid based Parsing Framework，GPF）具有良好的包容性，通过可编程的脚本和数据交换标准接口，融合了深度学习的参数计算和基于符号的知识计算。GPF为自然语言处理研究和应用提供了新的研究思路和计算框架。

本书适合专业为自然语言处理、计算语言学以及与语言学本体研究有关的学生当作教材，也可以作为高等院校人工智能、信息科学研究、大数据分析等相关专业的参考书。同时，本书也适合对语料库建设与应用感兴趣的人员阅读。

“自然语言结构计算”系列图书 语言| 技术| 算法| 融合 |创新 一、整体亮点 稀缺性： 本书的内容覆盖了基于知识的自然语言处理理论、技术和应用。 专业性： 作者为国内高等院校学者、北京语言大学信息科学学院院长、语言智能研究院院长。 实用性： 本书的GPF是一种灵活实用的可编程的语言分析框架，可用于自然语言处理方向的学习、研究和应用。 原创性： 本书是作者30多年工作、科研、学习中的新思考与新实践的智慧结晶。 二、内容特色 1.知识性 本书涉及自然语言如何处理的技能，涵盖了语义结构分析多项新技术。 2.丰富性 本书系统地介绍了语言分析、构建与使用的各个环节。 3.系统性 本书从如何语义分析入手，涉及了语义意合图的理论建设与使用方法。