预售《基于NLP的内容理解》BAT高级AI技术专家撰写,结合业务场景,用NLP算法解决6大内容理解难题,包含大量案例

CONTENTS<br />目    录<br />前言<br />第1章  文本特征表示  1<br />1.1  语料与语料预处理  1<br />1.1.1  语料和语料库  1<br />1.1.2  语料预处理  2<br />1.2  文本特征表示方法  6<br />1.2.1  离散型特征表示方法  6<br />1.2.2  分布型特征表示方法  13<br />1.3  词向量的评判标准  29<br />1.3.1  内部评估  29<br />1.3.2  外在评估  31<br />1.4  本章小结  34<br />第2章  内容重复理解  35<br />2.1  标题重复  35<br />2.1.1  标题符号规整化处理  36<br />2.1.2  Jieba分词  39<br />2.1.3  LAC分词  43<br />2.1.4  基于分词及字符串等<br />方式进行重复识别  45<br />2.2  段落重复识别实例  47<br />2.2.1  段落重复识别  47<br />2.2.2  基于N-gram算法进行<br />内容去重  48<br />2.2.3  平滑处理技术  54<br />2.3  基于相似度计算的文章判重  57<br />2.3.1  文本相似度计算任务<br />的分析  57<br />2.3.2  距离度量方式  58<br />2.3.3  基于SimHash算法进行<br />文本重复检测  62<br />2.4  本章小结  66<br />第3章  内容通顺度识别及纠正  67<br />3.1  数据增强  67<br />3.2  基于FastText算法的句子<br />通顺度识别  73<br />3.2.1  CBOW模型  74<br />3.2.2  FastText算法原理  75<br />3.2.3  FastText算法实战  81<br />3.3  基于TextCNN算法的分类<br />任务实现  93<br />3.3.1  专有名词简介  93<br />3.3.2  算法介绍  94<br />3.3.3  参数调优经验总结  96<br />3.3.4  基于Keras工具实现TextCNN算法  96<br />3.4  基于TextRNN算法的分类<br />任务实现  98<br />3.4.1  LSTM和BiLSTM  98<br />3.4.2  TextCNN和TextRNN<br />识别效果对比  105<br />3.5  基于Seq2Seq模型的<br />纠正策略  106<br />3.5.1  Seq2Seq模型原理  106<br />3.5.2  纠正不通顺句子的方法  108<br />3.6  本章小结  114<br />第4章  内容质量  116<br />4.1  GBDT算法  116<br />4.1.1  GBDT算法概述  117<br />4.1.2  负梯度拟合  117<br />4.1.3  GBDT回归算法  118<br />4.1.4  GBDT分类算法  119<br />4.2  XGBoost算法  121<br />4.2.1  从GBDT到XGBoost  121<br />4.2.2  XGBoost损失函数  122<br />4.2.3  XGBoost损失函数的<br />优化求解  124<br />4.2.4  XGBoost算法流程  125<br />4.2.5  XGBoost算法参数<br />及调优  127<br />4.3  知识问答质量体系的搭建  129<br />4.3.1  知识问答质量体系<br />建立的意义  130<br />4.3.2  整体的项目实施方案  130<br />4.3.3  知识问答质量体系<br />搭建流程  133<br />4.4  本章小结  142<br />第5章  标签体系构建  143<br />5.1  标签体系  143<br />5.1.1  标签体系的重要性  143<br />5.1.2  标签体系的分类  144<br />5.1.3  构建标签体系  146<br />5.2  TF-IDF算法  151<br />5.2.1  TF-IDF算法介绍  151<br />5.2.2  TF-IDF算法实现  152<br />5.3  PageRank算法  155<br />5.4  TextRank算法  163<br />5.4.1  TextRank算法的使用<br />场景  164<br />5.4.2  TextRank算法的<br />优缺点  168<br />5.5  本章小结  168<br />第6章   文本摘要生成  169<br />6.1  文本摘要相关介绍  169<br />6.1.1  文本摘要问题定义  169<br />6.1.2  文本摘要分类  170<br />6.1.3  文本摘要的技术和方法  170<br />6.2  基于无监督的抽取式文本摘要  172<br />6.2.1  基于经验的文本摘要  173<br />6.2.2  基于主题模型的<br />文本摘要  175<br />6.2.3  基于图的文本摘要  182<br />6.2.4  基于特征评分的<br />文本摘要  185<br />6.2.5  基于聚类的文本摘要  188<br />6.3  基于有监督的抽取式文本摘要  191<br />6.4  基于深度神经网络的生成式<br />文本摘要  201<br />6.5  文本摘要常用数据集  210<br />6.6  文本摘要评价方法  211<br />6.6.1  自动评价方法  211<br />6.6.2  人工评价方法  213<br />6.7  本章小结  213<br />第7章  文本纠错  214<br />7.1  错误来源及类型  214<br />7.2  文本纠错的3种传统方法  215<br />7.2.1  模板匹配  215<br />7.2.2  编辑距离匹配  216<br />7.2.3  HANSpeller++框架  217<br />7.3  文本纠错深度学习方法  220<br />7.3.1  英文文本纠错方法  220<br />7.3.2  中文文本纠错方法  224<br />7.4  工业界解决方法  233<br />7.4.1  3阶段级联的纠错方案  234<br />7.4.2  符合多种场景的通用<br />纠错方案  236<br />7.4.3  保险文本的纠错方案  237<br />7.5  文本纠错工具  239<br />7.5.1  pycorrector  239<br />7.5.2  xmnlp  240<br />7.6  本章小结  242