自然语言处理技术与应用

第 1章 自然语言处理初探 1

1.1 什么是自然语言处理 2

1.1.1 自然语言处理的概念 2

1.1.2 自然语言处理的研究任务 3

1.2 自然语言处理的发展历程 5

1.3 自然语言处理相关知识的构成 7

1.3.1 基础术语 7

1.3.2 知识结构 8

1.4 探讨自然语言处理的层面 9

1.5 自然语言处理与人工智能 10

1.5.1 智慧医疗 11

1.5.2 智慧司法. 11

1.5.3 智慧金融 11

1.6 本章小结 12

第 2章 使用Python进行自然语言基础处理 13

2.1 正则表达式在自然语言处理中的基本应用 14

2.1.1 匹配字符串 14

2.1.2 使用转义符 17

2.1.3 抽取文本中的数字 18

2.2 NumPy使用详解 13.2 19

2.2.1 创建数组 19

2.2.2 获取NumPy中数组的维度 20

2.2.3 获取本地数据 21

2.2.4 正确读取数据 22

2.2.5 数组索引 22

2.2.6 数组切片 23

2.2.7 数组比较 23

2.2.8 替代值 24

2.2.9 数据类型转换 25

2.2.10 NumPy的统计计算方法 25

2.3 本章小结 26

第3章 使用NLTK获取和构建语料库 27

3.1 语料库基础 28

3.2 NLTK 29

3.2.1 NLTK简介 29

3.2.2 安装NLTK 30

3.2.3 使用NLTK 31

3.2.4 在Python NLTK下使用Stanford NLP 36

3.3 获取语料库 40

3.3.1 通过语料库网站获取语料库 40

3.3.2 通过编写程序获取语料库 41

3.3.3 通过NLTK获取语料库 42

3.4 综合案例：走进《红楼梦》 44

3.4.1 数据采集和预处理 44

3.4.2 构建本地语料库 45

3.4.3 语料操作 45

3.5 本章小结 48

第4章 jieba中文分词 49

4.1 中文分词简介 50

4.2 规则分词 50

4.2.1 正向 匹配法 51

4.2.2 逆向 匹配法 52

4.2.3 双向 匹配法 54

4.3 统计分词 57

4.3.1 统计语言模型 57

4.3.2 HMM 58

4.3.3 其他统计分词算法 65

4.4 混合分词 65

4.5 Jieba高频词提取 66

4.5.1 jieba的3种分词模式 66

4.5.2 实战之高频词提取 66

4.6 本章小结 69

第5章 jieba词性标注 71

5.1 词性标注简介 72

5.2 词性标注规范 72

5.3 jieba分词中的词性标注 74

5.4 本章小结 75

第6章 命名实体识别之日期识别和地名识别 77

6.1 命名实体识别简介 78

6.2 基于CRF的命名实体识别 79

6.3 命名实体识别之日期识别 82

6.4 命名实体识别之地名识别 86

6.4.1 安装CRF++ 86

6.4.2 确定标签体系 87

6.4.3 语料数据处理 88

6.4.4 特征模板设计 90

6.4.5 模型训练和测试 91

6.4.6 模型使用 93

6.5 本章小结 94

第7章 提取文本关键词 95

7.1 关键词提取算法 96

7.2 TF-IDF算法 96

7.3 TextRank算法 97

7.4 LSA/LSI/LDA算法 99

7.4.1 LSA/LSI算法 99

7.4.2 LDA算法 100

7.5 提取文本关键词 101

7.6 本章小结 108

第8章 词向量算法 109

8.1 word2vec词向量算法 110

8.1.1 神经网络语言模型 110

8.1.2 C&W模型 112

8.1.3 CBOW模型和Skip-gram模型 113

8.2 doc2vec/str2vec文本向量化算法 114

8.3 将网页文本向量化 116

8.3.1 词向量的训练 116

8.3.2 段落向量的训练 119

8.3.3 利用word2vec词向量算法和doc2vec文本向量化算法计算网页相似度 120

8.4 本章小结 124

第9章 句法分析 125

9.1 句法分析概述 126

9.1.1 句法分析的基本概念 126

9.1.2 句法分析的基本方法 126

9.2 句法分析的数据集与评测方法 127

9.2.1 句法分析的数据集 127

9.2.2 句法分析的评测方法 129

9.3 句法分析的常用方法 130

9.3.1 基于PCFG的句法分析 130

9.3.2 基于 间隔马尔可夫网络的句法分析 131

9.3.3 基于CRF的句法分析 132

9.3.4 基于移进-归约的句法分析 132

9.4 使用Standford Parser的PCFG进行句法分析 134

9.4.1 Stanford Parser 134

9.4.2 基于PCFG的中文句法分析实战 135

9.5 本章小结 136

第 10章 情感分析 137

10.1 情感分析的应用 138

10.2 情感分析的基本方法 139

10.2.1 词法分析 139

10.2.2 机器学习 140

10.2.3 混合分析 140

10.3 电影评论情感分析 141

10.3.1 模型选择 141

10.3.2 载入数据 144

10.3.3 辅助函数 146

10.3.4 模型设置 147

10.3.5 调参配置 148

10.3.6 训练过程 149

10.4 本章小结 149

第 11章 机器学习在自然语言处理的应用 151

11.1 几种常用的机器学习方法 152

11.1.1 文本分类 152

11.1.2 特征提取 152

11.1.3 标注 153

11.1.4 搜索与排序 154

11.1.5 系统 155

11.1.6 序列学习 156

11.2 无监督学习的文本聚类 156

11.3 文本分类实战-中文垃圾邮件分类 158

11.4 文本聚类实战——用K均值聚类对豆瓣读书数据聚类 164

11.5 本章小结 168

第 12章 深度学习在自然语言中的应用 169

12.1 RNN简介 170

12.1.1 简单RNN 170

12.1.2 LSTM 172

12.1.3 Attention机制 174

12.2 Seq2Seq问答机器人 175

12.2.1 Seq2Seq模型 175

12.2.2 实战Seq2Seq聊天机器人 176

12.3 本章小结 184

第 13章 自然语言处理典型的应用场景 185

13.1 机器翻译与写作 186

13.1.1 机器翻译 186

13.1.2 机器写作 195

13.2 智能问答与对话 204

13.2.1 智能问答 204

13.2.2 智能对话系统 204

13.2.3 问答系统的主要组成 206

13.2.4 不同类型的问答系统 207

13.2.5 前景与挑战 218

13.3 个性化推荐 218

13.3.1 系统的概念 218

13.3.2 个性化推荐的基本问题 219

13.3.3 的可解释性 222

13.3.4 前景与挑战 223

13.4 本章小结 226