会话式AI：自然语言处理与人机交互

前言

第1章　人机交互导论 1

1.1　图灵测试 1

1.1.1　图灵测试相关背景 1

1.1.2　图灵测试的定义 2

1.1.3　图灵测试引发的思考 3

1.2　专家系统 3

1.2.1　专家系统的定义 3

1.2.2　专家系统的框架 4

1.2.3　专家系统的发展 6

1.3　人机交互 6

1.3.1　人机交互简介 6

1.3.2　人机交互模块的发展 7

1.3.3　自然语言理解 9

1.3.4　对话管理 10

1.3.5　自然语言生成 10

1.4　机器人形态 11

1.4.1　聊天机器人 12

1.4.2　任务型机器人 13

1.4.3　面向FAQ的问答机器人 13

1.4.4　面向KB的问答机器人 14

1.5　本章小结 14

第2章　人机对话前置技术 15

2.1　深度学习框架 15

2.1.1　Theano 15

2.1.2　TensorFlow 16

2.1.3　Keras 17

2.1.4　PyTorch 17

2.2　搭建NLP开发环境 18

2.2.1　下载和安装Anaconda 18

2.2.2　conda的使用 21

2.2.3　中文分词工具——Jieba 22

2.2.4　PyTorch的下载与安装 24

2.2.5　Jupyter Notebook远程访问 25

2.3　TorchText的安装与介绍 26

2.4　本章小结 29

第3章　中文分词技术 30

3.1　分词的概念和分类 30

3.2　规则分词 31

3.2.1　正向最大匹配 31

3.2.2　逆向最大匹配 32

3.2.3　双向最大匹配 33

3.3　统计分词 35

3.4　混合分词 44

3.5　Jieba分词 44

3.6　准确率评测 47

3.6.1　混淆矩阵 48

3.6.2　中文分词中的P、R、F1计算 49

3.7　本章小结 51

第4章　数据预处理 52

4.1　数据集介绍 52

4.2　数据预处理 53

4.3　TorchText预处理 55

4.3.1　torchtext.data 55

4.3.2　torchtext.datasets 56

4.3.3　构建词表 57

4.3.4　构建迭代器 58

4.4　本章小结 60

第5章　词向量实战 61

5.1　词向量的由来 61

5.1.1　one-hot模型 61

5.1.2　神经网络词向量模型 63

5.2　word2vec 67

5.2.1　初探word2vec 67

5.2.2　深入CBOW模型 68

5.2.3　Skip-gram模型介绍 69

5.2.4　word2vec模型本质 70

5.3　glove 71

5.3.1　初探glove 71

5.3.2　glove模型原理 72

5.4　word2vec实战 74

5.4.1　预处理模块 74

5.4.2　模型框架 78

5.4.3　模型训练 79

5.4.4　模型评估 82

5.5　glove实战 83

5.5.1　预处理模块 83

5.5.2　模型框架 85

5.5.3　模型训练 86

5.5.4　模型评估 87

5.6　本章小结 87

第6章　序列标注与中文NER实战 88

6.1　序列标注任务 88

6.1.1　任务定义及标签体系 88

6.1.2　任务特点及对比 90

6.1.3　任务应用场景 92

6.2　序列标注的技术方案 94

6.2.1　隐马尔可夫模型 94

6.2.2　条件随机场 94

6.2.3　循环神经网络 96

6.2.4　Bert 97

6.3　序列标注实战 99

6.3.1　中文NER数据集 99

6.3.2　数据预处理 100

6.3.3　模型训练框架 102

6.3.4　模型评估 103

6.4　BiLSTM 104

6.4.1　参数介绍 104

6.4.2　BiLSTM模型框架 104

6.4.3　模型效果评估 106

6.5　BiLSTM-CRF 107

6.5.1　参数介绍 107

6.5.2　BiLSTM-CRF模型框架 107

6.5.3　模型评价 112

6.6　本章小结 112

第7章　文本分类技术 113

7.1　TFIDF与朴素贝叶斯 113

7.1.1　TFIDF 113

7.1.2　朴素贝叶斯 115

7.1.3　实战案例之新闻分类 116

7.2　TextCNN 118

7.2.1　TextCNN网络结构解析 118

7.2.2　实战案例之新闻分类 121

7.3　FastText 129

7.3.1　模型架构 129

7.3.2　层次softmax 130

7.3.3　n-gram子词特征 130

7.3.4　安装与实例解析 131

7.4　后台运行 134

7.5　本章小结 134

第8章　循环神经网络 135

8.1　RNN 135

8.1.1　序列数据 135

8.1.2　神经网络需要记忆 136

8.1.3　RNN基本概念 136

8.1.4　RNN的输入输出类型 138

8.1.5　双向循环神经网络 139

8.1.6　深层循环神经网络 140

8.1.7　RNN的问题 141

8.1.8　RNN PyTorch实现 141

8.2　LSTM 143

8.2.1　LSTM网络结构解析 143

8.2.2　LSTM PyTorch实现 147

8.3　GRU 149

8.3.1　GRU网络结构解析 149

8.3.2　GRU PyTorch实现 151

8.4　TextRNN 152

8.4.1　基本概念 152

8.4.2　实战案例之新闻分类 153

8.5　TextRCNN 154

8.5.1　基本概念 154

8.5.2　实战案例之新闻分类 155

8.6　实战案例之诗歌生成 155

8.6.1　数据预处理 156

8.6.2　模型结构 158

8.6.3　模型训练 158

8.6.4　诗歌生成 159

8.7　本章小结 161

第9章　语言模型与对话生成 162

9.1　自然语言生成介绍 162

9.2　序列生成模型 163

9.2.1　seq2seq的基本框架 164

9.2.2　Encoder-Decoder框架的缺点 165

9.3　经典的seq2seq框架 166

9.3.1　基于RNN的seq2seq 166

9.3.2　基于CNN的seq2seq 167

9.4　Attention机制 169

9.4.1　序列模型RNN 169

9.4.2　Attention机制的原理 170

9.4.3　Self-Attention模型 171

9.4.4　Transfomer模型介绍 171

9.5　Bert——自然语言处理的新范式 173

9.5.1　Bert结构 174

9.5.2　预训练任务 175

9.6　聊天机器人实战 1