自然语言处理原理与应用

部分 理论基础

第1章 绪论

1.1 基本概念

1.2 自然语言处理的产生与发展

1.3 基本问题和主要困难

1.3.1 自然语言处理的基本问题

1.3.2 自然语言处理面对的主要困难

1.4 深度学习在自然语言处理中的应用

1.4.1 深度学习概述

1.4.2 面向自然语言处理的深度学习方法

1.4.3 目前深度学习应用存在的局限及展望

1.5 本章小结

习题1

第2章 数学基础

2.1 概率论基础

2.1.1 样本空间和概率

2.1.2 随机变量

2.1.3 条件概率公式、全概率公式和贝叶斯公式

2.1.4 期望和方差

2.2 信息论基础

2.2.1 自信息和熵

2.2.2 联合熵和条件熵

2.2.3 互信息、相对熵和交叉熵

2.2.4 困惑度

2.2.5 噪声信道模型

2.3 深度学习的数学基础

2.3.1 似然估计

2.3.2 梯度分析

2.3.3 梯度下降法

2.3.4 梯度消失和梯度

2.4 本章小结

习题2

第3章 语言模型

3.1 语言模型概念及基础理论

3.1.1 n元语法模型

3.1.2 神经概率语言模型

3.1.3 预训练语言模型

3.2 语言模型性能评价

3.2.1 基于信息熵的语言模型复杂度度量

3.2.2 基于困惑度的语言模型复杂度度量

3.2.3 基于语言模型的汉语信息熵估算

3.3 数据平滑

3.3.1 问题的提出

3.3.2 加法平滑方法

3.3.3 Good-Turing估计法

3.3.4 Katz平滑方法

3.3.5 Jelinek-Mercer平滑方法

3.3.6 Witten-Bell平滑方法

3.3.7 减值法

3.4 神经网络语言模型