深度学习自然语言处理实战

◆ 目录：◆

前言

第1章深度学习理论基础

1.1深度学习概况

1.1.1深度学习的历史

1.1.2“无所不能”的深度学习

1.2深度学习神经网络

1.2.1神经网络

1.2.2隐藏层

1.2.3梯度下降

1.2.4激活函数

1.2.5权重初始化

1.2.6正则化

1.2.7归一化

第2章深度学习的软件框架

2.1环境配置

2.1.1Anaconda

2.1.2英伟达GPU驱动+CUDA+cuDNN

2.1.3PyTorch安装

2.1.4Python IDE选择

2.2PyTorch 入门

2.2.1Tensor基本概念

2.2.2Tensor的运算

2.3PyTorch自动求梯度

2.3.1基本概念

2.3.2Tensor样例

2.3.3梯度计算

2.4PyTorch nn模块

第3章语言模型与词向量

3.1语言模型

3.1.1无处不在的语言模型

3.1.2神经网络语言模型

3.2词向量

3.2.1one-hot

3.2.2word2vec

3.2.3GloVe

3.3代码实战

3.3.1任务1:应用PyTorch搭建Skip-Gram

3.3.2任务2:基于GloVe的大规模中文语料的词向量训练

第4章序列模型与梯度消失/爆炸

4.1循环神经网络

4.1.1模型结构及计算过程

4.1.2应用PyTorch搭建并训练RNN模型

4.2梯度消失与爆炸

4.2.1产生原因

4.2.2解决方法

4.3改进方法

4.3.1LSTM

4.3.2GRU

4.4代码实战：搭建LSTM/GRU的文本分类器

第5章卷积神经网络在NLP领域的应用

5.1卷积神经网络的概念

5.1.1输入层

5.1.2卷积层

5.1.3池化层

5.1.4全连接层

5.2空洞卷积神经网络

5.2.1空洞卷积的基本定义

5.2.2空洞卷积在NLP中的应用

5.2.3空洞卷积相关代码

5.2.4多层卷积

5.3代码实战：CNN情感分类实战

5.3.1数据处理

5.3.2程序主干部分

5.3.3模型部分

5.3.4模型训练与评估

第6章Seq2Seq模型与Attention机制

6.1Encoder-Decoder结构

6.1.1Encoder

6.1.2Decoder

6.1.3Encoder-Decoder存在的问题

6.2Attention机制

6.3Seq2Seq训练与预测

6.3.1模型训练

6.3.2模型预测

6.3.3BLEU模型评估法

6.4代码实战：应用PyTorch搭建机器翻译模型

第7章大规模预训练模型

7.1ELMo

7.1.1模型结构

7.1.2模型效果

7.1.3ELMo的优点

7.1.4利用ELMo+CNN进行分类的示例

7.2Transformer

7.2.1Encoder端及Decoder端总览

7.2.2Encoder端各个子模块

7.2.3Decoder端各个子模块

7.2.4其他模块

7.2.5完整模型

第8章预训练语言模型BERT

8.1BERT的基本概念

8.2BERT的工作原理

8.2.1BERT的预训练

8.2.2BERT模型结构

8.2.3BERT的微调

8.3BERT的可解释性

8.4其他预训练模型

8.4.1XLNet

8.4.2RoBERTa

8.4.3ALBERT

8.5代码实战：预训练模型

参考文献