AI加速器架构设计与实现

CONTENTS

目　　录

前言

第1章　卷积神经网络　1

1.1　神经网络的结构　2

1.2　GCN　4

1.3　网络的基本块　7

1.4　网络的算子　17

1.5　网络参数量与运算量　29

1.6　加速器编程模型　31

1.7　硬件加速器架构分类　33

第2章　运算子系统的设计　35

2.1　数据流设计　35

2.2　算力与带宽　38

2.2.1　算力与输入带宽　38

2.2.2　算力与输出带宽　41

2.3　卷积乘法阵列　43

2.3.1　Conv算法详解　43

2.3.2　NVDLA的乘法阵列　47

2.3.3　TPU的乘法阵列　59

2.3.4　GPU的乘法阵列　66

2.3.5　华为DaVinci的乘法阵列　74

2.4　卷积运算顺序的选择　80

2.5　池化模块的设计　81

第3章　存储子系统的设计　86

3.1　存储子系统概述　86

3.1.1　存储子系统的组成　86

3.1.2　内部缓存的设计　89

3.2　数据格式的定义　97

3.2.1　特征图的格式　98

3.2.2　权重的格式　100

第4章　架构优化技术　106

4.1　运算精度的选择　106

4.1.1　dynamic fixed point类型　109

4.1.2　bfloat16类型　110

4.2　硬件资源的复用　111

4.2.1　FC　112

4.2.2　de-Conv　115

4.2.3　dilate Conv　123

4.2.4　group Conv　123

4.2.5　3D Conv　127

4.2.6　TC Conv　130

4.2.7　3D Pool　132

4.2.8　Up Sample Pooling　136

4.2.9　多个加速器的级联　136

4.3　Winograd算法和FFT算法　138

4.3.1　Winograd算法解析　138

4.3.2　FFT算法解析　148

4.4　除法变乘法　150

4.5　LUT的使用　150

4.6　宏块并行技术　155

4.7　减少软件配置时间　156

4.8　软件优化技术　157

4.9　一些激进的优化技术　158

第5章　安全与防护　160

5.1　安全技术　160

5.2　安全性评估　162

5.3　防护　163

第6章　神经网络加速器的实现　165

6.1　乘法器的设计　165

6.1.1　整型乘法器的设计　166

6.1.2　浮点运算器的设计　171

6.2　数字电路常见基本块的设计　184

6.3　时序优化　203

6.4　低功耗设计　207

第7章　盘点与展望　211

7.1　AI加速器盘点　211

7.2　Training加速器　211

7.3　展望　218

后记　220