并行计算与实现技术

目录

第1章并行计算基础1

1.1什么是并行计算1

1.2为什么需要并行计算2

1.3并行计算机的发展4

1.4并行算法复杂性分析5

1.5并行计算的基本概念7

第2章基础并行算法9

2.1并行算法设计基本原则9

2.2区域分解方法10

2.3功能分解方法11

2.4流水线技术12

2.5分而治之方法13

2.6同步并行算法14

2.7异步并行算法14

第3章经典算法的并行计算16

3.1矩阵乘并行计算方法16

3.1.1矩阵卷帘存储方式16

3.1.2并行矩阵乘法17

3.2线性方程组并行求解方法21

3.2.1分布式系统的并行LU分解算法22

3.2.2三角方程组的并行解法23

3.3经典迭代算法的并行化25

3.3.1Jacobi迭代法25

3.3.2Gauss-Seidel迭代法26

3.4特征值问题并行计算方法27

3.4.1对称三对角矩阵特征值问题27

3.4.2Householder变换28

3.4.3化对称矩阵为三对角矩阵29

第4章消息传递编程接口MPI30

4.1并行环境函数30

4.2MPI进程控制函数32

4.2.1MPI进程组操作函数32

4.2.2MPI通信子操作36

4.3点到点通信函数39

4.3.1阻塞式通信函数39

4.3.2非阻塞式通信函数44

4.3.3特殊的点到点通信函数49

4.3.4MPI的通信模式50

4.4自定义数据类型51

4.4.1用户定义的数据类型51

4.4.2MPI的数据打包与拆包59

4.5聚合通信函数62

4.5.1障碍同步62

4.5.2单点与多点通信函数62

4.5.3多点与多点通信函数66

4.6全局归约操作函数70

第5章共享存储并行编程OpenMP80

5.1OpenMP发展历程80

5.2OpenMP执行模型和存储模型81

5.3OpenMP指导语句82

5.3.1parallel结构83

5.3.2工作共享结构85

5.3.3数据共享属性子句98

5.3.4其他子句104

5.3.5Tasking结构107

5.3.6结构嵌套规则111

5.4OpenMP运行时函数库111

5.4.1运行时函数定义111

5.4.2执行环境函数111

5.4.3锁函数116

5.4.4时间函数120

5.5OpenMP环境变量120

5.6OpenMP在MIC架构上的优化技术122

5.6.1offload模式下将Host环境传播至MIC(target)计算节点122

5.6.2offload模式提供了多种关键字来实现多功能的需求122

5.6.3查看编译器对程序中OpenMP区域的优化处理123

5.6.4OpenMP在Offload及Native模式下的不同缺省值123

5.6.5设置OpenMP的栈空间大小124

5.6.6分配部分计算资源给运行的程序125

第6章GPU并行加速实现技术126

6.1GPU以及GPGPU发展简介126

6.2CUDA并行编程模型129

6.2.1线程结构129

6.2.2线程调度132

6.3CUDA软件体系134

6.3.1CUDA函数定义以及变量类型限定符134

6.3.2CUDA算数指令与数学函数136

6.3.3CUDA内置函数136

6.3.4CUDA软件体系结构137

6.3.5CUDA程序的编译139

6.4CUDA存储器模型139

6.4.1寄存器141

6.4.2全局存储器141

6.4.3本地存储器145

6.4.4共享存储器145

6.4.5常量存储器147

6.4.6纹理存储器147

6.5CUDA程序的优化151

6.5.1处理器利用率优化152

6.5.2指令吞吐量优化154

6.5.3存储器访问优化157

6.5.4矩阵乘法程序优化示例163

6.5.5矩阵转置程序优化示例165

6.6MPI/CUDA混合编程170

6.6.1MPI/CUDA混合编程模型171

6.6.2GPU集群上的数据传输模型172

6.6.3MPI/CUDA混合编程以及编译运行示例174

6.6.4MPI/OpenMP/CUDA混合编程177

6.6.5异构平台数学库MAGMA简介184

参考文献186

索引189

《信息与计算科学丛书》已出版书目191