NVIDIA cuDNN
英伟达™
文章目录
- 前言
- 一、Key Features 主要特点
- 1. 加速学习
- 2. 富有表现力的操作图 API
- 3. 支持
- 二、深度神经网络
- 三、特征
- 四、cuDNN 图形 API 和融合
- 五、Key Features 主要特点
- 六、 cuDNN 加速框架
- 相关库和软件
前言
NVIDIA CUDA® 深度神经网络库 （cuDNN） 是一个用于深度神经网络的 GPU 加速基元库。cuDNN 为标准例程（如前向和后向卷积、注意力、matmul、池化和规范化）提供高度优化的实现。
一、Key Features 主要特点
1. 加速学习
cuDNN 提供针对 Tensor Core 的内核，以在计算绑定操作上提供最佳可用性能。它提供了启发式方法，用于为给定的问题大小选择正确的内核。
2. 富有表现力的操作图 API
用户将计算定义为张量运算图。为方便起见，cuDNN 库同时具有直接 C API 和开源 C++ 前端。大多数用户选择前端作为 cuDNN 的入口点。
3. 支持
cuDNN 支持计算绑定和内存绑定操作的融合。常见的通用融合模式通常由