使用 GPU 进行深度学习

lilybunny

作者：Johonna Pingel
本文的主题是使用 GPU 进行深度学习。
在刚刚过去的十年中，以 NVIDIA为首，GPU 的运用有力助推了深度学习。对包含数千乃至数百万数据样本的大量数据以及复杂的网络架构进行处理时，GPU 可以显著缩短训练模型的处理时间。
GPU 究竟是什么呢？
GPU 即图形处理单元 (Graphics Processing Units)，顾名思义，它的设计初衷是用来处理图形。
GPU 可以并行执行多个计算，因此非常擅长处理大量简单任务，比如像素的操作等。
GPU 的主要使用场合是图像分类，但其快速计算也适用于信号数据处理。
在很多情况下，“图像”都是采用数据预处理方法基于信号生成的，这些方法将信号转换为其三维时频表示。
这些图像随后即用于深度学习训练，训练时会直接从时频图（图像）而不是原始信号中学习特征。
为了进一步提速，可以使用 GPU Coder 创建 CUDA 代码，以在 NVIDIA GPU 上直接运行。不同于包含四个或八个强劲内核的 CPU，GPU 往往包含数百个并行工作的较小内核。每个 GPU 内核都可以执行一些简单的计算，但内核本身算不上十分智能。GPU 强大的计算能力来自暴力破解，即动用全部内核执行卷积、ReLU 和池化等深度学习计算。
GPU 可以加快深度学习到何种程度？
这取决于实际情况。具体能实现多大提速，部分取决于以下因素：
输入数据量足够大：数据集越复杂，GPU 对训练的提速效果越明显
网络结构的复杂程度：执行的卷积和计算越多，所需的时间就越长
硬件：最初的配置和之后的发展
GPU 未能加快训练的情形较为罕见，但在某些情况下，例如处理一维输入数据、向量数据或少量输入数据。以分类示例这个简单的深度学习为例，该示例使用小尺寸 (28x28px) 的图像，并且只有几层网络 使用 CPU 训练该数据集只需几分钟即可完成，这种情况下，GPU 根本发挥不出多大的作用。