雷锋网音讯，不久前，NVIDIA在SIGGRAPH 2018上正式发布了新一代GPU架构——Turing（图灵），黄仁勋称Turing架构是自2006年CUDA GPU创造以来最大的腾跃。Turing架构的两大重要特性就是集成了用于光线追寻的RT Core以及用于AI核算的Tensor Core，使其成为了全球首款支撑实时光线追寻的GPU。
不过说到AI核算，NVIDIA GPU成为最好的加快器早已是公认的现实，但将Tensor Core印上GPU手刺的并不是这次的Turing，而是他的就任长辈——Volta。
根据Volta架构的Titan V是NVIDIA在核算范畴成果的集大成者。深度学习和神经网络已成为NVIDIA GPU的背面驱动力，作为最先进的核算加快器，它集成了用于机器学习操作的内置硬件和软件加快，深度学习才能彻底能够被作为Titan V和Volta的手刺。
Titan V与初代根据开普勒的GeForce GTX Titan现已相去甚远，初代Titan的定位是一款全能显卡，既可作为游戏发烧友的旗舰游戏显卡，也为专业消费者供给全双精度浮点（FP64）核算才能。在Titan V诞生之前，Titan产品线简直都是根据这种规划办法，一颗巨大的GPU中心是NVIDIA“高大全”规划思路的最好代表。
而在Titan V上，NVIDIA再次扩展了大中心的上限。Volta最有目共睹的则是其全新的专用处理模块——Tensor Core（张量核算中心），它与Volta的其他微架构改善，以及支撑深度学习和高功用核算（HPC）的软件/结构集成在一同。
凭仗面积达815mm²的巨大GV100中心，Titan这一产品线变得比以往任何时候都更挨近作业站级，Titan V在具有国际最强图形烘托功用的一同，深度学习和高功用核算方面的功用都有了极大的进步，当然它的价格也到达了作业站级的3000美元。
强化算力，重造Titan
除了深度学习和通用核算之外，Titan品牌的这次迭代还涉及到其他一些要素。 NVIDIA其完结已不太需求经过Titan系列为自己建立形象，开始的GTX Titan现现已过NVIDIA K20Xs为Oak Ridge国家实验室的Titan超级核算机供给核算力。何况，Titan系列在产品价格和功用方面也没有任何特别的竞赛压力。
尽管Titan V的非ECC HBM2显存和GeForce驱动程序仓库都愈加面向消费者，但该卡仍可直接获益于结构和API的软件支撑，这是NVIDIA深度学习开发全体作业的一部分。 鉴于单路Titan V并不会对服务器核算卡Quadro GV100发作什么影响，NVIDIA在Titan V上只砍掉了针对服务器多路互联规划的NVLink高速总线，而首要的核算才能（FP64/FP16/Tensor Core）都被完好保存。
与Pascal及更前期的产品均运用面向PC规划的GPU以及惯例GDDR5(x)显存不同，NVIDIA这次挑选了一颗规划巨大、产值和良品率都不高的服务器级芯片，有很多的晶体管被花费在了非图形功用上（即Tensor Core），这是NVIDIA在核算范畴押下的赌注，NVIDIA现已不满足于只在传统图形核算卡和通用核算方面处于领先地位。
由所以初次分析GPU的深度学习功用，所以现在市面上还没有断定一套规范的基准测验，特别是关于Volta共同的张量内核和混合精度功用。关于Titan V，咱们将运用百度DeepBench、NVIDIA的Caffe2 Docker、Stanford DAWNBench和HPE深度学习基准套件（DLBS）来测验。
但是在深入研究这些测验数据之前，雷锋网首要会就深度学习、GPU、Volta微架构以及深度学习功用基准进行一些布景介绍。
GPU与深度学习
首要要阐明的是，尽管“机器学习”或更通用的“AI”有时可交换用于“深度学习”，但从技术上讲，它们各自指的是不同的东西，机器学习是AI的子集，深度学习则是机器学习的子集。
深度学习是因“深度神经网络”（Deep Neural Networks）而得名，其终究被规划为辨认数据中的办法，发作相关猜测，接纳关于猜测精确度的反应，然后根据反应进行自我调整。核算发作在“节点”上，“节点”被组织成“层”：原始输入数据首要由“输入层”处理，“输出层”推出代表模型猜测的数据。两者之间的任何一层都被称为“躲藏层”，而“deep”则代表着深度神经网络有许多躲藏层。
这些躲藏层能够在不断添加的笼统层次上运转，使得它们乃至能够从杂乱的输入数据中提取和区别非线性特征。一个规范的比如是图画辨认，其间初始层寻觅某些边际或形状，这告诉后边的层寻觅鼻子和眼睛，之后的层可能寻觅面部。终究的图层组合了一切这些数据以进行分类。
跟着输入数据在模型中向前推动，核算包括特别的内部参数（权重），终究会发作一个表明模型猜测与正确值之间差错的丢失函数。然后运用此错误信息反向运转模型以核算将改善模型猜测的权重调整，该前向和后向传递（或反向传达）序列包括单个练习迭代。
为了进行揣度，这个进程自然地排除了逆向传递，终究需求的核算强度比练习模型更小。从这个意义上说，揣度也不太需求像FP32这样高的精度，而且能够对模型进行恰当的修剪和优化，以便在特定的设备上布置。但是揣度设备对推迟、本钱和功耗变得愈加灵敏，尤其是在边际核算的场景下。
卷积神经网络（CNN）和递归神经网络（RNN）是深度神经网络的两个重要子类型。卷积自身是一种操作，将输入数据和卷积核结合起来构成某种特征映射，变换或过滤原始数据以提取特征。
CNN一般是“前馈”的，因为数据在没有循环的状况下流过各层。而关于RNN（以及像LSTM和GRU这样的变体）来讲，每次核算后都会有一个独自的权重循环回自身，给网络一种“回忆”感，这让网络能够做出有时间认识的猜测，在文本分析等场景中很有用。
因为深度学习数学能够归结为线性代数，因而某些操作能够重写为对GPU更友爱的矩阵间乘法。当NVIDIA初次开发并发布cuDNN时，其间一个重要完结就是将算法降级为矩阵乘法以加快卷积。多年来cuDNN的开展包括“预先核算的隐式GEMM”卷积算法，它恰好是触发Tensor Core卷积加快的仅有算法。
NVIDIA GPU的优势
关于深度学习练习来说，GPU现已成为加快器的最佳挑选。大多数核算本质上是并行的浮点核算，即很多的矩阵乘法，其最佳功用需求很多的内存带宽和巨细，这些需求与HPC的需求十分共同，GPU正好能够供给高精度浮点核算、很多VRAM和并行核算才能，NVIDIA的CUDA可谓恰逢其时。
CUDA和NVIDIA的核算事务的开展与机器学习的研究进展相吻合，机器学习在2006年左右才从头成为“深度学习”。GPU加快神经网络模型比较CPU可供给数量级的加快，反过来又将深度学习从头推行到现在的盛行词汇。与此一同，NVIDIA的图形竞赛对手ATI在2006年被AMD收买；OpenCL 1.0在2009年才发布，同年AMD剥离了他们的GlobalFoundries晶圆厂。
跟着DL的研究人员和学者们成功地运用CUDA来更快地练习神经网络模型，NVIDIA才发布了他们的cuDNN库的优化深度学习原语，其间有很多以HPC为中心的BLAS（根本线性代数子例程）和相应的cuBLAS先例，cuDNN将研究人员创建和优化CUDA代码以进步DL功用的需求笼统出来。至于AMD的同类产品MIOpen，上一年才在ROCm保护伞下发布，现在也只在Caffe揭露发布。
所以从这个意义上讲，尽管NVIDIA和AMD的底层硬件都合适DL加快，但NVIDIA GPU终究成为了深度学习的参阅完结。
分析Tensor Core
在关于Volta混合精度Tensor Core的几个疑团中，一个比较烦人的问题是4×4矩阵乘法的才能。Tensor Core是一种新式处理中心，它履行一种专门的矩阵数学运算，适用于深度学习和某些类型的HPC。Tensor Core履行交融乘法加法，其间两个4*4 FP16矩阵相乘，然后将成果添加到4*4 FP16或FP32矩阵中，终究输出新的4*4 FP16或FP32矩阵。
NVIDIA将Tensor Core进行的这种运算称为混合精度数学，因为输入矩阵的精度为半精度，但乘积能够到达彻底精度。可巧的是，Tensor Core所做的这种运算在深度学习练习和推理中很常见。
Tensor Core尽管在GPU里是全新的运算单元，但其实它与规范的ALU流水线并没有太大不同，只不过Tensor Core处理的是大型矩阵运算，而不是简略地单指令流多数据流标量运算。Tensor Core是灵活性和吞吐量权衡的挑选，它在履行标量运算时的体现很糟糕，但它能够将更多的操作打包到同一个芯片区域。
Tensor Core尽管有必定的可编程性，但依然停留在4*4矩阵乘法累加层面上，而且不清楚累积进程是怎么以及何时发作的。尽管被描绘为进行4*4矩阵数学运算，但实践上Tensor Core运算好像总是运用16*16矩阵，而且操作一次跨两个Tensor Core进行处理。这好像与Volta架构中的其他改变有关，更具体地说，与这些Tensor Core是怎么集成进SM中有关。
关于Volta架构，SM被划分为四个处理块或子核。关于每个子核，调度器每个时钟向本地分支单元（BRU）、Tensor Core阵列、数学分配单元或同享MIO单元宣布一个warp指令，这就首要阻挠了Tensor运算和其他数学运算一同进行。在运用两个Tensor Core时，warp调度器直接宣布矩阵乘法运算，而且在从寄存器接纳输入矩阵之后，履行4*4*4矩阵乘法。待完结矩阵乘法后，Tensor Core再将得到的矩阵写回寄存器。
在Tensor Core履行实践指令时，即便在运用NVVM IR（LLVM）的编译器等级上，也仅存在用于warp级矩阵操作的本征，关于CUDA++和PTX ISA，warp等级依然是仅有等级。加载输入矩阵的办法是每个歪曲线程持有一个片段，其散布和身份均未指定。从广义上讲，它遵从规范CUDA中心的根据线程等级拼接的GEMM核算的相同办法。
一般来说，给定A*B+C Tensor Core操作，片段由A的8个FP16*2元素（即16个FP16元素）和B的别的8个FP16*2元素，以及FP16累加器的4个FP16*2元素或 FP32累加器的8个FP32元素组成。
在矩阵乘法累加运算之后，核算成果会涣散在每个线程的方针寄存器片段中，需求在整个规模内一致，假如其间一个warp线程退出，这些初级操作根本上就会失利。
Citadel LLC团队的初级微基准测验提醒了许多Volta微体系结构细节，包括Tensor Core操作和相关的片段，与输入矩阵比较，它们都坐落寄存器和标识中。他们观察到，子核中心以特定的拼接办法核算矩阵乘法，其间一切32个warp线程都在运转。
从概念上讲，Tensor Core在4*4子矩阵上运转，以核算更大的16*16矩阵。warp线程被分红8组，每组4个线程，每个线程组接连核算一个8*4块，总共要经过4组的进程，每一个线程组都处理了方针矩阵的1/8。
在一个调集中，能够并行完结四个HMMA进程，每个进程适用于4*2子块。这四个线程直接链接到寄存器中的那些矩阵值，因而线程组能够处理单个Step 0 HMMA指令，然后一次性核算子块。
因为矩阵乘法在数学上需求对某些队伍进行复用，以答应跨一切8*4块并行履行，每个4*4矩阵被映射到两个线程的寄存器。在核算16*16父矩阵的4*4次子矩阵运算中，这将包括将接连核算的调集相加，构成16*16矩阵中4*8个元素的相应块。尽管Citadel没有对FP16进行测验，但它们发现FP16 HMMA指令只发作2个进程，而不是4个进程，这或许与FP16只占用的较小的寄存器空间有关。
经过独立的线程调度和履行，以及warp同步和warp-wide成果分配，根本的4*4*4 Tensor Core操作变换为半可编程16*16*16混合精度矩阵乘法累加。尽管CUDA 9.1支撑32*8*16 and 8*32*16矩阵，但相乘的矩阵都需求相应的列和行为16，终究矩阵为32*8或8*32。
Tensor Core的运转办法好像是NVIDIA GEMM核算层次结构的一个硬件完结的进程，如CUTLASS（用于GEMM操作的CUDA C ++模板库）中所示。关于传统的CUDA中心，终究一步需求将warp tile结构分化为由各个线程具有的标量和向量元素。运用WMMA API（现在表明张量核），一切这些都被笼统掉了，只剩下了需求处理的协作矩阵片段加载/存储和多重堆集。堆集发作在一个FMA类型的操作中。
在寄存器等级上，NVIDIA在他们的Hot Chips 2017论文中说到“运用三个相对较小的乘法和累加器数据的4*4矩阵，能够履行64次乘加运算。”而增强的Volta SIMT模型的每线程程序计数器（能够支撑张量核）一般需求每个线程2个寄存器槽。HMMA指令自身会尽可能多复用寄存器，所以我无法幻想寄存器在大多数状况下不会呈现瓶颈。
关于独立的4*4矩阵乘法累加，Tensor Core阵列在寄存器、数据途径和调度方面很有核能并没有物理规划，它只能用于特定的子矩阵乘法。
无论怎么，从NVIDIA的视点来看，Volta不是一颗深度学习的专用ASIC，它依然掩盖GPGPU的范畴，因而坚持CUDA可编程Tensor Core适用于GEMM / cuBLAS和HPC是合乎逻辑的。关于CUDA c++的CUTLASS来说，状况更是如此，因为它的WMMA API支撑旨在为广泛的应用程序启用Tensor CoreGEMM操作。从根本上说，NVIDIA深度学习硬件加快的开展与cuDNN（以及cuBLAS）的开展有很大联系。
让FP16适用于深度学习
Volta的深度学习才能是建立在运用半精度浮点（IEEE-754 FP16）而非单精度浮点（FP32）进行深度学习练习的根底之上。
该才能首要由cuDNN 3支撑并在Tegra X1的Maxwell架构中完结，随后原生半精度核算被引进Pascal架构并被称为“伪FP16”，即运用FP32 ALUs处理成对的FP16指令，理论上能够使每个时钟的FP16吞吐量添加一倍。这一特性实践上现已在Tensor Core处理寄存器中矩阵片段的进程中得到体现，其两个FP16输入矩阵被搜集在8个FP16*2或16个FP16元素中。
就FP32与FP16而言，因为单精度浮点所包括的数据多于半精度浮点，因而核算量更大，需求更多的内存容量和带宽来包容和传输数据，并带来更大的功耗。因而，在核算中成功运用低精度数据一向是贫民的圣杯，而方针则是那些不需求高精度数据的应用程序。
除了API/编译器/结构的支撑之外，深度学习一向都有在运用FP16数据类型时丢失精度的问题，这会让练习进程不行精确，模型无法收敛。
据雷锋网了解，NVIDIA曾经也曾在相似的状况下推出过“混合精度”这一概念，在Pascal的快速FP16（针对GP100）和DP4A/DP2A的整数点积操作（针对GP102、GP104和GP106 GPU）中，就曾提出过相似的说法。
其时人们重视的是推理才能，就像Titan V的“深度学习TFLOPS”相同，Titan X（Pascal）推出了“44 TOPS（新式深度学习揣度指令）”。新的指令对4元8位向量或2元8位/16位向量履行整数点积，然后得到一个32位整数积，能够与其他32位整数一同累积。
关于Volta的混合精度而言，重要的精度灵敏数据（如主权重）依然会存储为FP32；而Tensor Core的混合精度练习则会将两个半精度输入矩阵相乘得到一个精度乘积，然后累积成一个精度和。NVIDIA表明，在将成果写入内存之前，Tensor Core会将成果变换回半精度，这样当运用半精度格局时，寄存器和存储器中需求的数据更少，这有助于处理超大矩阵中的数据。
FP16与FP32所包括的数据空间并不相同，归一化办法能够处理FP32格局数据超出FP16可表明规模的问题。举个比如，许多激活梯度的值都落在FP16的规模之外，但因为这些值集合在一同，因而将损耗乘以缩放因子便能够移动FP16规模内的大部分值。在完结终究的权重更新之前，将梯度从头缩放到原始规模，便能够保持其原始的精度。
不过，并非一切的数学、神经网络和层都适用于FP16，一般FP16和Tensor Core的混合精度最合适卷积和RNN重图画处理等，而关于不合适的神经网络结构或类型，FP16将默许禁用或不引荐运用。
内存改善，SM改变
运用Tensor Core处理混合精度数据好像能够减轻内存带宽问题，但现实证明，尽管Volta在简直一切方面都得到了内存子系统的增强，但起伏并不显着。
首要，Volta有一个12 KB的L0指令缓存，尽管Pascal及其他之前的GPU中心也有指令缓存，但Volta更高效的L0是子中心SM分区私有的，因而它对warp调度器来说也是私有的，这对Volta架构更大的指令巨细是一种补偿，并有可能为支撑Tensor Core通道的结构做出奉献。一同Volta指令推迟也要低于Pascal，特别是中心FMAs从6个周期削减到了4个周期。
跟着每个SM中调度器份额的添加，砍掉第二个调度端口好像是对具有独立数据途径和数学调度单元的子中心的权衡。而具有FP32/INT32履行才能，也为其他低精度/混合精度模型打开了大门。这些子核方面的增强，都是为了优化Tensor Core阵列。
另一个严重改变是兼并L1缓存和同享内存。在同一个块中，同享内存可装备为每SM 最高96 KB。HBM2控制器也进行了更新，其功率进步了10~15%。
深度学习基准测验
深度学习从结构到模型，再到API和库，AI硬件的许多部分都是高度定制化的，这样的新范畴有时会让人十分难以了解。
俗话说“光说不练假把式”，实践永远是查验真理的仅有规范。对核算机来说，介绍的再具体也不如真刀真枪跑一下测验，没有什么比benchmark更能提现硬件的实践体现了。
跟着ImageNet和一些衍生模型（AlexNet、VGGNet、Inception、Resnet等）的影响，ILSVRC2012（ImageNet大规划视觉辨认应战）中的图画数据集练习逐步被职业所认可。现在根本上一切深度学习结构都支撑CUDA和cuDNN，关于Volta而言，支撑FP16存储的结构也都支撑Tensor Core加快，启用FP16存储后Tensor Core加快会主动启用。
在随后的下篇文章里，咱们将经过多项测验来检测Volta架构，运用各种深度学习结构来了解Tensor Core的功用。
