0. 前言

相比于 CPU，GPU 在架构设计时将更多的晶体管用于数据处理，而不是数据缓存和流量控制，因此可以高度实现并行计算。具体可以参考 GPU 并行计算入门

由于深度学习是基于大量矩阵运算实现的，因此我们往往使用 GPU 训练深度学习网络。GPU 的计算能力和显存大小决定了计算速度和可运行的网络的大小，但除了 GPU 本身的性能外，网络训练/推理的性能还与我们使用的数据类型有关。在大模型时代，低精度和混合精度的使用非常常见。

1. 数据的存储方式

float 和 double 类型的数据在内存中以二进制方式存储，由三部分组成：

• 符号位 S（Sign）: 0 代表正数，1 代表负数
• 指数位 E（Exponent）: 用于存储科学计数法中的指数部分，决定了数据的范围
• 尾数位 M（Mantissa）: 用于存储尾数（小数）部分，决定了数据的精度

int 类型只包括符号位和指数位，没有尾数位。

如 float 9.125 在计算机中分别按照整数和尾数的二进制进行存储，9 的二进制为 1001，0.125 的二进制为 0.001；所以 9.125 表示为 1001.001，其二进制的科学计数法表示为 $1.001001\times 2^3$

在计算机中，任何一个数都可以表示为 $1.xxx\times 2^n$ 的形式，其中 $n$ 是指数位，$xxx$ 是尾数位。

指数位决定了该数据类型的数值动态范围：指数位越多，可表示的数值范围越大。
尾数位决定了该数据类型的数值精度：尾数位越多，可表示的数值精度越高。

下面是 FP16 和 FP32 (float) 的存储示例图：
        

        

以 FP16为例，其指数位 E 为 5 bits，由于 00000 和 11111 是特殊数据，所以 E 的范围为 00001~11110，即 1~30；尾数位 M 为 10 bits，范围为 0~1023

（1）计算 FP16 可以表示的数据范围

FP16 可以表示的数据大小为：$(-1{)}^S\ast 2^{E-15}\ast (1+\frac{M}{2^{1024}})$

因此 FP16 可以表示的最大的正数为：$0111101111111111=(-1{)}^0\ast 2^{30-15}\ast (1+\frac{1023}{1024})=65504$

可以表示的最小的负数为：$1111101111111111=(-1{)}^1\ast 2^{30-15}\ast (1+\frac{1023}{1024})=-65504$

所以 FP16 可以表示的数据范围为 $[-65504,65504]$

与 FP16 相比，FP16 可以表示的数据范围为 $[-3.4\times 10^{38},3.4\times 10^{38}]$

（2）特殊情况分析

在指数位 E 为 00000 或 11111 时：

• $E=00000$时，FP16 可以表示的数据大小为：$(-1{)}^S\ast 2^{1-15}\ast (0+\frac{M}{2^{1024}})$
• $E=11111$时，若 M 全为 0，表示 ± inf；若 M 不全为 0，表示 NAN

（3）分析 FP16 的数值精度

由于尾数位的限制，任何数据类型表示的数都是有精度的，即 FP16 并不是可以表示 $[-65504,65504]$ 内的任意数字。

FP16 可以表示的最小的正数为：$0000010000000000=(-1{)}^0\ast 2^{1-15}\ast (1+\frac{0}{1024})=6.10\times 10^{-5}$

FP16 的数值精度为 0.001，即两个不同 FP16 数值的最小间隔为 0.001，这是由于十进制和二进制之间的数值转换决定的，具体分析可见 LLM大模型之精度问题（FP16，FP32，BF16）详解与实践

用 PyTorch 验证一下：

import torch
print(torch.finfo(torch.float16))
# finfo(resolution=0.001, min=-65504, max=65504, eps=0.000976562, smallest_normal=6.10352e-05, tiny=6.10352e-05, dtype=float16)

本节参考：

float在内存中的存储

LLM大模型之精度问题（FP16，FP32，BF16）详解与实践

彻底搞懂float16与float32的计算方式

2. 不同数据类型介绍

最早的 GPU 默认使用 FP32 类型进行运算，但随着模型越来越大，FP32 类型占内存/显存资源大且运算速度慢的问题逐渐暴露了出来。为了降低模型的大小使得在固定显存的 GPU 上可以运行更大（参数量更多）的模型，且提升模型的训练和推理速度，各种低精度的数据类型被提出。

2.1 深度学习中常用的数据类型

深度学习中常用的数据类型如下：

数据类型	bits	符号位 S	指数位 E	尾数位 M	数值范围	数值精度	设计原理	说明
FP32	32	1	8	23	$-3.4\times 10^{38}$ ~ $3.4\times 10^{38}$	$10^{-6}$		大部分CPU/GPU/深度学习框架中默认使用FP32，FP32可以作为精度 baseline
FP16	16	1	5	10	$-65504$ ~ $65504$	$10^{-3}$
TF32	19	1	8	10	$-3.4\times 10^{38}$ ~ $3.4\times 10^{38}$	$10^{-3}$	TF32 的 E 与 FP32 相同，具有与 FP32 相同的数值范围；M 与 FP16 相同，具有与 FP16 相同的数值精度。	TF32 (TensorFloat) 是 Nvidia 在 Ampere 架构的 GPU 上推出的用于 TensorCore 的数据格式，在 A100 上使用 TF32 的运算速度是在 V100 上使用 FP32 CUDA Core 运算速度的 8 倍。
BF16	16	1	8	7	$-3.39\times 10^{38}$ ~ $3.39\times 10^{38}$	$10^{-2}$	BF16 以 16bits 存储，但其 E 与 FP32 一致，因此其数值范围与 FP32 一致；即其数值范围大于 FP32，但精度低于 FP16	BF16 (bfloat16, brain floating point 16)是由Google Brain开发的，是一种最适合大模型训练的数据类型，但目前只适配于 Ampere 架构的 GPU（如A100）。
Int32	32	1	31		$-2.15\times 10^9$ ~ $2.15\times 10^9$	$1$
Int16	16	1	15		$-32768$ ~ $32767$	$1$
Int8	8	1	7		$-128$ ~ $127$	$1$

PyTorch验证：

import torch
print(torch.finfo(torch.float32))
# finfo(resolution=1e-06, min=-3.40282e+38, max=3.40282e+38, eps=1.19209e-07, smallest_normal=1.17549e-38, tiny=1.17549e-38, dtype=float32)
print(torch.finfo(torch.float16))
# finfo(resolution=0.001, min=-65504, max=65504, eps=0.000976562, smallest_normal=6.10352e-05, tiny=6.10352e-05, dtype=float16)
print(torch.finfo(torch.bfloat16))
# finfo(resolution=0.001, min=-65504, max=65504, eps=0.000976562, smallest_normal=6.10352e-05, tiny=6.10352e-05, dtype=float16)
print(torch.iinfo(torch.int32))
# iinfo(min=-2.14748e+09, max=2.14748e+09, dtype=int32)
print(torch.iinfo(torch.int16))
# iinfo(min=-32768, max=32767, dtype=int16)
print(torch.iinfo(torch.int8))
# iinfo(min=-128, max=127, dtype=int8)

2.2 BF16 类型的优势

BF16 类型的优势：

• BF16 只有 2bytes 的内存，但其数值范围与 4bytes 的 FP32 相同。
  在深度学习领域，数值范围的作用远高于数值精度；即数据类型的指数位的作用大于尾数位的作用。采用梯度下降法的网络权重的更新方式为：$$w_{new}=w_{old}-lr\cdot grad$$ 由于梯度 $grad$ 和学习率 $lr$ 通常较小，往往会出现很小的数值，因此必须使用能够表达较大范围的数据类型。使用 FP16时往往会出现 underflow（下溢）的情况，即小于 $-6.55\times 10^4$ 的数值被截断为 0 ，导致梯度无法更新。所以 BF16 具有比 FP16 更优异的性能。
• BF16 与 FP32 的转换很容易。
  使用混合精度计算时，需要频繁得对 BF16/FP32 和 FP32 进行转换。BF16 基本上可以看作成一个“截断”版的 FP32, 两者之间的转换是非常直接，其实现电路也会非常简单。相比于 FP16，BF16的使用能有效的降低电路的面积。

2.3 不同数据类型的使用场景

对于不同的任务和使用场景，最适用的数据类型也是不同的。

（1）不用任务使用不同的数据类型

• 例1：相比于目标检测，分类任务对于数据类型就没有那么敏感了，可能使用 FP16 和 Int8 获得的精度并没有差多少，但使用 Int8 能够显著提升训练和推理性能。
• 例2：由于图像往往是 Int8 格式，因此在 CV 的推理任务中以 Int8 为主；但在 NLP任务中应以 FP16 为主。

（2）训练和推理的不同

• FP32 往往只是作为精度基线 (baseline)，比如要求使用 FP16 获得的精度达到 FP32 baseline 的 99% 以上。但通常不会使用 FP32 进行训练，尤其对于大模型来说。
• 训练往往使用 FP16, BF16 和 TF32，以降低内存占用，缩写训练时间，降低训练资源（较少耗电）。
• 推理 CV 任务以 Int8 为主，NLP任务以 FP16 为主，大模型可以使用 Int8/FP16 混合推理。

本节参考：int8/fp16/bf16/tf32在AI芯片中什么作用？【AI芯片】AI计算体系06