一文看懂图像格式 RAW、RGB、YUV、Packed/Unpacked、Bayer、MIPI、Planar、Semi-Planar、Interleaved

一、通用属性

1. Packed/Unpacked

2. 压缩/非压缩

二、RAW

1. Bayer格式

2. 分类

3. MIPI RAW

三、RGB

分类

四、YUV

1. YUV与RGB转换

2. 分类

3. 内存计算

五、压缩格式

有的人，错过了，一生再也找寻不到。

本文详细分析各种图像格式（RAW、RGB、YUV）的分类、内存分布。一篇文章让你看懂。

一、通用属性

1. Packed/Unpacked

一个像素点占n个bit，如果n不是8的倍数，那么就有Packed、Unpacked的概念。试想某格式一个像素10bit（比如Raw10），如果Unpacked，那么实际一个像素要占2Byte=16bit，其中前10bit才有图像数据，后6bit占位（一般是0）。如果是Packed，那么就没有占位。

2. 压缩/非压缩

为方便大尺寸图像存储、传输，常用压缩的方法进行。

对于isp而言，常见压缩算法有FLC（Fixed Length Compression）、AFBC（Arm Frame Buffer Compression），JPEG等。

下文所讲内存分布均指非压缩格式，因为压缩后的内存分布由算法决定。

二、RAW

RAW的含义是“未经处理加工”。

RAW图像是CCD/CMOS等sensor直接采集到的图像，是光信号转化为电信号时的电平高低的原始记录。

1. Bayer格式

RAW一般采用Bayer格式（单个像素为R/G/B光强信息）进行排列，由于人眼对绿色更加敏感，因此增加对绿光的采样。主要有四种排序：

RGGB
BGGR
GRBG
GBRG

举例一个像素是8*8的sensor，BGGR格式的RAW图像：

要么你可能会问，一个像素只有一种颜色R/G/B，那我们看到的图像比如第一个像素不一定是只有B。因为后面会插值计算出每个pixel的其他分量！以降低功耗。

2. 分类

RAW8：1 pixel 8 bits
RAW10Unpacked：1 pixel 2 Bytes（16bits，有6bit没用）
RAW10Packed：1 pixel 10 bits
RAW12Unpacked/RAW12Packed
RAW14Unpacked/RAW14Packed
RAW16
......

RAW格式很大，往往需要压缩处理存入DDR。

3. MIPI RAW

MIPI RAW可以看做为一种Packed RAW，只是要按照MIPI RAW的存储规则来Packed。既然是Packed，举例来说，对于MIPI RAW10，5个Byte（40bits）就可以存4个像素的数据（4*10bits），没有空bit。

三、RGB

每个像素由三原色R/G/B组成，注意和RAW的区别，RAW每个像素只有一个三原色。

四、YUV

YUV是用一个亮度分量Y和两个色度分量U，V来描述一个颜色。只有Y的话就是灰度图像。

1. YUV与RGB转换

YUV转RGB

R = Y + 1.13983 * V
G = Y - 0.39465 * U - 0.58060 * V
B = Y + 2.03211 * U

RGB转YUV

Y = 0.299 * R + 0.587 * G + 0.114 * B
U = -0.14713 * R - 0.28886 * G + 0.436 * B
V = 0.615 * R - 0.51499 * G - 0.10001 * B

2. 分类

由于人眼对Y的敏感度远超对U、V的敏感度，所以有时可用多个Y共用一组U、V，既节省了空间又保证了质量。

常用格式分类：

YUV420，4个Y共用一套UV，数据个数1.5*w*h
YUV422，2个Y共用一套UV，数据个数2*w*h
YUV444，不共用，1个Y一套UV，数据个数3*w*h

如果一个像素是8bit，那么存储占用对于YUV420就是1.5*w*h*8 bits=1.5*w*h Bytes 。

YUV的内存分布按Y、U、V三个分量的排列顺序，可分为

Planar，三个分量分开存放
Semi-Planar，Y分量单独存放，UV分量交错一起存放
Packed/Interleaved，三个分量交错一起存放

注意：这里的Packed和图像的Packed是两个概念！这里的Packed指的是所有像素分量交错；图像的Packed是一个像素点n bits无空位排列。

I420（也叫YU12，或YUV420 Planar）

总数据个数w*h+0.25*w*h+0.25*w*h=1.5*w*h

YYYY
YYYY
UU
VV

当然，对于计算机内存来说，只是从某个addr开始一直存储，先存Y再存U再存V

YV12（YVU420 Planar）

总数据个数w*h+0.25*w*h+0.25*w*h=1.5*w*h

YYYY
YYYY
VV
UU

NV12（YUV420 Semi-Planar）

总数据个数w*h+0.5*w*h=1.5*w*h

YYYY
YYYY
UVUV

NV21（YVU420 Semi-Planar）

总数据个数w*h+0.5*w*h=1.5*w*h

YYYY
YYYY
VUVU

I422（YUV422 Planar）