Android 音视频编解码 -- MediaCodec

引言

如果我们只是简单玩一下音频、视频播放，那么使用 MediaPlayer + SurfaceView 播放就可以了，但如果想加个水印，加点其他特效什么的，那就不行了；

学习 Android 自带的硬件码类 – MediaCodec。

MediaCodec 介绍

在Android中是使用MediaCodec类进行编解码。

MediaCodec是什么呢？

MediaCodec是Android提供的用于对音视频进行编码（压缩）和解码（解压缩)的类，它通过访问底层的codec来实现编解码的功能。

比如你要把摄像头的视频yuv数据编码为h264/h265，pcm编码为aac，h264/h265解码为yuv，aac解码为pcm等等。MediaCodec是Android 4.1 API16引入的，在Android 5.0 API21加入了异步模式。

通常与MediaExtractor, MediaSync, MediaMuxer, MediaCrypto, MediaDrm, Image, Surface, 以及AudioTrack一起使用；

数据交换

可以看到，MediaCodec 的数据分为两个部分，从数据的输入到编解码后的数据的输出：

input ： MediaCodec 会通过getInputBuffer(int bufferId) 去拿到一个空的 ByteBuffer , 用来给客户端去填入数据(比如解码，编码的数据)，MediaCodec 会用这些数据进行解码/编码处理。

output ： MediaCodec 会把解码/编码的数据填充到一个空的 buffer 中，然后把这个填满数据的buffer给到客户端，之后需要释放这个 buffer，MediaCodec 才能继续填充数据。

MediaCodec 内部使用异步的方式对 input 和 output 进行数据处理，MediaCodec 会把 input 的数据处理好给到 output，共用户去渲染；
注意！output 的数据必须释放，不然会影响下一次的数据填充。

数据类型

编码器共支持3中数据类型：

压缩数据
原始视频数据
原始音频数据

这三种数据都是可以通过 ByteBuffer 去处理；但是你可以使用 Surface 去解析原始的视频数据，Surface 使用底层的视频缓冲，而不是映射或拷贝到 ByteBuffer，这样会大大提高编码效率。
但使用 Surface 时，无法访问到原始的视频数据，所以，你可以使用 ImageReader 来访问未加密的解码(原始)数据。在 ByteBuffer 的模式下，你也可以使用 Image 或者 getInput/OutputImage(int) 来获取原始视频帧。

编解码的生命周期

Stopped，Executing 和 Released

Stopped 和 Executing 都有各自的生命周期：

Stopped：Error、Uninitialized 和 Configured

当调用 MediaCodec 时，此时会处于 Uninitialized 状态，当调用 configure 之后，就会处于 Configured 状态；然后调用 start() 进入 Executing 状态，接着就可以处理数据了。

Executing：Flushed、Running 和 End of Stream

当调用 start() 就会进入 Executing 下的 Flushed 状态，此时会拿到所有的 buffers，当第一帧数据从 dequeueInoutBuffer 队列流出时，就会进入 Running 状态，大部分时间都在这个状态处理数据，当队列中有 end-of-stream 标志时，就会进入 End of Stream 状态，此时不再接收 input buffer，但是会继续生成 output buffer，直到 output 也接收到 end-of-stream 标志。你可以使用 flush() 重新回到 Flushed 状态。

生命周期图：

可以使用 stop() 方法回到 Uninitialized 状态；当不再使用 MediaCodec ，还需要使用 release() 去释放该资源。

MediaCodec 的主要 API 如下：

getInputBuffers：获取需要编码数据的输入流队列，返回的是一个ByteBuffer数组，已弃用
queueInputBuffer：输入流入队列
dequeueInputBuffer：从输入流队列中取数据进行编码操作
getOutputBuffers：获取编解码之后的数据输出流队列，返回的是一个ByteBuffer数组，已弃用
dequeueOutputBuffer：从输出队列中取出编码操作之后的数据
releaseOutputBuffer：处理完成，释放ByteBuffer数据