鸿蒙（API 12 Beta3版）【视频解码】 音视频编码

开发者可以调用本模块的Native API接口，完成视频解码，即将媒体数据解码成YUV文件或送显。

当前支持的解码能力如下：

视频硬解类型视频软解类型
AVC(H.264)、HEVC(H.265)AVC(H.264)

视频解码软/硬件解码存在差异，基于MimeType创建解码器时，软解当前仅支持 H264 (OH_AVCODEC_MIMETYPE_VIDEO_AVC)，硬解则支持 H264 (OH_AVCODEC_MIMETYPE_VIDEO_AVC) 和 H265 (OH_AVCODEC_MIMETYPE_VIDEO_HEVC)。

如果需要对HDRVivid视频进行解码，需要配置MimeType为H265 (OH_AVCODEC_MIMETYPE_VIDEO_HEVC)，本功能从API version 11开始支持。

通过视频解码，应用可以实现以下重点能力，包括：

支持的能力使用简述
变分辨率通过调用OH_VideoDecoder_RegisterCallback()设置回调函数时配置， 具体可参考下文中：Buffer模式的步骤-3
动态切换Surface通过调用OH_VideoDecoder_SetSurface()配置，具体可参考下文中：Surface模式的步骤-7
低时延解码通过调用OH_VideoDecoder_Configure()配置，具体可参考下文中：Surface模式的步骤-6

限制约束

  1. buffer模式不支持10bit的图像数据。
  2. Flush，Reset，Stop之后，重新Start时，需要重新传XPS。具体示例请参考[Surface模式]步骤14调用OH_VideoDecoder_Flush()。
  3. 由于硬件解码器资源有限，每个解码器在使用完毕后都必须调用OH_VideoDecoder_Destroy()函数来销毁实例并释放资源。
  4. 视频解码输入码流仅支持AnnexB格式，且支持的AnnexB格式不支持多层次切片。
  5. 在调用Flush，Reset，Stop的过程中，开发者不应对之前回调函数获取到的OH_AVBuffer继续进行操作。

Surface输出与Buffer输出

  1. 两者数据的输出方式不同。
  2. 两者的适用场景不同。
  • Surface输出是指用OHNativeWindow来传递输出数据，可以与其他模块对接，例如XComponent。
  • Buffer输出是指经过解码的数据会以共享内存的方式输出。
  1. 在接口调用的过程中，两种方式的接口调用方式基本一致，但存在以下差异点：
  • 在Surface模式下，可选择调用OH_VideoDecoder_FreeOutputBuffer()接口丢弃输出帧（不送显）；在Buffer模式下，应用必须调用OH_VideoDecoder_FreeOutputBuffer()释放数据。
  • Surface模式下，应用在解码器就绪前，必须调用OH_VideoDecoder_SetSurface()设置OHNativeWindow，启动后，调用OH_VideoDecoder_RenderOutputBuffer()将解码数据送显；
  • 输出回调传出的buffer，在Buffer模式下，可以获取共享内存的地址和数据信息；在Surface模式下，只能获取buffer的数据信息。

状态机调用关系

如下为状态机调用关系图：

1

  1. 有两种方式可以使解码器进入Initialized状态：

    • 初始创建解码器实例时，解码器处于Initialized状态
    • 任何状态下调用OH_VideoDecoder_Reset()方法，解码器将会移回Initialized状态

  2. Initialized状态下，调用OH_VideoDecoder_Configure()方法配置解码器，配置成功后解码器进入Configured状态

  3. Configured状态下调用OH_VideoDecoder_Prepare()进入Prepared状态。

  4. Prepared状态调用OH_VideoDecoder_Start()方法使解码器进入Executing状态。

    • 处于Executing状态时，调用OH_VideoDecoder_Stop()方法可以使解码器返回到Prepared状态

  5. 在极少数情况下，解码器可能会遇到错误并进入Error状态。解码器的错误传递，可以通过队列操作返回无效值或者抛出异常。

    • Error状态下可以调用解码器OH_VideoDecoder_Reset()方法将解码器移到Initialized状态；或者调用OH_VideoDecoder_Destroy()方法移动到最后的Released状态

  6. Executing状态具有三个子状态：Flushed、Running和End-of-Stream：

    • 在调用了OH_VideoDecoder_Start()之后，解码器立即进入Running子状态。
    • 对于处于Executing状态的解码器，可以调用OH_VideoDecoder_Flush()方法返回到Flushed子状态。
    • 当待处理数据全部传递给解码器后，在input buffers队列中为最后一个入队的input buffer中添加AVCODEC_BUFFER_FLAGS_EOS标记，遇到这个标记时，解码器会转换为End-of-Stream子状态。在此状态下，解码器不再接受新的输入，但是仍然会继续生成输出，直到输出到达尾帧。

  7. 使用完解码器后，必须调用OH_VideoDecoder_Destroy()方法销毁解码器实例。使解码器进入Released状态。

开发指导

如下为视频解码调用关系图：

2

在 CMake 脚本中链接动态库

target_link_libraries(sample PUBLIC libnative_media_codecbase.so)
target_link_libraries(sample PUBLIC libnative_media_core.so)
target_link_libraries(sample PUBLIC libnative_media_vdec.so)

Surface模式

参考以下示例代码，开发者可以完成Surface模式下视频解码的全流程。此处以H.264码流文件输入，解码送显输出为例。

本模块目前仅支持异步模式的数据轮转。

  1. 添加头文件。
#include <multimedia/player_framework/native_avcodec_videodecoder.h>
#include <multimedia/player_framework/native_avcapability.h>
#include <multimedia/player_framework/native_avcodec_base.h>
#include <multimedia/player_framework/native_avformat.h>
#include <multimedia/player_framework/native_avbuffer.h>
#include <fstream>
  1. 全局变量。
// 配置视频帧宽度（必须）
int32_t width = 320; 
// 配置视频帧高度（必须）
int32_t height = 240;
// 配置视频像素格式（必须）
constexpr OH_AVPixelFormat DEFAULT_PIXELFORMAT = AV_PIXEL_FORMAT_NV12;
int32_t widthStride = 0;
int32_t heightStride = 0;

  1. 创建解码器实例对象。

    应用可以通过名称或媒体类型创建解码器。示例中的变量说明如下：

    • videoDec：视频解码器实例的指针。
    • capability：解码器能力查询实例的指针。
    • OH_AVCODEC_MIMETYPE_VIDEO_AVC：AVC格式视频码流的名称。
// 通过codecname创建解码器，应用有特殊需求，比如选择支持某种分辨率规格的解码器，可先查询capability，再根据codec name创建解码器。
OH_AVCapability *capability = OH_AVCodec_GetCapability(OH_AVCODEC_MIMETYPE_VIDEO_AVC, false);
const char *name = OH_AVCapability_GetName(capability);
OH_AVCodec *videoDec = OH_VideoDecoder_CreateByName(name);

// 通过MIME TYPE创建解码器，只能创建系统推荐的特定编解码器
// 涉及创建多路编解码器时，优先创建硬件解码器实例，硬件资源不够时再创建软件解码器实例
// 软/硬解: 创建H264解码器
OH_AVCodec *videoDec = OH_VideoDecoder_CreateByMime(OH_AVCODEC_MIMETYPE_VIDEO_AVC);
// 硬解: 创建H265解码器
OH_AVCodec *videoDec = OH_VideoDecoder_CreateByMime(OH_AVCODEC_MIMETYPE_VIDEO_HEVC);

  1. 调用OH_VideoDecoder_RegisterCallback()设置回调函数。

    注册回调函数指针集合OH_AVCodecCallback，包括：

    • OH_AVCodecOnError 解码器运行错误；
    • OH_AVCodecOnStreamChanged 码流信息变化，如码流宽、高变化；
    • OH_AVCodecOnNeedInputBuffer 运行过程中需要新的输入数据，即解码器已准备好，可以输入数据；
    • OH_AVCodecOnNewOutputBuffer 运行过程中产生了新的输出数据，即解码完成(注：Surface模式buffer参数为空)。

    开发者可以通过处理该回调报告的信息，确保解码器正常运转。

// 解码异常回调OH_AVCodecOnError实现
static void OnError(OH_AVCodec *codec, int32_t errorCode, void *userData)
{// 回调的错误码由用户判断处理(void)codec;(void)errorCode;(void)userData;
}// 解码数据流变化回调OH_AVCodecOnStreamChanged实现
static void OnStreamChanged(OH_AVCodec *codec, OH_AVFormat *format, void *userData)
{// 可通过format获取到变化后的视频宽、高、跨距等(void)codec;(void)format;(void)userData;
}// 解码输入回调OH_AVCodecOnNeedInputBuffer实现
static void OnNeedInputBuffer(OH_AVCodec *codec, uint32_t index, OH_AVBuffer *buffer, void *userData)
{// 输入帧buffer对应的index，送入InIndexQueue队列// 输入帧的数据buffer送入InBufferQueue队列// 数据处理// 写入解码码流
}// 解码输出回调OH_AVCodecOnNewOutputBuffer实现
static void OnNewOutputBuffer(OH_AVCodec *codec, uint32_t index, OH_AVBuffer *buffer, void *userData)
{// 完成帧buffer对应的index，送入outIndexQueue队列// 完成帧的数据buffer送入outBufferQueue队列// 数据处理// 显示并释放解码帧
}
// 配置异步回调，调用 OH_VideoDecoder_RegisterCallback 接口
OH_AVCodecCallback cb = {&OnError, &OnStreamChanged, &OnNeedInputBuffer, &OnNewOutputBuffer};
// 配置异步回调
int32_t ret = OH_VideoDecoder_RegisterCallback(videoDec, cb, NULL); // NULL:用户特定数据userData为空 
if (ret != AV_ERR_OK) {// 异常处理
}

说明

在回调函数中，对数据队列进行操作时，需要注意多线程同步的问题。

  1. （可选）OH_VideoDecoder_SetDecryptionConfig设置解密配置。当获取到DRM信息(参考[音视频解封装]开发步骤第3步)后，通过此接口进行解密配置。DRM相关接口详见[DRM API文档]。此接口需在Prepare前调用。

添加头文件

#include <multimedia/drm_framework/native_mediakeysystem.h>
#include <multimedia/drm_framework/native_mediakeysession.h>
#include <multimedia/drm_framework/native_drm_err.h>
#include <multimedia/drm_framework/native_drm_common.h>

在 CMake 脚本中链接动态库

target_link_libraries(sample PUBLIC libnative_drm.so)

使用示例

// 根据DRM信息创建指定的DRM系统, 以创建"com.wiseplay.drm"为例
MediaKeySystem *system = nullptr;
int32_t ret = OH_MediaKeySystem_Create("com.wiseplay.drm", &system);
if (system == nullptr) {printf("create media key system failed");return;
}
// 进行Provision认证
// 创建解密会话
MediaKeySession *session = nullptr;
DRM_ContentProtectionLevel contentProtectionLevel = CONTENT_PROTECTION_LEVEL_SW_CRYPTO;
ret = OH_MediaKeySystem_CreateMediaKeySession(system, &contentProtectionLevel, &session);
if (session == nullptr) {printf("create media key session failed");return;
}
// 获取许可证请求、设置许可证响应等
// 设置解密配置, 即将解密会话、安全视频通路标志设置到解码器中。
bool secureVideoPath = false;
ret = OH_VideoDecoder_SetDecryptionConfig(videoDec, session, secureVideoPath);

  1. 调用OH_VideoDecoder_Configure()配置解码器。

    目前支持的所有格式都必须配置以下选项：视频帧宽度、视频帧高度、视频像素格式。示例中的变量如下：

    • DEFAULT_WIDTH：320像素宽度；
    • DEFAULT_HEIGHT：240像素高度；
    • DEFAULT_PIXELFORMAT： 像素格式，因为示例需要保存的YUV文件像素格式是NV12，所以设置为 AV_PIXEL_FORMAT_NV12。
OH_AVFormat *format = OH_AVFormat_Create();
// 写入format
OH_AVFormat_SetIntValue(format, OH_MD_KEY_WIDTH, width);
OH_AVFormat_SetIntValue(format, OH_MD_KEY_HEIGHT, height);
OH_AVFormat_SetIntValue(format, OH_MD_KEY_PIXEL_FORMAT, DEFAULT_PIXELFORMAT);
// 可选，配置低时延解码
OH_AVFormat_SetIntValue(format, OH_MD_KEY_VIDEO_ENABLE_LOW_LATENCY, 1);
// 配置解码器
int32_t ret = OH_VideoDecoder_Configure(videoDec, format);
if (ret != AV_ERR_OK) {// 异常处理
}
OH_AVFormat_Destroy(format);

  1. 设置Surface。本例中的nativeWindow，需要从XComponent组件获取，获取方式请参考 [XComponent]。

    Surface模式，开发者可以在解码过程中执行该步骤，即动态切换Surface。

// 配置送显窗口参数
int32_t ret = OH_VideoDecoder_SetSurface(videoDec, window);    // 从 XComponent 获取 window
if (ret != AV_ERR_OK) {// 异常处理
}
  1. （可选）OH_VideoDecoder_SetParameter()动态配置解码器surface参数。
OH_AVFormat *format = OH_AVFormat_Create();
// 配置显示旋转角度
OH_AVFormat_SetIntValue(format, OH_MD_KEY_ROTATION, 90);
// 配置视频与显示屏匹配模式（缩放与显示窗口适配，裁剪与显示窗口适配）
OH_AVFormat_SetIntValue(format, OH_MD_KEY_SCALING_MODE, SCALING_MODE_SCALE_CROP);
int32_t ret = OH_VideoDecoder_SetParameter(videoDec, format);
OH_AVFormat_Destroy(format);

  1. 调用OH_VideoDecoder_Prepare()解码器就绪。

    该接口将在解码器运行前进行一些数据的准备工作。

ret = OH_VideoDecoder_Prepare(videoDec);
if (ret != AV_ERR_OK) {// 异常处理
}
  1. 调用OH_VideoDecoder_Start()启动解码器。
std::string_view inputFilePath = "/*yourpath*.h264";
std::unique_ptr<std::ifstream> inputFile = std::make_unique<std::ifstream>();
inputFile->open(inputFilePath.data(), std::ios::in | std::ios::binary); 
// 启动解码器，开始解码
int32_t ret = OH_VideoDecoder_Start(videoDec);
if (ret != AV_ERR_OK) {// 异常处理
}

  1. （可选）调用OH_AVCencInfo_SetAVBuffer()，设置cencInfo。

    若当前播放的节目是DRM加密节目，且由上层应用做媒体解封装，则须调用OH_AVCencInfo_SetAVBuffer()将cencInfo设置给AVBuffer，以实现AVBuffer中媒体数据的解密。

    添加头文件

#include <multimedia/player_framework/native_cencinfo.h>

在 CMake 脚本中链接动态库

target_link_libraries(sample PUBLIC libnative_media_avcencinfo.so)

使用示例

-   buffer：回调函数OnNeedInputBuffer传入的参数，可以通过OH_AVBuffer_GetAddr接口得到共享内存地址的指针；

uint32_t keyIdLen = DRM_KEY_ID_SIZE;
uint8_t keyId[] = {0xd4, 0xb2, 0x01, 0xe4, 0x61, 0xc8, 0x98, 0x96,0xcf, 0x05, 0x22, 0x39, 0x8d, 0x09, 0xe6, 0x28};
uint32_t ivLen = DRM_KEY_IV_SIZE;
uint8_t iv[] = {0xbf, 0x77, 0xed, 0x51, 0x81, 0xde, 0x36, 0x3e,0x52, 0xf7, 0x20, 0x4f, 0x72, 0x14, 0xa3, 0x95};
uint32_t encryptedBlockCount = 0;
uint32_t skippedBlockCount = 0;
uint32_t firstEncryptedOffset = 0;
uint32_t subsampleCount = 1;
DrmSubsample subsamples[1] = { {0x10, 0x16} };
OH_AVCencInfo *cencInfo = OH_AVCencInfo_Create();
if (cencInfo == nullptr) {// 异常处理
}
OH_AVErrCode errNo = OH_AVCencInfo_SetAlgorithm(cencInfo, DRM_ALG_CENC_AES_CTR);
if (errNo != AV_ERR_OK) {// 异常处理
}
errNo = OH_AVCencInfo_SetKeyIdAndIv(cencInfo, keyId, keyIdLen, iv, ivLen);
if (errNo != AV_ERR_OK) {// 异常处理
}
errNo = OH_AVCencInfo_SetSubsampleInfo(cencInfo, encryptedBlockCount, skippedBlockCount, firstEncryptedOffset,subsampleCount, subsamples);
if (errNo != AV_ERR_OK) {// 异常处理
}
errNo = OH_AVCencInfo_SetMode(cencInfo, DRM_CENC_INFO_KEY_IV_SUBSAMPLES_SET);
if (errNo != AV_ERR_OK) {// 异常处理
}
errNo = OH_AVCencInfo_SetAVBuffer(cencInfo, buffer);
if (errNo != AV_ERR_OK) {// 异常处理
}
errNo = OH_AVCencInfo_Destroy(cencInfo);
if (errNo != AV_ERR_OK) {// 异常处理
}

  1. 调用OH_VideoDecoder_PushInputBuffer()写入解码码流。

    送入输入队列进行解码，以下示例中：

    • buffer：回调函数OnNeedInputBuffer传入的参数，可以通过OH_AVBuffer_GetAddr接口得到共享内存地址的指针；
    • index：回调函数OnNeedInputBuffer传入的参数，数据队列的索引；
    • size, offset, pts：输入尺寸、偏移量、时间戳等字段信息，获取方式可以参考[音视频解封装]
    • flags：缓冲区标记的类别，请参考[OH_AVCodecBufferFlags]
// 配置帧数据的输入尺寸、偏移量、时间戳等字段信息
OH_AVCodecBufferAttr info;
info.size = size;
info.offset = offset;
info.pts = pts;
info.flags = flags;
// info信息写入buffer
int32_t ret = OH_AVBuffer_SetBufferAttr(buffer, &info);
if (ret != AV_ERR_OK) {// 异常处理
}
// 送入解码输入队列进行解码，index为对应队列下标
ret = OH_VideoDecoder_PushInputBuffer(videoDec, index);
if (ret != AV_ERR_OK) {// 异常处理
}

  1. 调用OH_VideoDecoder_RenderOutputBuffer()显示并释放解码帧，或调用OH_VideoDecoder_FreeOutputBuffer()释放解码帧。

    以下示例中：

    • index：回调函数OnNewOutputBuffer传入的参数，数据队列的索引。
    • buffer： 回调函数OnNewOutputBuffer传入的参数，可以通过OH_AVBuffer_GetAddr接口得到共享内存地址的指针。
// 获取解码后信息
OH_AVCodecBufferAttr info;
int32_t ret = OH_AVBuffer_GetBufferAttr(buffer, &info);
if (ret != AV_ERR_OK) {// 异常处理
}
// 值由调用者决定
bool isRender;
if (isRender) {// 显示并释放已完成处理的信息，index为对应buffer队列下标ret = OH_VideoDecoder_RenderOutputBuffer(videoDec, index);
} else {// 释放已完成处理的信息ret = OH_VideoDecoder_FreeOutputBuffer(videoDec, index);
}
if (ret != AV_ERR_OK) {// 异常处理
}

  1. （可选）调用OH_VideoDecoder_Flush()刷新解码器。

    调用OH_VideoDecoder_Flush()后，解码器仍处于运行态，但会将当前队列清空，将已解码的数据释放。

    此时需要调用OH_VideoDecoder_Start()重新开始解码。

// 刷新解码器videoDec
int32_t ret = OH_VideoDecoder_Flush(videoDec);
if (ret != AV_ERR_OK) {// 异常处理
}
// 重新开始解码
ret = OH_VideoDecoder_Start(videoDec);
if (ret != AV_ERR_OK) {// 异常处理
}

注意

Flush之后，重新Start时，需要重新传XPS。

重传XPS示例：

// 配置帧数据XPS信息
OH_AVCodecBufferAttr info;
info.flags = AVCODEC_BUFFER_FLAG_CODEC_DATA;
// info信息写入buffer
int32_t ret = OH_AVBuffer_SetBufferAttr(buffer, &info);
if (ret != AV_ERR_OK) {// 异常处理
}
// 将帧数据推送到解码器中，index为对应队列下标
ret = OH_VideoDecoder_PushInputBuffer(videoDec, index);
if (ret != AV_ERR_OK) {// 异常处理
}

  1. （可选）调用OH_VideoDecoder_Reset()重置解码器。

    调用OH_VideoDecoder_Reset()后，解码器回到初始化的状态，需要调用OH_VideoDecoder_Configure()、OH_VideoDecoder_SetSurface()重新配置。

// 重置解码器videoDec
int32_t ret = OH_VideoDecoder_Reset(videoDec);
if (ret != AV_ERR_OK) {// 异常处理
}
// 重新配置解码器参数
ret = OH_VideoDecoder_Configure(videoDec, format);
if (ret != AV_ERR_OK) {// 异常处理
}
// surface模式重新配置Surface，而buffer模式不需要配置Surface
ret = OH_VideoDecoder_SetSurface(videoDec, window);
if (ret != AV_ERR_OK) {// 异常处理
}
  1. （可选）调用OH_VideoDecoder_Stop()停止解码器。
// 终止解码器videoDec
int32_t ret = OH_VideoDecoder_Stop(videoDec);
if (ret != AV_ERR_OK) {// 异常处理
}

  1. 调用OH_VideoDecoder_Destroy()销毁解码器实例，释放资源。

    说明

    不能在回调函数中调用；

    执行该步骤之后，需要开发者将videoDec指向nullptr，防止野指针导致程序错误。

// 调用OH_VideoDecoder_Destroy，注销解码器
int32_t ret = OH_VideoDecoder_Destroy(videoDec);
videoDec = nullptr;
if (ret != AV_ERR_OK) {// 异常处理
}

Buffer模式

参考以下示例代码，开发者可以完成Buffer模式下视频解码的全流程。此处以H.264文件输入，解码成YUV文件为例。

本模块目前仅支持异步模式的数据轮转。

  1. 添加头文件。
#include <multimedia/player_framework/native_avcodec_videodecoder.h>
#include <multimedia/player_framework/native_avcapability.h>
#include <multimedia/player_framework/native_avcodec_base.h>
#include <multimedia/player_framework/native_avformat.h>
#include <multimedia/player_framework/native_avbuffer.h>
#include <native_buffer/native_buffer.h>
#include <fstream>

  1. 创建解码器实例对象。

    与surface模式相同，此处不再赘述。

// 通过codecname创建解码器，应用有特殊需求，比如选择支持某种分辨率规格的解码器，可先查询capability，再根据codec name创建解码器。
OH_AVCapability *capability = OH_AVCodec_GetCapability(OH_AVCODEC_MIMETYPE_VIDEO_AVC, false);
const char *name = OH_AVCapability_GetName(capability);
OH_AVCodec *videoDec = OH_VideoDecoder_CreateByName(name);

// 通过MIME TYPE创建解码器，只能创建系统推荐的特定编解码器
// 涉及创建多路编解码器时，优先创建硬件解码器实例，硬件资源不够时再创建软件解码器实例
// 软/硬解: 创建H264解码器
OH_AVCodec *videoDec = OH_VideoDecoder_CreateByMime(OH_AVCODEC_MIMETYPE_VIDEO_AVC);
// 硬解: 创建H265解码器
OH_AVCodec *videoDec = OH_VideoDecoder_CreateByMime(OH_AVCODEC_MIMETYPE_VIDEO_HEVC);

  1. 调用OH_VideoDecoder_RegisterCallback()设置回调函数。

    注册回调函数指针集合OH_AVCodecCallback，包括：

    • OH_AVCodecOnError 解码器运行错误；
    • OH_AVCodecOnStreamChanged 码流信息变化，如码流宽、高变化；
    • OH_AVCodecOnNeedInputBuffer 运行过程中需要新的输入数据，即解码器已准备好，可以输入数据；
    • OH_AVCodecOnNewOutputBuffer 运行过程中产生了新的输出数据，即解码完成。

    开发者可以通过处理该回调报告的信息，确保解码器正常运转。

int32_t cropTop = 0;
int32_t cropBottom = 0;
int32_t cropLeft = 0;
int32_t cropRight = 0;
bool isFirstFrame = true;
// 解码异常回调OH_AVCodecOnError实现
static void OnError(OH_AVCodec *codec, int32_t errorCode, void *userData)
{// 回调的错误码由用户判断处理(void)codec;(void)errorCode;(void)userData;
}// 解码数据流变化回调OH_AVCodecOnStreamChanged实现
static void OnStreamChanged(OH_AVCodec *codec, OH_AVFormat *format, void *userData)
{// 可选, 开发者需要获取视频宽、高、跨距等时可配置// 可通过format获取到变化后的视频宽、高、跨距等(void)codec;(void)userData;OH_AVFormat_GetIntValue(format, OH_MD_KEY_VIDEO_PIC_WIDTH, width);OH_AVFormat_GetIntValue(format, OH_MD_KEY_VIDEO_PIC_HEIGHT, height);OH_AVFormat_GetIntValue(format, OH_MD_KEY_VIDEO_STRIDE, widthStride);OH_AVFormat_GetIntValue(format, OH_MD_KEY_VIDEO_SLICE_HEIGHT, heightStride);// 获取裁剪矩形信息可选OH_AVFormat_GetIntValue(format, OH_MD_KEY_VIDEO_CROP_TOP, cropTop);OH_AVFormat_GetIntValue(format, OH_MD_KEY_VIDEO_CROP_BOTTOM, cropBottom);OH_AVFormat_GetIntValue(format, OH_MD_KEY_VIDEO_CROP_LEFT, cropLeft);OH_AVFormat_GetIntValue(format, OH_MD_KEY_VIDEO_CROP_RIGHT, cropRight);
}// 解码输入回调OH_AVCodecOnNeedInputBuffer实现
static void OnNeedInputBuffer(OH_AVCodec *codec, uint32_t index, OH_AVBuffer *buffer, void *userData)
{// 输入帧buffer对应的index，送入InIndexQueue队列// 输入帧的数据buffer送入InBufferQueue队列// 数据处理// 写入解码码流
}// 解码输出回调OH_AVCodecOnNewOutputBuffer实现
static void OnNewOutputBuffer(OH_AVCodec *codec, uint32_t index, OH_AVBuffer *buffer, void *userData)
{// 可选, 开发者需要获取视频宽、高、跨距等时可配置// 完成帧buffer对应的index，送入outIndexQueue队列// 完成帧的数据buffer送入outBufferQueue队列// 获取视频宽、高、跨距if (isFirstFrame) {OH_AVFormat *format = OH_VideoDecoder_GetOutputDescription(codec);OH_AVFormat_GetIntValue(format, OH_MD_KEY_VIDEO_PIC_WIDTH, width);OH_AVFormat_GetIntValue(format, OH_MD_KEY_VIDEO_PIC_HEIGHT, height);OH_AVFormat_GetIntValue(format, OH_MD_KEY_VIDEO_STRIDE, widthStride);OH_AVFormat_GetIntValue(format, OH_MD_KEY_VIDEO_SLICE_HEIGHT, heightStride);// 获取裁剪矩形信息可选OH_AVFormat_GetIntValue(format, OH_MD_KEY_VIDEO_CROP_TOP, cropTop);OH_AVFormat_GetIntValue(format, OH_MD_KEY_VIDEO_CROP_BOTTOM, cropBottom);OH_AVFormat_GetIntValue(format, OH_MD_KEY_VIDEO_CROP_LEFT, cropLeft);OH_AVFormat_GetIntValue(format, OH_MD_KEY_VIDEO_CROP_RIGHT, cropRight);OH_AVFormat_Destroy(format);isFirstFrame = false;}// 数据处理// 释放解码帧
}
// 配置异步回调，调用OH_VideoDecoder_RegisterCallback接口
OH_AVCodecCallback cb = {&OnError, &OnStreamChanged, &OnNeedInputBuffer, &OnNewOutputBuffer};
// 配置异步回调
int32_t ret = OH_VideoDecoder_RegisterCallback(videoDec, cb, NULL); // NULL:用户特定数据userData为空 
if (ret != AV_ERR_OK) {// 异常处理
}

说明

在回调函数中，对数据队列进行操作时，需要注意多线程同步的问题。

  1. （可选）OH_VideoDecoder_SetDecryptionConfig设置解密配置。当获取到DRM信息(参考[音视频解封装]开发步骤第3步)后，通过此接口进行解密配置。DRM相关接口详见[DRM API文档]。此接口需在Prepare前调用。

    添加头文件

#include <multimedia/drm_framework/native_mediakeysystem.h>
#include <multimedia/drm_framework/native_mediakeysession.h>
#include <multimedia/drm_framework/native_drm_err.h>
#include <multimedia/drm_framework/native_drm_common.h>

在 CMake 脚本中链接动态库

target_link_libraries(sample PUBLIC libnative_drm.so)

使用示例

// 根据DRM信息创建指定的DRM系统, 以创建"com.wiseplay.drm"为例
MediaKeySystem *system = nullptr;
int32_t ret = OH_MediaKeySystem_Create("com.wiseplay.drm", &system);
if (system == nullptr) {printf("create media key system failed");return;
}
// 进行DRM授权
// 创建解密会话
MediaKeySession *session = nullptr;
DRM_ContentProtectionLevel contentProtectionLevel = CONTENT_PROTECTION_LEVEL_SW_CRYPTO;
ret = OH_MediaKeySystem_CreateMediaKeySession(system, &contentProtectionLevel, &session);
if (session == nullptr) {printf("create media key session failed");return;
}
// 获取许可证请求、设置许可证响应等
// 设置解密配置, 即将解密会话、安全视频通路标志设置到解码器中。
bool secureVideoPath = false;
ret = OH_VideoDecoder_SetDecryptionConfig(videoDec, session, secureVideoPath);

  1. 调用OH_VideoDecoder_Configure()配置解码器。

    与surface模式相同，此处不再赘述。

OH_AVFormat *format = OH_AVFormat_Create();
// 写入format
OH_AVFormat_SetIntValue(format, OH_MD_KEY_WIDTH, width);
OH_AVFormat_SetIntValue(format, OH_MD_KEY_HEIGHT, height);
OH_AVFormat_SetIntValue(format, OH_MD_KEY_PIXEL_FORMAT, DEFAULT_PIXELFORMAT);
// 配置解码器
int32_t ret = OH_VideoDecoder_Configure(videoDec, format);
if (ret != AV_ERR_OK) {// 异常处理
}
OH_AVFormat_Destroy(format);

  1. 调用OH_VideoDecoder_Prepare()解码器就绪。

    该接口将在解码器运行前进行一些数据的准备工作。

int32_t ret = OH_VideoDecoder_Prepare(videoDec);
if (ret != AV_ERR_OK) {// 异常处理
}
  1. 调用OH_VideoDecoder_Start()启动解码器。
std::string_view inputFilePath = "/*yourpath*.h264";
std::string_view outputFilePath = "/*yourpath*.yuv";
std::unique_ptr<std::ifstream> inputFile = std::make_unique<std::ifstream>();
std::unique_ptr<std::ofstream> outputFile = std::make_unique<std::ofstream>();
inputFile->open(inputFilePath.data(), std::ios::in | std::ios::binary); 
outputFile->open(outputFilePath.data(), std::ios::out | std::ios::binary | std::ios::ate);
// 启动解码器，开始解码
int32_t ret = OH_VideoDecoder_Start(videoDec);
if (ret != AV_ERR_OK) {// 异常处理
}

  1. （可选）调用OH_AVCencInfo_SetAVBuffer()，设置cencInfo。

    与surface模式相同，此处不再赘述。

    使用示例

uint32_t keyIdLen = DRM_KEY_ID_SIZE;
uint8_t keyId[] = {0xd4, 0xb2, 0x01, 0xe4, 0x61, 0xc8, 0x98, 0x96,0xcf, 0x05, 0x22, 0x39, 0x8d, 0x09, 0xe6, 0x28};
uint32_t ivLen = DRM_KEY_IV_SIZE;
uint8_t iv[] = {0xbf, 0x77, 0xed, 0x51, 0x81, 0xde, 0x36, 0x3e,0x52, 0xf7, 0x20, 0x4f, 0x72, 0x14, 0xa3, 0x95};
uint32_t encryptedBlockCount = 0;
uint32_t skippedBlockCount = 0;
uint32_t firstEncryptedOffset = 0;
uint32_t subsampleCount = 1;
DrmSubsample subsamples[1] = { {0x10, 0x16} };
OH_AVCencInfo *cencInfo = OH_AVCencInfo_Create();
if (cencInfo == nullptr) {// 异常处理
}
OH_AVErrCode errNo = OH_AVCencInfo_SetAlgorithm(cencInfo, DRM_ALG_CENC_AES_CTR);
if (errNo != AV_ERR_OK) {// 异常处理
}
errNo = OH_AVCencInfo_SetKeyIdAndIv(cencInfo, keyId, keyIdLen, iv, ivLen);
if (errNo != AV_ERR_OK) {// 异常处理
}
errNo = OH_AVCencInfo_SetSubsampleInfo(cencInfo, encryptedBlockCount, skippedBlockCount, firstEncryptedOffset,subsampleCount, subsamples);
if (errNo != AV_ERR_OK) {// 异常处理
}
errNo = OH_AVCencInfo_SetMode(cencInfo, DRM_CENC_INFO_KEY_IV_SUBSAMPLES_SET);
if (errNo != AV_ERR_OK) {// 异常处理
}
errNo = OH_AVCencInfo_SetAVBuffer(cencInfo, buffer);
if (errNo != AV_ERR_OK) {// 异常处理
}
errNo = OH_AVCencInfo_Destroy(cencInfo);
if (errNo != AV_ERR_OK) {// 异常处理
}

  1. 调用OH_VideoDecoder_PushInputBuffer()写入解码码流。

    与surface模式相同，此处不再赘述。

// 配置帧数据的输入尺寸、偏移量、时间戳等字段信息
OH_AVCodecBufferAttr info;
info.size = size;
info.offset = offset;
info.pts = pts;
info.flags = flags;
// info信息写入buffer
ret = OH_AVBuffer_SetBufferAttr(buffer, &info);
if (ret != AV_ERR_OK) {// 异常处理
}
// 送入解码输入队列进行解码，index为对应队列下标
int32_t ret = OH_VideoDecoder_PushInputBuffer(videoDec, index);
if (ret != AV_ERR_OK) {// 异常处理
}

  1. 调用OH_VideoDecoder_FreeOutputBuffer()释放解码帧。

    以下示例中：

    • index：回调函数OnNewOutputBuffer传入的参数，数据队列的索引。
    • buffer： 回调函数OnNewOutputBuffer传入的参数，可以通过OH_AVBuffer_GetAddr接口得到共享内存地址的指针。
// 获取解码后信息
OH_AVCodecBufferAttr info;
int32_t ret = OH_AVBuffer_GetBufferAttr(buffer, &info);
if (ret != AV_ERR_OK) {// 异常处理
}
// 将解码完成数据data写入到对应输出文件中
outputFile->write(reinterpret_cast<char *>(OH_AVBuffer_GetAddr(buffer)), info.size);
// buffer 模式，释放已完成写入的数据，index为对应buffer队列下标
ret = OH_VideoDecoder_FreeOutputBuffer(videoDec, index);
if (ret != AV_ERR_OK) {// 异常处理
}

NV12/NV21图像如果需要依次将Y,U,V三个分量拷贝至另一块Buffer中，以NV12图像为例，按行拷贝示例如下

添加头文件

#include <string.h>

使用示例

struct Rect   // 源内存区域的宽，高
{int32_t width;int32_t height;
};struct DstRect // 目标内存区域的宽，高跨距
{int32_t wStride;int32_t hStride;
};struct SrcRect // 源内存区域的宽，高跨距
{int32_t wStride;int32_t hStride;
};uint8_t *dst; // 目标内存区域的指针
uint8_t *src; // 源内存区域的指针
struct Rect rect;
struct DstRect dstRect;
struct SrcRect srcRect;
// Y 将Y区域的源数据复制到另一个区域的目标数据中
for (int32_t i = 0; i < rect.height; ++i) {//将源数据的一行数据复制到目标数据的一行中memcpy_s(dst, src, rect.width);// 更新源数据和目标数据的指针，进行下一行的复制。每更新一次源数据和目标数据的指针都向下移动一个wStridedst += dstRect.wStride;src += srcRect.wStride;
}
// padding
// 更新源数据和目标数据的指针，指针都向下移动一个padding
dst += (dstRect.hStride - rect.height) * dstRect.wStride;
src += (srcRect.hStride - rect.height) * srcRect.wStride;
rect.height >>= 1;
// UV 将UV区域的源数据复制到另一个区域的目标数据中
for (int32_t i = 0; i < rect.height; ++i) {memcpy_s(dst, src, rect.width);dst += dstRect.wStride;src += srcRect.wStride;
}

硬件解码在处理buffer数据时（释放数据前），输出回调用户收到的AVbuffer是宽高对齐后的图像数据。

一般需要获取数据的宽高、跨距、像素格式来保证解码输出数据被正确的处理。

具体实现请参考：[Buffer模式]的步骤3-调用OH_VideoDecoder_RegisterCallback()设置回调函数来获取数据的宽高、跨距、像素格式。

后续流程（包括刷新解码器、重置解码器、停止解码器、销毁解码器）与Surface模式基本一致。

最后呢

很多开发朋友不知道需要学习那些鸿蒙技术？鸿蒙开发岗位需要掌握那些核心技术点？为此鸿蒙的开发学习必须要系统性的进行。

而网上有关鸿蒙的开发资料非常的少，假如你想学好鸿蒙的应用开发与系统底层开发。你可以参考这份资料，少走很多弯路，节省没必要的麻烦。由两位前阿里高级研发工程师联合打造的《鸿蒙NEXT星河版OpenHarmony开发文档》里面内容包含了（ArkTS、ArkUI开发组件、Stage模型、多端部署、分布式应用开发、音频、视频、WebGL、OpenHarmony多媒体技术、Napi组件、OpenHarmony内核、Harmony南向开发、鸿蒙项目实战等等）鸿蒙（Harmony NEXT）技术知识点

如果你是一名Android、Java、前端等等开发人员，想要转入鸿蒙方向发展。可以直接领取这份资料辅助你的学习。下面是鸿蒙开发的学习路线图。

在这里插入图片描述

针对鸿蒙成长路线打造的鸿蒙学习文档。话不多说，我们直接看详细鸿蒙（OpenHarmony ）手册（共计1236页）与鸿蒙（OpenHarmony ）开发入门视频，帮助大家在技术的道路上更进一步。

  • 《鸿蒙 (OpenHarmony)开发学习视频》
  • 《鸿蒙生态应用开发V2.0白皮书》
  • 《鸿蒙 (OpenHarmony)开发基础到实战手册》
  • OpenHarmony北向、南向开发环境搭建
  • 《鸿蒙开发基础》
  • 《鸿蒙开发进阶》
  • 《鸿蒙开发实战》

在这里插入图片描述

总结

鸿蒙—作为国家主力推送的国产操作系统。部分的高校已经取消了安卓课程，从而开设鸿蒙课程；企业纷纷跟进启动了鸿蒙研发。

并且鸿蒙是完全具备无与伦比的机遇和潜力的；预计到年底将有 5,000 款的应用完成原生鸿蒙开发，未来将会支持 50 万款的应用。那么这么多的应用需要开发，也就意味着需要有更多的鸿蒙人才。鸿蒙开发工程师也将会迎来爆发式的增长，学习鸿蒙势在必行！ 自↓↓↓拿

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/395637.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

【实现100个unity特效之15】最简单的方法使用shader graphs实现2d非像素和像素树叶草的随风摇摆效果

【实现100个unity特效之15】最简单的方法使用shader graphs实现2d非像素和像素树叶草的随风摇摆效果

文章目录 前言非像素树叶草飘动效果新建材质效果像素树叶草飘动效果参考完结 前言 本文只是实现一个简单版本的2d树叶草随风摇摆的效果&#xff0c;如果你想要实现更加复杂的效果&#xff0c;包括2d互动草&#xff0c;你可以参考我之前的文章&#xff1a; 【推荐100个unity插件…
阅读更多...
Docker 入门全攻略：安装、操作与常用命令指南

Docker 入门全攻略：安装、操作与常用命令指南

目录 Docker 入门全攻略&#xff1a;安装、操作与常用命令指南 一、引言 二、Docker 下载与安装 2.1 Docker 的系统要求 2.2 安装步骤 ①对于 Windows 的安装指南 ②对于 macOS 的安装指南 ③对于 Linux 的安装指南 三、Docker 的基本概念 3.1 镜像&#xff08;Image…
阅读更多...
java消息队列ActiveMQ

java消息队列ActiveMQ

安装 前置条件 activemq的运行依赖于jdk&#xff0c;需要提前安装jdk如果已经安装了jdk&#xff0c;需要根据jdk的版本来选择对应的版本进行安装activemq版本对应在官网上&#xff0c;使用java -version 看jdk的版本注意&#xff1a;jdk和mq的版本不一致会报错&#xff0c;电脑…
阅读更多...
MySQL笔记-基础篇（一）：查询

MySQL笔记-基础篇（一）：查询

博客主页: 南来_北往 系列专栏&#xff1a;Spring Boot实战 MySQL是一种广泛使用的关系型数据库管理系统&#xff0c;它基于结构化查询语言&#xff08;SQL&#xff09;来管理和操作数据。下面将依次探讨MySQL查询的各个方面&#xff0c;确保理解扎实&#xff0c;能够在实…
阅读更多...
计算机视觉——凸包计算

计算机视觉——凸包计算

现在有一大堆点&#xff0c;然后你要找出一个可以围住这些点且面积最小的凸多边形&#xff0c;这个凸多边形称为凸包。 显而易见&#xff0c;如果要面积最小&#xff0c;那凸包的顶点势必得是这一大堆点的几个点&#xff0c;你也可以想成是用一条橡皮筋把这些点圈起来。 先把各…
阅读更多...
Python中的 `break` 语句：掌握循环控制的艺术

Python中的 `break` 语句：掌握循环控制的艺术

Python中的 break 语句&#xff1a;掌握循环控制的艺术 下滑即可查看博客内容 &#x1f308; 欢迎莅临我的个人主页 &#x1f448;这里是我静心耕耘深度学习领域、真诚分享知识与智慧的小天地&#xff01;&#x1f387; &#x1f393; 博主简介&#xff1a;985高校的普通本硕…
阅读更多...
【大模型系列篇】论文解读：Transformer - Attention Is All You Need (2017)

【大模型系列篇】论文解读：Transformer - Attention Is All You Need (2017)

Attention Is All You Need (Transformer) 是当今大模型初学者必读的一篇论文&#xff0c;已经有不少业内大佬都翻译解读过这篇论文&#xff0c;此处仅作为自己学习的记录。该论文是由谷歌机器翻译团队于2017年发表在NIPS &#xff0c;提出了一个只基于attention的结构来处理序…
阅读更多...
【iOS】OC关键字总结及底层原理（上）

【iOS】OC关键字总结及底层原理（上）

目录 线程安全相关的关键字atomic&nonatomic 作用域相关的关键字static、extern、const&auto 读写权限相关和指定方法名的关键字内存管理相关的关键字&#xff08;或方法&#xff09;1. 引用计数的存储SideTableretain方法源码分析release方法源码分析dealloc方法源码分…
阅读更多...
嵌入式初学-C语言-十九

嵌入式初学-C语言-十九

指针的引入 为函数修改实参提供支持为动态内存管理提供支持为动态数据及结构提供支持为内存访问提供另一种途径 指针的概述 内存地址&#xff1a; 系统为了内存管理的方便将内存划分为一个个内存单元&#xff08;一个内存单元占一个字节&#xff09;&#xff0c;并为每一个…
阅读更多...
用Vue和Axios将数据库数据显示在前端页面

用Vue和Axios将数据库数据显示在前端页面

在本次实例中Vue只用在了前端部分&#xff0c;Axios用于向后端请求数据&#xff0c;我们这里要用到Ajax技术来访问后端数据。 HTML&#xff1a; <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><meta name&quo…
阅读更多...
全新博客X主题/简约WordPress主题模板/主题巴巴/免授权版源码+自适应设计

全新博客X主题/简约WordPress主题模板/主题巴巴/免授权版源码+自适应设计

源码简介&#xff1a; 博客X这款超酷的Wordpress主题&#xff0c;是主题巴巴团队打造的设计杰作。想象一下&#xff0c;你的博客首页能展示那些炫酷的幻灯片置顶文章、还有各种精心策划的专题列表&#xff0c;这些内容模块的设计简直吸睛了&#xff0c;能让来访的用户眼前一亮…
阅读更多...
数据结构和算法｜递归算法那些事（递归算法的时间复杂度、尾递归优化、斐波那契数列）

数据结构和算法｜递归算法那些事（递归算法的时间复杂度、尾递归优化、斐波那契数列）

对于文章的第一部分&#xff0c;递归算法的时间复杂度&#xff0c;来自于代码随想录文章:通过一道面试题目&#xff0c;讲一讲递归算法的时间复杂度&#xff01; 对于第二节尾递归优化来自于B站&#xff1a;尾递归优化&#xff1a;你的递归调用是如何被优化的&#xff1f; 文章…
阅读更多...
XML(可扩展标记语言)

XML(可扩展标记语言)

QDomDocument doc;QDomElement ss doc.createElement("root");//创建标签 //ss标签添加到文档对象doc.appendChild(ss);//doc.save()auto hero doc.createElement("hero");ss.appendChild(hero);hero.setAttribute("id",10086);//为hero添加属…
阅读更多...
MySQL——数据表的基本操作（一）创建数据表

MySQL——数据表的基本操作（一）创建数据表

数据库创建成功后,就需要创建数据表。所谓创建数据表指的是在已存在的数据库中建立新表。需要注意的是&#xff0c;在操作数据表之前&#xff0c;应该使用 “ USE 数据库名 ” 指定操作是在哪个数据库中进行&#xff0c;否则会抛出 “ No database selected ” 错误。创建数据表…
阅读更多...
Tomcat 使用和配置文件（详解）

Tomcat 使用和配置文件（详解）

一.tomcat 介绍 1. tomcat 概述 自从JSP发布之后&#xff0c;推出了各式各样的JSP引擎。Apache Group在完成GNUJSP1.0的开发以后&#xff0c;开始考虑在SUN的JSWDK基础上开发一个可以直接提供Web服务的JSP服务器&#xff0c;当然同时也支持 Servlet&#xff0c;这样Tomcat就诞…
阅读更多...
[自学记录09*]关于模糊效果降采样优化性能的小实验

[自学记录09*]关于模糊效果降采样优化性能的小实验

一、降采样在模糊中的优化 这两天接手了几个高度定制化的模糊&#xff0c;包括不限于放射和旋转状的径向模糊&#xff0c;移轴模糊&#xff0c;景深的散景模糊等等&#xff0c;这些效果在游戏中非常常见。 其实模糊的原理都差不多&#xff0c;无非就是对UV偏移后重新采样再求…
阅读更多...
《Python爬虫逆向实战》绕过debugger的方法汇总

《Python爬虫逆向实战》绕过debugger的方法汇总

禁用断点 打开控制台&#xff0c;点击右边的禁用断点按钮。 点击之后再刷新下&#xff0c;就会发现debugger失效了。 注&#xff1a;这种方法有个 弊端&#xff0c;就是我们在代码中下的断点也都将失效。 Add script to ignore list 在代码文件中任意位置右键&#xff0c;然…
阅读更多...
51单片机—串口

51单片机—串口

一、 串口基本认知 串行接口简称串口&#xff0c;也称串行通信接口或串行通讯接口&#xff08;通常指COM接口&#xff09;&#xff0c;是采用串行通信方 式的扩展接口。串行接口&#xff08;Serial Interface&#xff09;是指数据一位一位地顺序传送。其特点是通信线路简 单&a…
阅读更多...
【C++ 面试 - 基础题】每日 3 题（七）

【C++ 面试 - 基础题】每日 3 题（七）

✍个人博客&#xff1a;Pandaconda-CSDN博客 &#x1f4e3;专栏地址&#xff1a;http://t.csdnimg.cn/fYaBd &#x1f4da;专栏简介&#xff1a;在这个专栏中&#xff0c;我将会分享 C 面试中常见的面试题给大家~ ❤️如果有收获的话&#xff0c;欢迎点赞&#x1f44d;收藏&…
阅读更多...
【网络安全】玲珑安全第四期

【网络安全】玲珑安全第四期

鉴于玲珑安全漏洞挖掘前三期课程取得的优异成绩和获得的强烈反响，我们决定启动玲珑安全第四期漏洞挖掘培训计划。 文章目录 往期学员收获基础学员报喜（部分）课程反馈第四期课程课程内容免费课程往期学员收获 第一期课程总结及学员收获：->点我查看第一期学员收获<- …
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023