Android APP 音视频（01）MediaCodec解码H264码流

说明： 此MediaCodec解码H264实操主要针对Android12.0系统。通过读取sd卡上的H264码流Me获取视频数据，将数据通过mediacodec解码输出到surfaceview上。

1 H264码流和MediaCodec解码简介

1.1 H264码流简介

H.264，也被称为MPEG-4 AVC（Advanced Video Coding），是一种广泛使用的数字视频压缩标准，主要用于视频编码。H.264标准由ITU-T视频编码专家组（VCEG）和ISO/IEC动态图像专家组（MPEG）共同开发，旨在提供比之前的视频编码标准更高的数据压缩效率。

H.264是一种基于块的编码技术，它将视频帧分为多个宏块（Macroblocks，MBs），每个宏块包含亮度信息和色度信息。

关于H264码流相关概念还有：

帧类型，包括I、P、B三种类型，说明如下：

  • I帧（Intra-coded frames）：关键帧，不依赖其他帧进行解码，包含完整的图像信息。
  • P帧（Predictive-coded frames）：预测帧，依赖前一个I帧或P帧进行解码，包含相对于前一帧的差分信息。
  • B帧（Bidirectional predictive-coded frames）：双向预测帧，依赖前后两个帧进行解码，用于提高压缩效率。

编码过程：包括帧内预测（Intra prediction）、帧间预测（Inter prediction）、变换（Transform）、量化（Quantization）和熵编码（Entropy coding）等步骤。

码流结构：H.264码流由一系列的NAL单元（Network Abstraction Layer Units）组成，每个NAL单元包含一个头部和数据负载，头部定义了负载的类型和重要性。

等等概念，想要有更多了解，可查看以下文章，持续更新中：

系统化学习 H264视频编码（01）基础概念

 

系统化学习 H264视频编码（02） I帧 P帧 B帧 引入及相关概念解读

系统化学习 H264视频编码（03）数据压缩流程及相关概念

。。。

1.2 MediaCodec解码说明

MediaCodec 是 Android 提供的一个音视频编解码器类，允许应用程序对音频和视频数据进行编码（压缩）和解码（解压缩）。它在 Android 4.1（API 级别 16）版本中引入，广泛应用于处理音视频数据，如播放视频、录制音频等。

以下是 MediaCodec 解码的基本步骤：

  1. 创建 MediaCodec 实例：通过调用 MediaCodec.createDecoderByType 方法并传入解码类型（如 "video/avc" 或 "audio/mp4a-latm"）来创建解码器。

  2. 配置解码参数：通过调用 configure 方法配置解码器，传入解码参数如解码格式、输出格式等。

  3. 准备输出 Surface：为解码器准备输出 Surface。输出 Surface 用于接收解码后的数据，并显示在屏幕上。

  4. 开始解码：调用 start 方法启动解码器。

  5. 发送输入数据：将待解码的数据通过 write 方法发送到解码器的输入队列。

  6. 处理输出数据：监听输出队列，通过 dequeueOutputBuffer 方法获取解码后的数据，并将其显示在屏幕上。

  7. 停止解码：解码完成后，调用 stop 方法停止解码器。

  8. 释放资源：调用 release 方法释放解码器资源。

通过这些步骤，应用程序可以实现对视频和音频数据的高效编解码处理。针对本工程，主要通过从sd卡上读取h264码流，通过mediacodec解码视频并播放到surfaceview上。

2 MediaCodec解码H264码流代码完整解读(android Q)

2.1 关于权限部分的处理

关于权限，需要在AndroidManifest.xml中添加权限，具体如下所示：

<uses-permission android:name="android.permission.MANAGE_EXTERNAL_STORAGE"tools:ignore="ScopedStorage" />
<uses-permission android:name="android.permission.READ_EXTERNAL_STORAGE"tools:ignore="ScopedStorage" />
<uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE"tools:ignore="ScopedStorage" />

关于运行时权限的请求等，这里给出一个工具类参考代码，具体如下所示：

public class Permission {public static final int REQUEST_MANAGE_EXTERNAL_STORAGE = 1;//需要申请权限的数组private static final String[] permissions = {Manifest.permission.WRITE_EXTERNAL_STORAGE,Manifest.permission.READ_EXTERNAL_STORAGE,Manifest.permission.CAMERA};//保存真正需要去申请的权限private static final List<String> permissionList = new ArrayList<>();public static int RequestCode = 100;public static void requestManageExternalStoragePermission(Context context, Activity activity) {if (!Environment.isExternalStorageManager()) {showManageExternalStorageDialog(activity);}}private static void showManageExternalStorageDialog(Activity activity) {AlertDialog dialog = new AlertDialog.Builder(activity).setTitle("权限请求").setMessage("请开启文件访问权限，否则应用将无法正常使用。").setNegativeButton("取消", null).setPositiveButton("确定", (dialogInterface, i) -> {Intent intent = new Intent(Settings.ACTION_MANAGE_ALL_FILES_ACCESS_PERMISSION);activity.startActivityForResult(intent, REQUEST_MANAGE_EXTERNAL_STORAGE);}).create();dialog.show();}public static void checkPermissions(Activity activity) {for (String permission : permissions) {if (ContextCompat.checkSelfPermission(activity, permission) != PackageManager.PERMISSION_GRANTED) {permissionList.add(permission);}}if (!permissionList.isEmpty()) {requestPermission(activity);}}public static void requestPermission(Activity activity) {ActivityCompat.requestPermissions(activity,permissionList.toArray(new String[0]),RequestCode);}
}

这样，如果后面又更多的权限，都可以使用该方法来处理，处理方式为：

Permission.checkPermissions(this);
Permission.requestManageExternalStoragePermission(getApplicationContext(), this);

2.2 解码的处理

关于解码部分，主要是MediaCodec的初始化、解码处理部分，代码如下所示：

public class H264Decoder implements  Runnable {private final String path;private final String TAG = "H264Decoder";MediaCodec mediaCodec;boolean enablePlay = false;public H264Decoder(String path, Surface surface, int width , int height) {this.path = path;try {mediaCodec = MediaCodec.createDecoderByType("video/avc");MediaFormat mediaformat = MediaFormat.createVideoFormat("video/avc", width, height);mediaformat.setInteger(MediaFormat.KEY_FRAME_RATE, 15);mediaCodec.configure(mediaformat, surface, null, 0);} catch (IOException e) {throw new RuntimeException(e);}}public void play() {enablePlay = true;mediaCodec.start();new Thread(this).start();}public void stop(){enablePlay = false;}@Overridepublic void run() {try {byte[] bytes = null;try {//注意：这里是从文件中一次性读H264取码流数据，因此不适合特别大的视频bytes = getBytes(path);} catch (Exception e) {throw new RuntimeException(e);}int startIndex = 0;MediaCodec.BufferInfo info = new MediaCodec.BufferInfo();while (enablePlay) {int nextFrameStart = findByFrame(bytes, startIndex+5, bytes.length);//MediaCodec输入缓冲区操作int inIndex =  mediaCodec.dequeueInputBuffer(10000);if (inIndex >= 0) {ByteBuffer byteBuffer = mediaCodec.getInputBuffer(inIndex);int length = nextFrameStart - startIndex;byteBuffer.put(bytes, startIndex, length);mediaCodec.queueInputBuffer(inIndex, 0, length, 0, 0);startIndex = nextFrameStart;}//MediaCodec输出缓冲区操作int outIndex =mediaCodec.dequeueOutputBuffer(info,10000);if (outIndex >= 0) {try {//这里延迟下，避免刷的过快Thread.sleep(40);} catch (InterruptedException e) {throw new RuntimeException(e);}mediaCodec.releaseOutputBuffer(outIndex, true);}}} catch (Exception e) {Log.i(TAG, "run decoder error:"+e.toString());}}private int findByFrame( byte[] bytes, int start, int totalSize) {for (int i = start; i <= totalSize-4; i++) {//这里是一帧的结束符 00 00 00 01 或者 00 00 01if (((bytes[i] == 0x00) && (bytes[i + 1] == 0x00) && (bytes[i + 2] == 0x00) && (bytes[i + 3] == 0x01))||((bytes[i] == 0x00) && (bytes[i + 1] == 0x00) && (bytes[i + 2] == 0x01))) {return i;}}return -1;}public byte[] getBytes(String path) throws IOException {InputStream is = new DataInputStream(Files.newInputStream(new File(path).toPath()));int len;int size = 1024;byte[] buf;ByteArrayOutputStream bos = new ByteArrayOutputStream();buf = new byte[size];while ((len = is.read(buf, 0, size)) != -1)bos.write(buf, 0, len);buf = bos.toByteArray();return buf;}
}

2.3 主流程代码参考实现

这里以 H264decoderActivity 为例，给出一个MediaCodec解码功能代码的参考实现。具体实现如下：

public class H264decoderActivity extends AppCompatActivity {H264Decoder h264Decoder;private final String TAG = "MainActivity";Context mContext;Surface surface;private boolean isPlaying = false; // 用于跟踪播放状态@Overrideprotected void onCreate(Bundle savedInstanceState) {super.onCreate(savedInstanceState);EdgeToEdge.enable(this);mContext = this;setContentView(R.layout.h264_decode_activity_main);ViewCompat.setOnApplyWindowInsetsListener(findViewById(R.id.main), (v, insets) -> {Insets systemBars = insets.getInsets(WindowInsetsCompat.Type.systemBars());v.setPadding(systemBars.left, systemBars.top, systemBars.right, systemBars.bottom);return insets;});initSurface();Permission.checkPermissions(this);Permission.requestManageExternalStoragePermission(getApplicationContext(), this);Button playButton = findViewById(R.id.button);playButton.setOnClickListener(new View.OnClickListener() {@Overridepublic void onClick(View view) {// 切换播放状态isPlaying = !isPlaying;// 根据播放状态更新按钮文本if (isPlaying) {playButton.setText(R.string.stopplay);//Environment.DIRECTORY_DOWNLOADS), "ags/out.h264").getAbsolutePath(),h264Decoder = new H264Decoder(new File(Environment.getExternalStoragePublicDirectory(Environment.DIRECTORY_DOWNLOADS), "ags/outputtest4.h264").getAbsolutePath(),surface,1280,720);h264Decoder.play();} else {playButton.setText(R.string.startplay);h264Decoder.stop();}}});}private void initSurface() {SurfaceView mSurface = findViewById(R.id.preview);mSurface.getHolder().addCallback(new SurfaceHolder.Callback() {@Overridepublic void surfaceCreated(@NonNull SurfaceHolder surfaceHolder) {Log.d(TAG,"surfaceCreated");surface=surfaceHolder.getSurface();}@Overridepublic void surfaceChanged(@NonNull SurfaceHolder surfaceHolder, int i, int i1, int i2) {Log.d(TAG,"surfaceChanged");}@Overridepublic void surfaceDestroyed(@NonNull SurfaceHolder surfaceHolder) {Log.d(TAG,"surfaceDestroyed");}});}
}

这里涉及的layout布局文件内容如下：

<?xml version="1.0" encoding="utf-8"?>
<androidx.constraintlayout.widget.ConstraintLayout xmlns:android="http://schemas.android.com/apk/res/android"xmlns:app="http://schemas.android.com/apk/res-auto"xmlns:tools="http://schemas.android.com/tools"android:id="@+id/main"android:layout_width="match_parent"android:layout_height="match_parent"tools:context=".MainActivity"><SurfaceViewandroid:id="@+id/preview"android:layout_width="372dp"android:layout_height="240dp"android:visibility="visible"app:layout_constraintBottom_toBottomOf="parent"app:layout_constraintLeft_toLeftOf="parent"app:layout_constraintRight_toRightOf="parent"app:layout_constraintTop_toTopOf="parent" /><Buttonandroid:id="@+id/button"android:layout_width="wrap_content"android:layout_height="wrap_content"android:text="@string/playtest"app:layout_constraintTop_toBottomOf="@id/preview"app:layout_constraintLeft_toLeftOf="parent"app:layout_constraintRight_toRightOf="parent"app:layout_constraintHorizontal_bias="0.5"tools:ignore="MissingConstraints" /></androidx.constraintlayout.widget.ConstraintLayout>

2.4 解码 demo实现效果

这里是找一个mp4格式的测试视频，使用ffmpeg将mp4格式中的视频码流输出出来。使用命令为：

$ffmpeg -i inputtest.mp4 -vcodec libx264 -preset slow -b:v 2000k -crf 21 out.h264

将其push到sd卡上，完整路径为：/sdcard/Download/ags/outputtest4.h264。实际运行效果展示如下：

446068457f4e42d5ac6720ec2279d858.png

 

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/384414.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

【Linux】一些基本指令

【Linux】一些基本指令

文章目录 前言Linux下基本指令Linux下一些常见的通配符Linux下的引号引用whoamiwholswhichaliaswhereisfindtouchmkdirrmdir & rmmancpmvcatmorelessheadtailechodatecalgrepzip & unziptarrz & szuname几个重要的热键关机 前言 在学习操作系统的时候&#xff0c;我…
阅读更多...
Dav_笔记12：Automatic SQL Tuning 之 1 概述

Dav_笔记12：Automatic SQL Tuning 之 1 概述

自动调整优化器概述 Oracle数据库使用优化程序为已提交的SQL语句生成执行计划。优化器以以下模式运行&#xff1a; ■普通模式 优化器编译SQL并生成执行计划。正常模式为绝大多数SQL语句生成合理的计划。在正常模式下&#xff0c;优化器以非常严格的时间约束运行&#xff0c…
阅读更多...
Python 高阶语法

Python 高阶语法

前言&#xff1a; 我们通过上篇文章学习了Python的基础语法&#xff0c;接下来我们来学习Python的高阶语法 1.初识对象 在Python中我们可以做到和生活中那样&#xff0c;设计表格、生产表格、填写表格的组织形式的 面向对象包含 3 大主要特性&#xff1a;  封装  继承 …
阅读更多...
Oracle系统表空间的加解密

Oracle系统表空间的加解密

实验环境 数据库选择的是orclpdb1&#xff0c;当前系统表空间未加密&#xff1a; SQL> show con_nameCON_NAME ------------------------------ ORCLPDB1SQL> select TABLESPACE_NAME, STATUS, ENCRYPTED from dba_tablespaces;TABLESPACE_NAME STATUS …
阅读更多...
软件测试：Postman 工具的使用。开发及测试均需要掌握的测试工具

软件测试：Postman 工具的使用。开发及测试均需要掌握的测试工具

工具介绍 各个模块功能的介绍如下&#xff1a; 1、New&#xff1a;在这里创建新的请求、集合或环境&#xff1b;还可以创建更高级的文档、Mock Server 和 Monitor以及API。 2、Import&#xff1a;这用于导入集合或环境。有一些选项&#xff0c;例如从文件&#xff0c;文件夹导…
阅读更多...
【Linux】远程连接Linux虚拟机（MobaXterm）

【Linux】远程连接Linux虚拟机（MobaXterm）

【Linux】远程连接Linux虚拟机&#xff08;MobaXterm&#xff09; 零、原因 有时候我们在虚拟机中操作Linux不太方便&#xff0c;比如不能复制粘贴&#xff0c;不能传文件等等&#xff0c;我们在主机上使用远程连接软件远程连接Linux虚拟机后可以解决上面的问题。 壹、软件下…
阅读更多...
学习小型gpt源码（自用）

学习小型gpt源码（自用）

数据集构建_哔哩哔哩_bilibili &#xff08;b站上有一系列课&#xff0c;从数据处理到模型构建和训练使用&#xff09; 什么是batch&#xff1f; 为什么一个batch内的句子要一样长&#xff1f; 不同batch的长度可以不一样&#xff0c;但是同一个batch内长度一样&#xff01;…
阅读更多...
回文子串转二维dp的方式

回文子串转二维dp的方式

目录 写在最前&#xff1a; 1. 首先我们要考虑一个问题&#xff1a;如何判断一个字符串是回文子串 2.如何创建dp[i][j]表示回文子串 3. 如何初始化&#xff1f; 4. 如何实现 问题引入&#xff1a; LCR 020. 回文子串 给定一个字符串 s &#xff0c;请计算这个字符串中有…
阅读更多...
Spring Boot入门指南：留言板

Spring Boot入门指南：留言板

一.留言板 1.输⼊留⾔信息,点击提交.后端把数据存储起来. 2.⻚⾯展⽰输⼊的表⽩墙的信息 规范&#xff1a; 1.写一个类MessageInfo对象&#xff0c;添加构造方法 虽然有快捷键&#xff0c;但是还是不够偷懒 项目添加Lombok。 Lombok是⼀个Java⼯具库&#xff0c;通过添加注…
阅读更多...
C语言 | Leetcode C语言题解之第279题完全平方数

C语言 | Leetcode C语言题解之第279题完全平方数

题目&#xff1a; 题解&#xff1a; // 判断是否为完全平方数 bool isPerfectSquare(int x) {int y sqrt(x);return y * y x; }// 判断是否能表示为 4^k*(8m7) bool checkAnswer4(int x) {while (x % 4 0) {x / 4;}return x % 8 7; }int numSquares(int n) {if (isPerfect…
阅读更多...
项目实战1（30小时精通C++和外挂实战）

项目实战1（30小时精通C++和外挂实战）

项目实战1&#xff08;30小时精通C和外挂实战&#xff09; 01-MFC1-图标02-MFC2-按钮、调试、打开网页05-MFC5-checkbox及按钮绑定对象06--文件格式、OD序列号08-暴力破解09-CE10-秒杀僵尸 01-MFC1-图标 这个外挂只针对植物大战僵尸游戏 开发这个外挂&#xff0c;首先要将界面…
阅读更多...
【SpringCloud】 微服务分布式环境下的事务问题，seata大合集

【SpringCloud】 微服务分布式环境下的事务问题，seata大合集

目录 微服务分布式环境下的事务问题 分布式事务 本地事务 BASE理论与强弱一致性 BASE理论 强弱一致性 常见分布式事务解决方案 - 2PC 常见分布式事务解决方案 - TCC 常见分布式事务解决方案 - 最大努力通知 常见分布式事务解决方案 - 最终一致性 Seata介绍与术语 Seata…
阅读更多...
学习测试10-4自动化 web自动化

学习测试10-4自动化 web自动化

网页资源 链接: https://pan.baidu.com/s/17XL2c2lkw_R6BD–VnOQqw?pwd43dr 提取码: 43dr 复制这段内容后打开百度网盘手机App&#xff0c;操作更方便哦 框架之间切换 driver.switch_to.frame("idframe1") # 父切子 参数用id和name# 子切子必须先转回父 driver.sw…
阅读更多...
【OpenCV C++20 学习笔记】操作图片

【OpenCV C++20 学习笔记】操作图片

操作图片 概述图片的导入和保存对导入的图片的操作获取像素值Point类型和图片像素 内存管理和引用计数一些简便操作图片可视化更精确的类型转换 概述 在本专栏的第一篇文章中就介绍了一个用OpenCV处理图片的实例&#xff08;《图片处理基础》&#xff09;&#xff0c;这篇文章…
阅读更多...
SQL injection UNION attacks SQL注入联合查询攻击

SQL injection UNION attacks SQL注入联合查询攻击

通过使用UNION关键字&#xff0c;拼接新的SQL语句从而获得额外的内容&#xff0c;例如 select a,b FROM table1 UNION select c,d FROM table2&#xff0c;可以一次性查询 2行数据&#xff0c;一行是a&#xff0c;b&#xff0c;一行是c&#xff0c;d。 UNION查询必须满足2个条…
阅读更多...
实战解读：Llama Guard 3 Prompt Guard

实战解读：Llama Guard 3 Prompt Guard

前序研究&#xff1a;实战解读&#xff1a;Llama 3 安全性对抗分析 近日&#xff0c;腾讯朱雀实验室又针对 Llama 3.1 安全性做了进一步解读。 2024年7月23日晚&#xff0c;随着Llama3.1的发布&#xff0c;Meta正式提出了“Llama系统”的概念&#xff0c;通过系统级的安全组件对…
阅读更多...
ansible基础讲解和加密文件讲解

ansible基础讲解和加密文件讲解

ansible最重要的三个文件 /etc/ansible/ansible.cfg #####ansible的配置文件 /etc/ansible/host ##清单文件inventory ansible-navigator.yml ####以yml结尾的文件可以理解为conf结尾的文件&#xff0c;是配置文件&#xff0c;用于设置剧本playbook playbook讲解 以.yml结…
阅读更多...
Java泛型理解这一篇就够了

Java泛型理解这一篇就够了

好文推荐&#xff0c;请阅读此文&#xff1a;Java泛型最佳实践 总结&#xff1a; 泛型类 泛型接口 泛型函数 通配符 通配符是为了让Java泛型支持范围限定&#xff0c;这样使得泛型的灵活性提升&#xff0c;同时也让通用性设计有了更多的空间。 <?>&#xff1a;无界…
阅读更多...
【SpringBoot】2 项目搭建

【SpringBoot】2 项目搭建

创建项目 1&#xff09;确实本地 jdk 版本 打开命令行窗口&#xff1a;快捷键 Windows R&#xff0c;输入 CMD&#xff0c;敲回车 执行命令&#xff1a;java -version 2&#xff09;在项目 clone 的位置创建 Spring Boot 项目&#xff0c;使用 Maven 进行依赖管理&#xff…
阅读更多...
Python 机器学习求解 PDE 学习项目——PINN 求解二维 Poisson 方程

Python 机器学习求解 PDE 学习项目——PINN 求解二维 Poisson 方程

本文使用 TensorFlow 1.15 环境搭建深度神经网络&#xff08;PINN&#xff09;求解二维 Poisson 方程: 模型问题 − Δ u f in Ω , u g on Γ : ∂ Ω . \begin{align} -\Delta u & f \quad & \text{in } \Omega,\\ u & g \quad & \text{on } \Gamma:\p…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023