Android平台Unity3D下如何同时播放多路RTMP|RTSP流？

技术背景

好多开发者，提到希望在Unity的Android头显终端，播放2路以上RTMP或RTSP流，在设备性能一般的情况下，对Unity下的RTMP|RTSP播放器提出了更高的要求。实际上，我们在前几年发布Unity下直播播放模块的时候，就已经支持了Android多实例播放RTMP|RTSP，随着大家对这块的技术诉求和性能要求越来越高，我们需要持续考虑如何低资源占用的播放多实例流。

实现思路

目前，我们是通过大牛直播SDK原生的RTMP|RTSP播放器，设置回调解码后的YUV或RGB数据，然后投递到Unity层，在Unity层做渲染。

对于每一路RTMP或RTSP流，可以分别创建个播放实例，并启动播放。可以创建一个管理类，用于统一管理多个播放器实例，方便对多路流的播放状态进行监控和控制。

当从原生播放器中获取到视频流的数据后，需要将数据回调到 Unity 中进行渲染。可以使用 Unity 的纹理（Texture）来存储视频帧数据，并将其应用到相应的材质（Material）上，然后将材质应用到 3D 模型或UI元素上，以实现视频的播放显示。对于多路视频流，需要为每一路视频流创建独立的纹理和材质，并分别进行渲染。

具体实现如下：

开始播放：

/** SmartPlayerAndroidMono.cs* Author: daniusdk.com* WeChat： xinsheng120*/public void Play(int sel)
{if (videoctrl[sel].is_running){Debug.Log("已经在播放.. sel: " + sel);   return;}videoctrl[sel].player_handle_ = OpenPlayer();if (videoctrl[sel].player_handle_ == 0){Debug.LogError("open fail sel: " + sel);return;}NT_U3D_Set_Game_Object(videoctrl[sel].player_handle_, game_object_);/* ++ 播放前参数配置可加在此处 ++ */int is_using_tcp = 0;        //TCP/UDP模式设置NT_U3D_SetRTSPTcpMode(videoctrl[sel].player_handle_, is_using_tcp);int is_report = 0;int report_interval = 1;NT_U3D_SetReportDownloadSpeed(videoctrl[sel].player_handle_, is_report, report_interval);  //下载速度回调int buffer_time = 0;NT_U3D_SetBuffer(videoctrl[sel].player_handle_, buffer_time);//设置buffer timeNT_U3D_SetPlayerLowLatencyMode(videoctrl[sel].player_handle_, 0);//设置是否启用低延迟模式NT_U3D_SetMute(videoctrl[sel].player_handle_, 0);//是否启动播放的时候静音int cur_audio_volume = 100;         //默认播放音量NT_U3D_SetAudioVolume(videoctrl[sel].player_handle_, cur_audio_volume);             //设置播放音量Boolean is_hw_decode = true;NT_U3D_SetVideoDecoderMode(videoctrl[sel].player_handle_, is_hw_decode ? 1 : 0);          //设置H.264软硬解模式NT_U3D_SetVideoHevcDecoderMode(videoctrl[sel].player_handle_, is_hw_decode ? 1 : 0);          //设置H.265软硬解模式NT_U3D_SetImageReaderOutput(videoctrl[sel].player_handle_, is_output, disable_use_image_planes, is_supported_multiple_format, max_images, buffer_pool_max_size);int is_fast_startup = 1;NT_U3D_SetFastStartup(videoctrl[sel].player_handle_, is_fast_startup);                     //设置快速启动模式int rtsp_timeout = 10;NT_U3D_SetRTSPTimeout(videoctrl[sel].player_handle_, rtsp_timeout);                        //设置RTSP超时时间int is_auto_switch_tcp_udp = 1;NT_U3D_SetRTSPAutoSwitchTcpUdp(videoctrl[sel].player_handle_, is_auto_switch_tcp_udp);    //设置TCP/UDP模式自动切换int is_audiotrack = 1;NT_U3D_SetAudioOutputType(videoctrl[sel].player_handle_, is_audiotrack);                   //设置音频输出模式: if 0: 自动选择; if with 1: audiotrack模式NT_U3D_SetUrl(videoctrl[sel].player_handle_, videoctrl[sel].videoUrl);/* -- 播放前参数配置可加在此处 -- */int flag = NT_U3D_StartPlay(videoctrl[sel].player_handle_);if (flag  == DANIULIVE_RETURN_OK){videoctrl[sel].is_need_get_frame_ = true;Debug.Log("播放成功 sel: " + sel);}else{videoctrl[sel].is_need_get_frame_ = false;Debug.LogError("播放失败 sel: " + sel);}videoctrl[sel].is_running = true;  
}

对应的OpenPlayer()实现如下：

private long OpenPlayer()
{if ( java_obj_cur_activity_ == null ){Debug.LogError("getApplicationContext is null");return 0;}long player_handle = 0;player_handle = NT_U3D_Open();if (player_handle != 0)Debug.Log("open success");elseDebug.LogError("open fail");return player_handle;
}

停止播放：

private void ClosePlayer(int sel)
{videoctrl[sel].is_need_get_frame_ = false;videoctrl[sel].is_need_init_texture_ = false;int flag = NT_U3D_StopPlay(videoctrl[sel].player_handle_);if (flag == DANIULIVE_RETURN_OK){Debug.Log("停止成功");}else{Debug.LogError("停止失败");}flag = NT_U3D_Close(videoctrl[sel].player_handle_);if (flag == DANIULIVE_RETURN_OK){Debug.Log("关闭成功");}else{Debug.LogError("关闭失败");}videoctrl[sel].player_handle_ = 0;videoctrl[sel].video_format_ = VideoFrame.FORMAT_UNKNOWN;videoctrl[sel].video_width_ = 0;videoctrl[sel].video_height_ = 0;videoctrl[sel].is_running = false;
}

UpdateYUVTexture()实现如下：

private void UpdateYUVTexture(VideoFrame video_frame,int sel)
{if (video_frame == null)return;if (video_frame.java_frame_obj_ == null)return;if (video_frame.plane0_ == IntPtr.Zero || video_frame.plane1_ == IntPtr.Zero)return;if (video_frame.format_ == VideoFrame.FORMAT_I420) {if (video_frame.plane2_ptr_ == IntPtr.Zero)return;}if (videoctrl[sel].yTexture_ != null){videoctrl[sel].yTexture_.LoadRawTextureData(video_frame.plane0_, video_frame.plane0_size_);videoctrl[sel].yTexture_.Apply();}if (videoctrl[sel].uTexture_ != null){videoctrl[sel].uTexture_.LoadRawTextureData(video_frame.plane1_, video_frame.plane1_size_);videoctrl[sel].uTexture_.Apply();}if (video_frame.format_ == VideoFrame.FORMAT_I420){if (videoctrl[sel].vTexture_ != null){videoctrl[sel].vTexture_.LoadRawTextureData(video_frame.plane2_, video_frame.plane2_size_);videoctrl[sel].vTexture_.Apply();}}
}

总结

直接在Unity中播放RTMP|RTSP流可能并不简单，因为Unity没有内置对RTMP|RTSP的直接支持。你需要根据你的具体需求（如是否需要实时交互、流的来源、你的技术栈等）来选择最合适的解决方案。对于大多数应用场景，使用插件或服务器端转码可能是最简单有效的方法，但不是效率最高的办法，特别是对延迟要求比较高的场景，可以考虑使用大牛直播SDK这种专业的Unity RTMP|RTSP播放模块，无论是延迟还是稳定性，均可达到业内顶级的水准。以上是Unity下多路播放RTMP|RTSP的技术探讨，感兴趣的开发者，可以单独跟我沟通讨论。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/430469.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

CTFHub技能树-SQL注入-Cookie注入

CTFHub技能树-SQL注入-Cookie注入

使用bp发现cookie的注入点 id1，发现为数字型 首先使用联合查询 id 1 order by 2 id 1 order by 3发现2的时候有回显，而3的时候无回显 Cookie: id-1 union select database(),user() 后面开始库->表->列->数据 Cookie: id-1 union select 1…
阅读更多...
Gin中间件

Gin中间件

Gin框架允许开发者在处理请求的过程中，加入用户自己的钩子（Hook）函数。这个钩子函数就叫中间件，中间件适合处理一些公共的业务逻辑，比如登录认证、权限校验、数据分页、记录日志、耗时统计等。 定义中间件 Gin中的中…
阅读更多...
上半年亏损扩大/百亿资产重组终止，路畅科技如何“脱困”？

上半年亏损扩大/百亿资产重组终止，路畅科技如何“脱困”？

在智能网联汽车市场形势一片大好的前提下，路畅科技上半年的营收却出现了下滑，并且亏损也进一步扩大。 2024年半年度报告显示，路畅科技营业收入1.35亿元，同比下滑7.83%；实现归属上市公司股东的净利润为亏损2491.99万元…
阅读更多...
一篇讲完CSS的核心内容

一篇讲完CSS的核心内容

目录 一 、引言 1.1CSS概念 二、 CSS简介 2.1 什么是CSS 2.2 CSS能干什么 2.3 CSS书写规范 2.4 基础语法 三、 CSS导入方式 3.1 内嵌方式(内联方式) 3.2 内部方式 3.3 外部方式 四、 CSS选择器 4.1 基本选择器 [重点] 4.2 属性选择器 五、 CSS属性 5.1 文字属性…
阅读更多...
sheng的学习笔记-AI-强化学习（Reinforcement Learning, RL）

sheng的学习笔记-AI-强化学习（Reinforcement Learning, RL）

AI目录：sheng的学习笔记-AI目录-CSDN博客 基础知识 什么是强化学习 强化学习（Reinforcement Learning, RL），又称再励学习、评价学习或增强学习，是机器学习的范式和方法论之一，用于描述和解决智能体&#…
阅读更多...
【RabbitMQ】RabbitMQ 的概念以及使用RabbitMQ编写生产者消费者代码

【RabbitMQ】RabbitMQ 的概念以及使用RabbitMQ编写生产者消费者代码

目录 1. RabbitMQ 核心概念 1.1生产者和消费者 1.2 Connection和Channel 1.3 Virtual host 1.4 Queue 1.5 Exchange 1.6 RabbitMO工作流程 2. AMQP 3.RabbitMO快速入门 3.1.引入依赖 3.2.编写生产者代码 ​3.3.编写消费者代码 4.源码 1. RabbitMQ 核心概念 在安装…
阅读更多...
Blender软件三大渲染器Eevee、Cycles、Workbench对比解析

Blender软件三大渲染器Eevee、Cycles、Workbench对比解析

Blender 是一款强大的开源3D制作平台，提供了从建模、雕刻、动画到渲染、后期制作的一整套工具，广泛应用于电影、游戏、建筑、艺术等领域。 渲染101云渲染云渲6666 相比于其他平台，如 Autodesk Maya、3ds Max 或 Cinema 4D，Blende…
阅读更多...
好用的idea方法分隔符插件

好用的idea方法分隔符插件

好用的idea方法分隔符插件
阅读更多...
频率增强通道注意力机制（FECAM）学习总结

频率增强通道注意力机制（FECAM）学习总结

本文提出了一种新的频率增强通道注意力机制（FECAM），旨在解决时间序列预测中傅里叶变换因吉布斯现象导致的高频噪声问题。FECAM基于离散余弦变换，能自适应地模拟信道间的频率依赖性，有效避免预测误差。实验显示&#xf…
阅读更多...
DANN GRL

DANN GRL

域自适应是指在目标域与源域的数据分布不同但任务相同下的迁移学习，从而将模型在源域上的良好性能迁移到目标域上，极大地缓解目标域标签缺失严重导致模型性能受损的问题。 介绍一篇经典工作 DANN ： 模型结构 在训练阶段需要预测如下两个任务…
阅读更多...
委托的注册及注销+观察者模式

委托的注册及注销+观察者模式

事件 委托变量如果公开出去，很不安全，外部可以随意调用 所以取消public,封闭它，我们可以自己书写两个方法，供外部注册与注销，委托调用在子方法里调用，这样封装委托变量可以使它更安全，这个就叫…
阅读更多...
SpringBoot3核心特性-核心原理

SpringBoot3核心特性-核心原理

目录 传送门前言一、事件和监听器1、生命周期监听2、事件触发时机 二、自动配置原理1、入门理解1.1、自动配置流程1.2、SPI机制1.3、功能开关 2、进阶理解2.1、 SpringBootApplication2.2、 完整启动加载流程 三、自定义starter1、业务代码2、基本抽取3、使用EnableXxx机制4、完…
阅读更多...
JAVA自助高效安全无人台球茶室棋牌室系统小程序源码

JAVA自助高效安全无人台球茶室棋牌室系统小程序源码

​探索“自助高效安全无人台球茶室棋牌室系统”的奇妙之旅 🎱🍵🎲 🔍 初见惊艳：未来娱乐新体验 🔍 走进这家无人值守的台球茶室棋牌室，第一感觉就像是穿越到了未来！没有繁琐的前台登…
阅读更多...
如何利用 opencv 进行 ROI(感兴趣)获取和实现 VR(虚拟现实) 演播室的播放

如何利用 opencv 进行 ROI(感兴趣)获取和实现 VR(虚拟现实) 演播室的播放

我是从事医疗软件的开发的。 经常需要从拍摄的医疗视频中获取出病理区域。并计算病理区域的周长和面积。 用 opencv 的术语，这就是感兴趣区域的获取。 (因为都是实时视频，所以速度很关键。代码效率很重要) 有时，需要标注出病理区域，并将非病理区域从视频中去除掉。 如果将…
阅读更多...
中电金信 ：基于开放架构的私有云建设实践

中电金信 ：基于开放架构的私有云建设实践

01开放架构私有云诞生背景 随着国产化创新建设的深化，产业侧行业软件持续进行云原生改造，金融机构拥抱云和容器技术，实现数智化转型已是大势所趋。近年，云原生技术以及架构发展速度更是惊人，私有云开始有了新架构、有了…
阅读更多...
小柴冲刺软考中级嵌入式系统设计师系列一、计算机系统基础知识（6）可靠性与系统性能评测基础

小柴冲刺软考中级嵌入式系统设计师系列一、计算机系统基础知识（6）可靠性与系统性能评测基础

目录 1、计算机可靠性 串联系统 并联系统 2、计算机系统的性能评价 性能评测的常用方法 基准测试程序 flechazohttps://www.zhihu.com/people/jiu_sheng 小柴冲刺嵌入式系统设计师系列总目录https://blog.csdn.net/qianshang52013/article/details/139975720?spm1001.2…
阅读更多...
潮玩宇宙大逃杀宝石游戏搭建开发

潮玩宇宙大逃杀宝石游戏搭建开发

潮玩宇宙大逃杀的开发主要涉及以下方面： 1. 游戏概念和设计： 核心概念定义：确定以潮玩为主题的宇宙背景、游戏的基本规则和目标。例如，玩家在宇宙场景中参与大逃杀竞技，目标是成为最后存活的玩家。 玩法模式设计&a…
阅读更多...
基于Es和智普AI实现的语义检索

基于Es和智普AI实现的语义检索

1、什么是语义检索 语义检索是一种利用自然语言处理（NLP）和人工智能（AI）技术来理解搜索查询的语义，以提供更准确和相关搜索结果的搜索技术，语义检索是一项突破性的技术，旨在通过深入理解单词和…
阅读更多...
如何使用GLib的单向链表GSList

如何使用GLib的单向链表GSList

单向链表是一种基础的数据结构，也是一种简单而灵活的数据结构，本文讨论单向链表的基本概念及实现方法，并着重介绍使用GLib的GList实现单向链表的方法及步骤，本文给出了多个实际范例源代码，旨在帮助学习基于GLib编程的读…
阅读更多...
前端vue-作用域插槽的传值，子传父，父用obj对象接收

前端vue-作用域插槽的传值，子传父，父用obj对象接收

阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023