基于 uniapp 开发 android 播放 webrtc 流

一、播放rtsp协议流
如果 webrtc 流以 rtsp 协议返回,流地址如:rtsp://127.0.0.1:5115/session.mpg,uniapp的 <video> 编译到android上直接就能播放,但通常会有2-3秒的延迟。

二、播放webrtc协议流
如果 webrtc 流以 webrtc 协议返回,流地址如:webrtc://127.0.0.1:1988/live/livestream,我们需要通过sdp协商、连接推流服务端、搭建音视频流通道来播放音视频流,通常有500毫秒左右的延迟。

封装 WebrtcVideo 组件

<template><video id="rtc_media_player" width="100%" height="100%" autoplay playsinline></video>
</template><!-- 因为我们使用到 js 库,所以需要使用 uniapp 的 renderjs -->
<script module="webrtcVideo" lang="renderjs">import $ from "./jquery-1.10.2.min.js";import {prepareUrl} from "./utils.js";export default {data() {return {//RTCPeerConnection 对象peerConnection: null,//需要播放的webrtc流地址playUrl: 'webrtc://127.0.0.1:1988/live/livestream'}},methods: {createPeerConnection() {const that = this//创建 WebRTC 通信通道that.peerConnection = new RTCPeerConnection(null);//添加一个单向的音视频流收发器that.peerConnection.addTransceiver("audio", { direction: "recvonly" });that.peerConnection.addTransceiver("video", { direction: "recvonly" });//收到服务器码流,将音视频流写入播放器that.peerConnection.ontrack = (event) => {const remoteVideo = document.getElementById("rtc_media_player");if (remoteVideo.srcObject !== event.streams[0]) {remoteVideo.srcObject = event.streams[0];}};},async makeCall() {const that = thisconst url = this.playUrlthis.createPeerConnection()//拼接服务端请求地址,如:http://192.168.0.1:1988/rtc/v1/play/const conf = prepareUrl(url);//生成 offer sdpconst offer = await this.peerConnection.createOffer();await this.peerConnection.setLocalDescription(offer);var session = await new Promise(function (resolve, reject) {$.ajax({type: "POST",url: conf.apiUrl,data: offer.sdp,contentType: "text/plain",dataType: "json",crossDomain: true,}).done(function (data) {//服务端返回 answer sdpif (data.code) {reject(data);return;}resolve(data);}).fail(function (reason) {reject(reason);});});//设置远端的描述信息,协商sdp,通过后搭建通道成功await this.peerConnection.setRemoteDescription(new RTCSessionDescription({ type: "answer", sdp: session.sdp }));session.simulator = conf.schema + '//' + conf.urlObject.server + ':' + conf.port + '/rtc/v1/nack/'return session;}},mounted() {try {this.makeCall().then((res) => {// webrtc 通道建立成功})} catch (error) {// webrtc 通道建立失败console.log(error)}}}
</script>

utils.js

const defaultPath = "/rtc/v1/play/";export const prepareUrl = webrtcUrl => {var urlObject = parseUrl(webrtcUrl);var schema = "http:";var port = urlObject.port || 1985;if (schema === "https:") {port = urlObject.port || 443;}// @see https://github.com/rtcdn/rtcdn-draftvar api = urlObject.user_query.play || defaultPath;if (api.lastIndexOf("/") !== api.length - 1) {api += "/";}apiUrl = schema + "//" + urlObject.server + ":" + port + api;for (var key in urlObject.user_query) {if (key !== "api" && key !== "play") {apiUrl += "&" + key + "=" + urlObject.user_query[key];}}// Replace /rtc/v1/play/&k=v to /rtc/v1/play/?k=vvar apiUrl = apiUrl.replace(api + "&", api + "?");var streamUrl = urlObject.url;return {apiUrl: apiUrl,streamUrl: streamUrl,schema: schema,urlObject: urlObject,port: port,tid: Number(parseInt(new Date().getTime() * Math.random() * 100)).toString(16).substr(0, 7)};
};
export const parseUrl = url => {// @see: http://stackoverflow.com/questions/10469575/how-to-use-location-object-to-parse-url-without-redirecting-the-page-in-javascrivar a = document.createElement("a");a.href = url.replace("rtmp://", "http://").replace("webrtc://", "http://").replace("rtc://", "http://");var vhost = a.hostname;var app = a.pathname.substr(1, a.pathname.lastIndexOf("/") - 1);var stream = a.pathname.substr(a.pathname.lastIndexOf("/") + 1);// parse the vhost in the params of app, that srs supports.app = app.replace("...vhost...", "?vhost=");if (app.indexOf("?") >= 0) {var params = app.substr(app.indexOf("?"));app = app.substr(0, app.indexOf("?"));if (params.indexOf("vhost=") > 0) {vhost = params.substr(params.indexOf("vhost=") + "vhost=".length);if (vhost.indexOf("&") > 0) {vhost = vhost.substr(0, vhost.indexOf("&"));}}}// when vhost equals to server, and server is ip,// the vhost is __defaultVhost__if (a.hostname === vhost) {var re = /^(\d+)\.(\d+)\.(\d+)\.(\d+)$/;if (re.test(a.hostname)) {vhost = "__defaultVhost__";}}// parse the schemavar schema = "rtmp";if (url.indexOf("://") > 0) {schema = url.substr(0, url.indexOf("://"));}var port = a.port;if (!port) {if (schema === "http") {port = 80;} else if (schema === "https") {port = 443;} else if (schema === "rtmp") {port = 1935;}}var ret = {url: url,schema: schema,server: a.hostname,port: port,vhost: vhost,app: app,stream: stream};fill_query(a.search, ret);// For webrtc API, we use 443 if page is https, or schema specified it.if (!ret.port) {if (schema === "webrtc" || schema === "rtc") {if (ret.user_query.schema === "https") {ret.port = 443;} else if (window.location.href.indexOf("https://") === 0) {ret.port = 443;} else {// For WebRTC, SRS use 1985 as default API port.ret.port = 1985;}}}return ret;
};
export const fill_query = (query_string, obj) => {// pure user query object.obj.user_query = {};if (query_string.length === 0) {return;}// split again for angularjs.if (query_string.indexOf("?") >= 0) {query_string = query_string.split("?")[1];}var queries = query_string.split("&");for (var i = 0; i < queries.length; i++) {var elem = queries[i];var query = elem.split("=");obj[query[0]] = query[1];obj.user_query[query[0]] = query[1];}// alias domain for vhost.if (obj.domain) {obj.vhost = obj.domain;}
};

页面中使用

<template><VideoWebrtc />
</template>
<script setup>import VideoWebrtc from "@/components/videoWebrtc";
</script>

需要注意的事项:
1.spd 协商的重要标识之一为媒体描述: m=xxx <type> <code>,示例行如下:

在这里插入图片描述

一个完整的媒体描述,从第一个m=xxx <type> <code>开始,到下一个m=xxx <type> <code>结束,以video为例,媒体描述包含了当前设备允许播放的视频流编码格式,常见如:VP8/VP9/H264 等:

在这里插入图片描述
在这里插入图片描述

对照 m=video 后边的编码发现,其包含所有 a=rtpmap 后的编码,a=rtpmap 编码后的字符串代表视频流格式,但视频编码与视频流格式却不是固定的匹配关系,也就是说,在设备A中,可能存在 a=rtpmap:106 H264/90000 表示h264,在设备B中,a=rtpmap:100 H264/90000 表示h264。

因此,如果要鉴别设备允许播放的视频流格式,我们需要观察 a=rtpmap code 后的字符串。

协商通过的部分标准为:

  1. offer sdp 的 m=xxx 数量需要与 answer sdp 的 m=xxx 数量保持一致;
  2. offer sdp 的 m=xxx 顺序需要与 answer sdp 的 m=xxx 顺序保持一致;如两者都需要将 m=audio 放在第一位,m=video放在第二位,或者反过来;
  3. answer sdp 返回的 m=audio 后的 <code>,需要被包含在 offer sdp 的 m=audio 后的<code>中;

offer sdp 的 m=xxx 由 addTransceiver 创建,首个参数为 audio 时,生成 m=audio,首个参数为video时,生成 m=video ,创建顺序对应 m=xxx 顺序

"recvonly" }); that.peerConnection.addTransceiver("video", {
direction: "recvonly" }); ```
  1. 在 sdp 中存在一项 a=mid:xxx xxx在浏览器中可能为 audiovideo ,在 android 设备上为 01,服务端需注意与 offer sdp 匹配。
  2. 关于音视频流收发器,上面使用的api是 addTransceiver ,但在部分android设备上会提示没有这个api,我们可以替换为 getUserMedia + addTrack
data() {return {......localStream: null,......}
},
methods: {createPeerConnection() {const that = this//创建 WebRTC 通信通道that.peerConnection = new RTCPeerConnection(null);that.localStream.getTracks().forEach((track) => {that.peerConnection.addTrack(track, that.localStream);});//收到服务器码流,将音视频流写入播放器that.peerConnection.ontrack = (event) => {......};}async makeCall() {const that = thisthat.localStream = await navigator.mediaDevices.getUserMedia({video: true,audio: true,});const url = this.playUrl............}
}

需要注意的是,navigator.mediaDevices.getUserMedia
获取的是设备摄像头、录音的媒体流,所以设备首先要具备摄像、录音功能,并开启对应权限,否则 api 将调用失败。

三、音视频实时通讯
这种 p2p 场景的流播放,通常需要使用 websocket 建立服务器连接,然后同时播放本地、服务端的流。

<template><div>Local Video</div><video id="localVideo" autoplay playsinline></video><div>Remote Video</div><video id="remoteVideo" autoplay playsinline></video>
</template>
<script module="webrtcVideo" lang="renderjs">import $ from "./jquery-1.10.2.min.js";export default {data() {return {signalingServerUrl: "ws://127.0.0.1:8085",iceServersUrl: 'stun:stun.l.google.com:19302',localStream: null,peerConnection: null}},methods: {async startLocalStream(){try {this.localStream = await navigator.mediaDevices.getUserMedia({video: true,audio: true,});document.getElementById("localVideo").srcObject = this.localStream;}catch (err) {console.error("Error accessing media devices.", err);}},createPeerConnection() {const configuration = { iceServers: [{ urls: this.iceServersUrl }]};this.peerConnection = new RTCPeerConnection(configuration);this.localStream.getTracks().forEach((track) => {this.peerConnection.addTrack(track, this.localStream);});this.peerConnection.onicecandidate = (event) => {if (event.candidate) {ws.send(JSON.stringify({type: "candidate",candidate: event.candidate,}));}};this.peerConnection.ontrack = (event) => {const remoteVideo = document.getElementById("remoteVideo");if (remoteVideo.srcObject !== event.streams[0]) {remoteVideo.srcObject = event.streams[0];}};}async makeCall() {this.createPeerConnection();const offer = await this.peerConnection.createOffer();await this.peerConnection.setLocalDescription(offer);ws.send(JSON.stringify(offer));}},mounted() {this.makeCall()const ws = new WebSocket(this.signalingServerUrl);ws.onopen = () => {console.log("Connected to the signaling server");this.startLocalStream();};ws.onmessage = async (message) => {const data = JSON.parse(message.data);if (data.type === "offer") {if (!this.peerConnection) createPeerConnection();await this.peerConnection.setRemoteDescription(new RTCSessionDescription(data));const answer = await this.peerConnection.createAnswer();await this.peerConnection.setLocalDescription(answer);ws.send(JSON.stringify(this.peerConnection.localDescription));} else if (data.type === "answer") {if (!this.peerConnection) createPeerConnection();await this.peerConnection.setRemoteDescription(new RTCSessionDescription(data));} else if (data.type === "candidate") {if (this.peerConnection) {try {await this.peerConnection.addIceCandidate(new RTCIceCandidate(data.candidate));} catch (e) {console.error("Error adding received ICE candidate", e);}}}}}}
</script>

与播放webrtc协议流相比,p2p 以 WebSocket 替代 ajax 实现 sdp 的发送与接收,增加了本地流的播放功能,其他与播放协议流的代码一致。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/493723.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

(OCPP服务器)SteVe编译搭建全过程

注意&#xff1a;建议使用3.6.0&#xff0c;我升级到3.7.1&#xff0c;并没有多什么新功能&#xff0c;反而电表的实时数据只能看到累计电能了&#xff0c;我回退了就正常&#xff0c;数据库是兼容的&#xff0c;java版本换位java11&#xff0c;其他不变就好 背景&#xff1a;…

C++ OpenGL学习笔记(2、绘制橙色三角形绘制、绿色随时间变化的三角形绘制)

相关文章链接 C OpenGL学习笔记&#xff08;1、Hello World空窗口程序&#xff09; 目录 绘制橙色三角形绘制1、主要修改内容有&#xff1a;1.1、在主程序的基础上增加如下3个函数1.2、另外在主程序外面新增3个全局变量1.3、编写两个shader程序文件 2、initModel()函数3、initS…

数据结构大作业——家谱管理系统(超详细!完整代码!)

目录 设计思路&#xff1a; 一、项目背景 二、功能分析 查询功能流程图&#xff1a; 管理功能流程图&#xff1a; 三、设计 四、实现 代码实现&#xff1a; 头文件 结构体 函数声明及定义 创建家谱树头结点 绘制家谱树&#xff08;打印&#xff09; 建立右兄弟…

Leaflet的zoom层级-天地图层级之间的关系

Leaflet的tileLayer请求地址分析 天地图的瓦片服务地址&#xff1a; http://t1.tianditu.com/img_c/wmts?layerimg&styledefault&tilematrixsetc&ServiceWMTS&RequestGetTile&Version1.0.0&Formattiles&TileMatrix{z}&TileCol{x}&TileRo…

常用的JVM启动参数有哪些?

大家好&#xff0c;我是锋哥。今天分享关于【常用的JVM启动参数有哪些?】面试题。希望对大家有帮助&#xff1b; 常用的JVM启动参数有哪些? 1000道 互联网大厂Java工程师 精选面试题-Java资源分享网 JVM启动参数用于配置Java虚拟机&#xff08;JVM&#xff09;的运行时行为…

CTF学习24.12.21[隐写术进阶]

MISC08[隐写术进阶] PDF文件隐写 隐写的加密&#xff1a;wbStego4open工具的下载和使用 1.wbStego4open介绍&#xff1a; wbStego4open是一个隐写开源工具&#xff0c;它支持Windows和Linux平台&#xff0c;可以使用wbStego4open把文件隐藏到BMP、TXT、HTM和PDF文件中&#…

电脑丢失dll文件一键修复的多种方法分析,电脑故障修复攻略

电脑在使用过程中&#xff0c;有时会遇到DLL文件丢失的情况&#xff0c;这可能导致软件无法正常运行或系统出现故障。当面对这种状况时&#xff0c;不必过于慌张&#xff0c;因为有多种有效的修复方法可供选择。下面我们一起来看看电脑丢失dll文件的多种解决方法。 一.了解什么…

Redis篇--常见问题篇5--热Key(Hot Key,什么是热Key,服务降级,一致性哈希)

热key&#xff08;Hot Key&#xff09;是指在Redis中访问频率非常高、读写请求非常频繁的键。由于Redis是单线程模型&#xff0c;所有操作都是串行执行的&#xff0c;Hot Key处理不好&#xff0c;会产生一些问题。比如短时间的群蜂效应&#xff08;群蜂请求&#xff09;&#x…

VSCode:Markdown插件安装使用 -- 最简洁的VSCode中Markdown插件安装使用

VSCode&#xff1a;Markdown插件安装使用 1.安装Marktext2.使用Marktext 本文&#xff0c;将在Visual Studio Code中&#xff0c;安装和使用Markdown插件&#xff0c;以Marktext插件为例。 1.安装Marktext 打开VSCode&#xff0c;侧边栏中找到扩展模块(或CtrlShiftX快捷键)&am…

SpringBoot+Vue3实现阿里云视频点播 实现教育网站 在上面上传对应的视频,用户开会员以后才能查看视频

要使用阿里云视频点播&#xff08;VOD&#xff09;实现一个教育网站&#xff0c;其中用户需要成为会员后才能查看视频&#xff0c;这个过程包括上传视频、设置权限控制、构建前端播放页面以及确保只有付费会员可以访问视频内容。 1. 视频上传与管理 创建阿里云账号&#xff…

深度学习——现代卷积神经网络(七)

深度卷积神经网络 学习表征 观察图像特征的提取⽅法。在合理地复杂性前提下&#xff0c;特征应该由多个共同学习的神经⽹络层组成&#xff0c;每个层都有可学习的参数。 当年缺少数据和硬件支持 AlexNet AlexNet⽐相对较⼩的LeNet5要深得多。 AlexNet由⼋层组成&#xff1a…

免费送源码:Java+ssm++MVC+HTML+CSS+MySQL springboot 社区医院信息管理系统的设计与实现 计算机毕业设计原创定制

摘 要 随着互联网趋势的到来&#xff0c;各行各业都在考虑利用互联网将自己推广出去&#xff0c;最好方式就是建立自己的互联网系统&#xff0c;并对其进行维护和管理。在现实运用中&#xff0c;应用软件的工作规则和开发步骤&#xff0c;采用Java技术建设社区医院信息管理系统…

Marin说PCB之POC电路layout设计仿真案例---06

我们书接上回啊&#xff0c;对于上面的出现原因我这个美女同事安娜说会不会你把POC电感下面的相邻两层的CUT_OUT的尺寸再去加大一些会不会变得更好呢&#xff1f;这个难道说是真的有用吗&#xff1f;小编我先自己算一卦看下结果。 本期文章我们就接着验证通过改善我们的单板POC…

简洁清爽epub 阅读器

Jane Reader 是一款现代化的 epub 阅读器&#xff0c;有简洁清爽&#xff0c;支持自动多栏、多主题、直排模式等&#xff0c;开发者想要提供「媲美于印刷书籍的阅读体验」 Jane Reader 目前提供以下功能&#xff1a; 支持 epub 电子书格式&#xff1b; 内置书库&#xff1b; 支…

TDesign:NavBar 导航栏

NavBar 导航栏 左图&#xff0c;右标 appBar: TDNavBar(padding: EdgeInsets.only(left: 0,right: 30.w), // 重写左右内边距centerTitle:false, // 不显示标题height: 45, // 高度titleWidget: TDImage( // 左图assetUrl: assets/img/logo.png,width: 147.w,height: 41.w,),ba…

javaFX.(蜜雪冰城点餐小程序)MySQL数据库

学习Java只有3个月&#xff0c;不喜勿喷 该小程序是用的MySQL数据库&#xff0c;编辑软件用的equals,为什么不用idea有提示因为主打一个纯手打 要源码私信 目录 javafx.小程序&#xff08;蜜雪冰城点餐系统&#xff09;简介 主体思路 思路讲解 用户登录 用户注册 忘记…

StarRocks:存算一体模式部署

目录 一、StarRocks 简介 二、StarRocks 架构 2.1 存算一体 2.2 存算分离 三、前期准备 3.1前提条件 3.2 集群规划 3.3 配置环境 3.4 准备部署文件 四、手动部署 4.1 部署FE节点 4.2 部署BE节点 4.3 部署CN节点&#xff08;可选&#xff09; 4.4 FE高可用…

【LeetCode】394、字符串解码

【LeetCode】394、字符串解码 文章目录 一、递归: 嵌套类问题1.1 递归: 嵌套类问题 二、多语言解法 一、递归: 嵌套类问题 1.1 递归: 嵌套类问题 // go func decodeString(s string) string {// 如果遇到 嵌套括号的情况, 则递归// 可能连续多位数字, 则 通过 cur cur * 10 …

厦门凯酷全科技有限公司短视频带货可靠吗?

在当今这个数字化时代&#xff0c;抖音作为短视频和直播带货的领军平台&#xff0c;已经吸引了无数商家的目光。而在这一片繁荣的电商蓝海中&#xff0c;厦门凯酷全科技有限公司&#xff08;以下简称“凯酷全”&#xff09;凭借其专业的团队、丰富的经验和创新的服务模式&#…

图书馆管理系统(三)基于jquery、ajax

任务3.4 借书还书页面 任务描述 这部分主要是制作借书还书的界面&#xff0c;这里我分别制作了两个网页分别用来借书和还书。此页面&#xff0c;也是通过获取books.txt内容然后添加到表格中&#xff0c;但是借还的操作没有添加到后端中去&#xff0c;只是一个简单的前端操作。…