一文学会使用WebRTC API

WebRTC(Web Real-Time Communication)是一项开放标准和技术集合,由 W3CIETF 等组织共同推动和维护,旨在通过Web浏览器实现实时通信媒体流传输。WebRTC于2011年6月1日开源并在Google、Mozilla、Opera支持下被纳入万维网联盟的W3C推荐标准,其提供了一组API和协议,使开发者能够在浏览器中构建实时音视频通信、数据传输和协作应用。目前WebRTC已得到包括主流的Web浏览器(如Chrome、Firefox、Safari)和移动设备平台的广泛的支持和应用。

  • WebRTC API 简介
  • WebRTC SDP状态机
  • WebRTC API 使用——媒体流传输
  • WebRTC API 使用——DataChannel

一、API 简介

WebRTC(Web Real-Time Communication)提供了一组丰富的 API 方法,用于在浏览器中实现实时通信。这些 API 方法涵盖了音视频捕获、连接建立、媒体流传输和数据传输等方面。下面是对 WebRTC 中一些核心 API 方法的详细介绍,并提供了相应的使用示例:

WebRTC API 使用

  • 呼叫端通过 navigator.mediaDevices.getUserMedia()捕捉本地媒体;
  • 呼叫端创建一个RTCPeerConnection 并调用 RTCPeerConnection.addTrack()
  • 呼叫端调用 RTCPeerConnection.createOffer()来创建一个提议 (offer);
  • 呼叫端调用 RTCPeerConnection.setLocalDescription()将提议 (Offer) 设置为本地描述 (即,连接的本地描述);
  • 呼叫端请求 STUN 服务创建 ice 候选 (ice candidates);
  • 呼叫端通过信令服务器(如 websocket)将提议 (offer) 传递至接收端
  • 接收端收到了提议 (offer) 并调用 RTCPeerConnection.setRemoteDescription() 将其记录为远程描述 (也就是连接的另一端的描述);
  • 接收端捕获本地媒体,通过RTCPeerConnection.addTrack()添加到连接中;
  • 接收端通过 RTCPeerConnection.createAnswer() 创建一个应答;
  • 接收端调用 RTCPeerConnection.setLocalDescription() 将应答 (answer) 设置为本地描述。此时,接收端已经获知连接双方的配置了。
  • 接收端通过信令服务器(如 websocket)将应答传递到呼叫端
  • 呼叫端接受到应答。
  • 呼叫端调用 RTCPeerConnection.setRemoteDescription()将应答设定为远程描述。如此,呼叫端已经获知连接双方的配置了。

二、会话描述状态机

JSEP是一种用于在WebRTC应用程序中建立和管理通信会话的机制,其由RFC8829 JSEP:规范,定义了JavaScript API和信令交换的规范,以便在浏览器之间建立点对点的实时通信。

通过JSEP规范,我们可以了解到WebRTC SDP 会话描述状态机:

RFC8829 JSEP 状态机

  • 呼叫端通过调用 createOffer API 来创建提议 (offer);
  • 呼叫端使用这个 offer 通过 setLocalDescription API 来设置其本地配置;
  • 呼叫端通过信令服务器(如 websocket)将提议 (offer) 传递至接收端

为了完成 offer/answer 交换:

  • 接收端收到了提议 (offer) 并调用 setRemoteDescription() 将其记录为远程描述;
  • 接收端使用 createAnswer API 生成应答 (answer) ,使用 setLocalDescription API 来应用answer;
  • 接收端通过信令服务器(如 websocket)将应答传递到呼叫端

呼叫端接受到应答:

  • 呼叫端调用 RTCPeerConnection.setRemoteDescription()将应答设定为远程描述,完成初始化。

三、WebRTC API 使用——媒体流传输

  1. navigator.mediaDevices.getUserMedia(constraints)

    • 描述:请求访问音视频设备并获取本地媒体。
    • 示例:
navigator.mediaDevices.getUserMedia({ video: true, audio: true }).then(function(stream) {// 处理获取到的媒体流}).catch(function(error) {// 处理错误});
  1. RTCPeerConnection(configuration)

    • 描述:创建一个 PeerConnection 对象,用于建立和管理点对点连接。
    • 示例:
var configuration = { iceServers: [{ urls: '192.168.1.1:19302' }] };
var peerConnection = new RTCPeerConnection(configuration);
  1. peerConnection.addTrack(track, stream)

    • 描述:将音视频轨道添加到 PeerConnection 中。
    • 示例:
var localStream = await navigator.mediaDevices.getUserMedia({ video: true, audio: true });
localStream.getTracks().forEach(function(track) {peerConnection.addTrack(track, localStream);
});
  1. peerConnection.createOffer(options)

    • 描述:创建一个SDP提议 (offer),用于发起连接。
    • 示例:
peerConnection.createOffer().then(function(offer) {return peerConnection.setLocalDescription(offer);}).then(function() {// 将 SDP offer 发送给远程端}).catch(function(error) {// 处理错误});
  1. peerConnection.setLocalDescription(description)

    • 描述:将本地描述设置为提供的 SDP(Session Description Protocol)对象。
    • 示例:
var localDescription = // 从信令服务器获取的本地描述信息
peerConnection.setLocalDescription(localDescription)
  1. peerConnection.setRemoteDescription(description)

    • 描述:将远程描述设置为提供的 SDP 对象。
    • 示例:
var remoteDescription = // 从信令服务器获取的远程描述信息
peerConnection.setRemoteDescription(remoteDescription)
  1. peerConnection.addIceCandidate(candidate)

    • 描述:将 ICE(Interactive Connectivity Establishment)候选项添加到 PeerConnection 中。
    • 示例:
var iceCandidate = // 从信令服务器获取的 ICE 候选项
peerConnection.addIceCandidate(iceCandidate)
  1. peerConnection.ontrack

    • 描述:当远程端添加媒体轨道时触发的事件处理函数。
    • 示例:
peerConnection.ontrack = function(event) {var remoteVideo = document.getElementById('remoteVideo');remoteVideo.srcObject = event.streams[0];
};
  1. peerConnection.onicecandidate

    • 描述:当 ICE 候选项可用时触发的事件处理函数。
    • 示例:
peerConnection.onicecandidate = function(event) {if (event.candidate) {// 将 ICE 候选项发送给远程端}
};
  1. peerConnection.onconnectionstatechange

    • 描述:当 PeerConnection 的连接状态发生变化时触发的事件处理函数。
    • 示例:
peerConnection.onconnectionstatechange = function(event) {if (peerConnection.connectionState === 'connected') {// 连接已建立} else if (peerConnection.connectionState === 'disconnected') {// 连接已断开} else if (peerConnection.connectionState === 'failed') {// 连接失败}
};

四、DataChannel

要在两个 WebRTC 端点之间直接传输非媒体流信息,需要使用 DataChannel API。DataChannel 允许在两个对等连接之间传输任意类型的数据,包括文本、图片等数据内容。
下面是一个使用 WebRTC DataChannel 在两个端点之间发送文字内容的详细代码实现:

  1. 发送端代码(例如浏览器 A):
// 创建 PeerConnection
var peerConnection = new RTCPeerConnection();
// 创建 DataChannel
var dataChannel = peerConnection.createDataChannel('textChannel');
// 事件处理:当 DataChannel 开启时
dataChannel.onopen = function() {// 发送文字内容dataChannel.send('Hello, WebRTC DataChannel!');
};// 事件处理:当 DataChannel 收到消息时
dataChannel.onmessage = function(event) {var receivedMessage = event.data;console.log('Received message:', receivedMessage);
};// 创建 SDP offer
peerConnection.createOffer().then(function(offer) {return peerConnection.setLocalDescription(offer);}).then(function() {// 将 SDP offer 发送给远程端var offer = peerConnection.localDescription;// 发送 offer 给远程端,例如通过信令服务器}).catch(function(error) {console.error('Error creating offer:', error);});
  1. 接收端代码(例如浏览器 B):
// 创建 PeerConnection
var peerConnection = new RTCPeerConnection();// 事件处理:当收到来自远程端的 SDP offer 时
function handleOffer(offer) {// 设置远程描述为 SDP offerpeerConnection.setRemoteDescription(offer).then(function() {// 创建 SDP answerreturn peerConnection.createAnswer();}).then(function(answer) {return peerConnection.setLocalDescription(answer);}).then(function() {// 将 SDP answer 发送给远程端var answer = peerConnection.localDescription;// 发送 answer 给远程端,例如通过信令服务器}).catch(function(error) {console.error('Error creating or setting local description:', error);});
}// 事件处理:当 PeerConnection 收到来自远程端的 DataChannel 时
peerConnection.ondatachannel = function(event) {var receivedDataChannel = event.channel;// 事件处理:当 DataChannel 开启时receivedDataChannel.onopen = function() {// 发送文字内容receivedDataChannel.send('Hi, WebRTC DataChannel!');};// 事件处理:当 DataChannel 收到消息时receivedDataChannel.onmessage = function(event) {var receivedMessage = event.data;console.log('Received message:', receivedMessage);};
};// 事件处理:当收到来自信令服务器的 SDP offer 时
var receivedOffer = // 从信令服务器获取的 SDP offer
handleOffer(receivedOffer);

在上述代码中,发送端创建了一个 DataChannel,并在 DataChannel 开启后发送文字内容。
接收端在 PeerConnection 上监听 “ondatachannel” 事件,当收到来自远程端的 DataChannel 时,设置相应的事件处理函数,并在 DataChannel 开启后发送文字内容。

参考:

W3C WebRTC API:
https://www.w3.org/TR/webrtc/

RFC8829 JSEP:
https://datatracker.ietf.org/doc/html/rfc8829

WebRTC API:
https://developer.mozilla.org/zh-CN/docs/Web/API/WebRTC_API

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/162495.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

ELK日志分析系统的详细介绍与部署

文章目录 1. ELK的概述1.1 简介1.2 使用ELK的理由1.3 ELK的主要组件1.3.1 Elasticsearch1.3.2 Kibana1.3.3 Logstash1.3.3.1 简介1.3.3.2 Logstash常用相关命令选项 1.3.3.3 Logstash 的输入和输出流1.3.4 Logstash的相关配置文件 1.3.4 Filebeat1.3.4.1 简介1.3.4.2 filebeat …

华为Atlas 200I DK A2开发者套件--基础使用配置

文章目录 前言一、快速开始二、通过路由器联网三、USB相机总结 前言 Atlas 200I DK A2基础使用配置方法。准备好键鼠、显示器、网线、USB拓展器。 一、快速开始 下载最新官方Windows版本昇腾开发者套件一键制卡工具: https://ascend-repo.obs.cn-east-2.myhuaweic…

VBA技术资料MF71:查找所有空格并替换为固定字符

我给VBA的定义:VBA是个人小型自动化处理的有效工具。利用好了,可以大大提高自己的工作效率,而且可以提高数据的准确度。我的教程一共九套,分为初级、中级、高级三大部分。是对VBA的系统讲解,从简单的入门,到…

基于鹰栖息优化的BP神经网络(分类应用) - 附代码

基于鹰栖息优化的BP神经网络(分类应用) - 附代码 文章目录 基于鹰栖息优化的BP神经网络(分类应用) - 附代码1.鸢尾花iris数据介绍2.数据集整理3.鹰栖息优化BP神经网络3.1 BP神经网络参数设置3.2 鹰栖息算法应用 4.测试结果&#x…

Linux高性能服务器编程 学习笔记 第十六章 服务器调制、调试和测试

Linux平台的一个优秀特性是内核微调,即我们可以通过修改文件的方式来调整内核参数。 服务器开发过程中,可能会碰到意想不到的错误,一种调试方法是用tcpdump抓包,但这种方法主要用于分析程序的输入和输出,对于服务器的…

23基于MATLAB的小波降噪,默认阈值消噪,强制消噪,给定软阈值消噪方法,数据直接替换后就可以跑。

基于MATLAB的小波降噪,默认阈值消噪,强制消噪,给定软阈值消噪方法,数据直接替换后就可以跑。 https://www.xiaohongshu.com/explore/652d57c600000

10.Linear Map transformation rules

线性映射 从一个基底到另一个基底 所遵循的转换规则。 假设: 由一个矩阵给出的线性映射在这,并且是在基底e上表示, 该线性映射将e1变成0.5个e1,将e2变成2个e2; 假设有个向量V,其分量是【1,1…

从零开始学习秒杀项目

构思了很多种讲述这个简易版的秒杀项目的思路,比如按照功能分类,按照项目亮点串起来讲述,总觉得不适合基础薄弱的同学来学习,所以本项目按照从搭建开始,过程中需要什么来学习什么。 技术栈 SpringBootmybatisPlus&am…

从零开始的stable diffusion

stable diffusion真的是横空出世,开启了AIGC的元年。不知你是否有和我一样的困惑,这AI工具好像并不是那么听话? 前言 我们该如何才能用好stable diffusion这个工具呢?AI究竟在stable diffusion中承担了什么样的角色?如…

【EI会议征稿】2024年第四届人工智能、自动化与高性能计算国际会议(AIAHPC 2024)

2024年第四届人工智能、自动化与高性能计算国际会议(AIAHPC 2024) 2024 4th International Conference on Artificial Intelligence, Automation and High Performance Computing 2024第四届人工智能、自动化与高性能计算国际会议(AIAHPC 2024)将于202…

文心一言 4.0 ERNIE-Bot 4.0 :ERNIE-Bot 4.0 大模型深度测试体验报告

本心、输入输出、结果 文章目录 文心一言 4.0 ERNIE-Bot 4.0 :ERNIE-Bot 4.0 大模型深度测试体验报告前言相关跳转文心一言 4.0 ERNIE-Bot 4.0 接口简介Bash 请求示例代码Windows 模式使用 Python 请求如果直接使用官方提供的代码文心一言 4.0 ERNIE-Bot 4.0 API 在…

最新百度统计配置图文教程,获取siteId、百度统计AccessToken、百度统计代码教程

一、前言 很多网友开发者都不知道百度统计siteId、百度统计token怎么获取,在网上找的教程都是几年前老的教程,因此给大家出一期详细百度统计siteId、百度统计token、百度统计代码获取详细步骤教程。 二、登录到百度统计 1.1 登录到百度统计官网 使用…

服务日志性能调优,由log引出的巨坑

只有被线上服务问题毒打过的人才明白日志有多重要! 谁赞成,谁反对?如果你深有同感,那恭喜你是个社会人了:) 日志对程序的重要性不言而喻,轻巧、简单、无需费脑,程序代码中随处可见…

Ubuntu:Arduino IDE 开发环境配置【保姆级】

物联网开发学习笔记——目录索引 本章主要介绍在Ubuntu系统搭建Arduino IDE 开发环境,windows系统请移步:Windows:Arduino IDE 开发环境配置【保姆级】 参考官网:Arduino - Home 有关更多详细信息,请参阅 Arduino I…

Centos7 安装 MySQL5.7 步骤

Centos7 安装 MySQL5.7 步骤 前言:一 .使用yum源方式安装1、卸载系统自带 mariadb查看并卸载系统自带的 Mariadb 2、下载并安装MySQL官方的 Yum2.1 下载mysql的yum源配置2.2 安装mysql的yum源2.3 使用yum方式安装mysql2.3.1 安装过程中报错解决问题描述解决方案 3、…

python爬虫练习,爬取iview,element组件库图标名称

简单的爬虫 先举一个爬取图片网站图片保存到本地文件夹的例子 原博客:http://t.csdnimg.cn/Cjv3o 这是一个图片网站 https://pic.netbian.com/ 在空白处右键,查看页面源代码,我们发现有具体内容的 我们使用下面的代码可以爬取这个页面所…

如何使用Python抓取PDF文件并自动下载到本地

目录 一、导入必要的库 二、发送HTTP请求并获取PDF文件内容 三、将PDF文件内容写入到本地文件中 四、完整代码示例 五、注意事项 六、错误处理和异常处理 七、进一步优化 总结 在Python中,抓取PDF文件并自动下载到本地需要使用几个不同的库。首先&#xff0…

工业交换机的应用场景

在选择工业交换机的时候,很多人会疑惑自己的场景是否适用工业交换机,工业交换机广泛应用于以下场景,大家可以参考了解 1. 工业自动化:工业交换机用于连接各种工业设备,如PLC(可编程逻辑控制器)、…

MSQL系列(四) Mysql实战-索引 Explain实战

Mysql实战-索引 Explain实战 前面我们讲解了索引的存储结构,我们知道了BTree的索引结构,也了解了索引最左侧匹配原则,到底最左侧匹配原则在我们的项目中有什么用?或者说有什么影响?今天我们来实战操作一下&#xff0c…

IDEA如何拉取gitee项目?

1.登录gitee 说明:打开idea,在设置上面搜索框输入gitee,然后登录gitee注册的账号。 2. 创建gitee仓库 说明:创建idea中的gitee仓库。 3.寻找项目文件 说明:为需要添加gitee仓库的项目进行添加。 4.项目右键 说明&a…