WebRTC服务质量(07)- 重传机制(04) 接收NACK消息

WebRTC服务质量(01)- Qos概述
WebRTC服务质量(02)- RTP协议
WebRTC服务质量(03)- RTCP协议
WebRTC服务质量(04)- 重传机制(01) RTX NACK概述
WebRTC服务质量(05)- 重传机制(02) NACK判断丢包
WebRTC服务质量(06)- 重传机制(03) NACK找到真正的丢包
WebRTC服务质量(07)- 重传机制(04) 接收NACK消息
WebRTC服务质量(08)- 重传机制(05) RTX机制
WebRTC服务质量(09)- Pacer机制(01) 流程概述
WebRTC服务质量(10)- Pacer机制(02) RoundRobinPacketQueue
WebRTC服务质量(11)- Pacer机制(03) IntervalBudget
WebRTC服务质量(12)- Pacer机制(04) 向Pacer中插入数据

一、前言:

首先我们要明白NACK是一种RTCP包,而RTCP在WebRtc当中是基于UDP的,所以,我们接收数据包的源头肯定是传输层的UDP包,然后,一次经历几个关键的模块到达应用层。

二、收包流程:

在这里插入图片描述

  • PhysicalSocketServer: 这是底层网络的抽象。它负责创建和管理底层网络套接字(通常是 UDP 套接字),为 WebRTC 的其他组件提供网络 I/O 功能。 它处理网络事件,例如数据包到达和发送错误。
  • UDPPort: 这个类代表一个具体的 UDP 端口,用于发送和接收媒体数据和 RTCP 控制信息。它通常由 PhysicalSocketServer 创建和管理。
  • P2PTransportChannel: 这层建立在 UDPPort 之上,它负责在两个 WebRTC 对等体之间可靠地传输数据包。它可能包含重传机制、拥塞控制以及其他优化网络传输的机制。 它负责将数据从应用程序层传递到网络层,反之亦然。
  • PeerConnection: 这是 WebRTC 的核心类。它管理 WebRTC 会话的整个生命周期,包括建立连接、协商编解码器和传输参数,以及处理媒体流的发送和接收。 它负责协调所有其他组件以实现 P2P 通信。
  • Call: 这个类通常在更高级别的应用程序中使用,它代表一个正在进行的 WebRTC 通信会话。 它可能是 PeerConnection 的一个包装器,提供更高级别的 API 来管理通话,例如发起、应答和结束通话。
  • VideoSendStream: 此类专门处理视频数据的发送。它负责编码视频帧,打包数据,并将它们通过 P2PTransportChannel 发送给远程对等体。
  • RTCPReceiver: RTCP (RTP 控制协议) 用于传输媒体流的控制信息,例如丢包率、延迟和带宽估计。RTCPReceiver 负责接收和处理来自远程对等体的 RTCP 数据包,并将这些信息提供给其他 WebRTC 组件。
  • ModuleRtpRtcpImpl: 这是一个更底层的类,它负责处理 RTP (实时传输协议) 数据包的发送和接收。 它处理 RTP 包的封装和解封装,并与 RTCP 紧密集成。

我们发现其实就是:从传输层获取RTP包 —> Call模块分发(RTP或者RTCP包) —> 具体的音视频Stream处理自己的RTCP包 —> 会调用Rtp/Rtcp模块处理。

三、处理收到的RTCP包:

PacketReceiver::DeliveryStatus Call::DeliverPacket(MediaType media_type,rtc::CopyOnWriteBuffer packet,int64_t packet_time_us) {RTC_DCHECK_RUN_ON(worker_thread_);// 如果是rtcp包if (IsRtcp(packet.cdata(), packet.size()))return DeliverRtcp(media_type, packet.cdata(), packet.size());// 否则就是rtp包return DeliverRtp(media_type, std::move(packet), packet_time_us);
}

发现判断是Rtcp包就走DeliverRtcp,那么怎么判断是Rtcp包呢?

其实就是根据RTCP协议头里面的payload type,看看是否属于RTCP包,比如FIR\BYE\NACK这些都有自己的PT值。

PacketReceiver::DeliveryStatus Call::DeliverRtcp(MediaType media_type,const uint8_t* packet,size_t length) {// ...bool rtcp_delivered = false;if (media_type == MediaType::ANY || media_type == MediaType::VIDEO) {for (VideoReceiveStream2* stream : video_receive_streams_) {if (stream->DeliverRtcp(packet, length))rtcp_delivered = true;}}// ...return rtcp_delivered ? DELIVERY_OK : DELIVERY_PACKET_ERROR;
}

发现Call是将RTCP包转给了对应Stream,我们这儿就是ReceiveStream。

bool VideoReceiveStream2::DeliverRtcp(const uint8_t* packet, size_t length) {return rtp_video_stream_receiver_.DeliverRtcp(packet, length);
}

进去看看:

bool RtpVideoStreamReceiver2::DeliverRtcp(const uint8_t* rtcp_packet,size_t rtcp_packet_length) {// ...// 将RTP/RTCP包传给 ModuleRtpRtcpImpl2 处理rtp_rtcp_->IncomingRtcpPacket(rtcp_packet, rtcp_packet_length);// ...
}

发现转给了ModuleRtpRtcpImpl2模块:

void ModuleRtpRtcpImpl::IncomingRtcpPacket(const uint8_t* rtcp_packet,const size_t length) {rtcp_receiver_.IncomingPacket(rtcp_packet, length);
}

注意,对上上面的收包流程图,始终记住自己在哪儿:

void RTCPReceiver::IncomingPacket(rtc::ArrayView<const uint8_t> packet) {// ... PacketInformation packet_information;// 解析网络包,因为发送端是将多个包串成一个包发送的。// 因此,解析过程中,就是先解析RTCP头,再通过RTCP头里面的长度解析数据。以此类推if (!ParseCompoundPacket(packet, &packet_information))return;// 将上面解析包得到的 packet_information 作为参数,传给下一步继续处理TriggerCallbacksFromRtcpPacket(packet_information);
}

其实我注释写了很多,其实就是解析CompoundPacket,这种包我前面讲过,就是RTCP包比较小,就将多个一次发过来了。

bool RTCPReceiver::ParseCompoundPacket(rtc::ArrayView<const uint8_t> packet,PacketInformation* packet_information) {MutexLock lock(&rtcp_receiver_lock_);CommonHeader rtcp_block;// 先获取每个rtcp包的header,然后,解析for (const uint8_t* next_block = packet.begin(); next_block != packet.end();next_block = rtcp_block.NextPacket()) { // 读取一个RTCP包// remaining_blocks_size 不为0说明后面还有数据,继续解析;ptrdiff_t remaining_blocks_size = packet.end() - next_block;RTC_DCHECK_GT(remaining_blocks_size, 0);// 开始解析if (!rtcp_block.Parse(next_block, remaining_blocks_size)) {if (next_block == packet.begin()) {// Failed to parse 1st header, nothing was extracted from this packet.RTC_LOG(LS_WARNING) << "Incoming invalid RTCP packet";return false;}++num_skipped_packets_;break;}// 。。。// 根据 RTCP 包的类型 (rtcp_block.type()) 调用相应的处理函数switch (rtcp_block.type()) {case rtcp::SenderReport::kPacketType:HandleSenderReport(rtcp_block, packet_information);break;case rtcp::ReceiverReport::kPacketType:HandleReceiverReport(rtcp_block, packet_information);break;// 。。。}}return true;
}

总而言之,这个函数是一个 RTCP 包解析器,它高效地处理复合 RTCP 数据包,并根据包类型进行分发,处理各种 RTCP 消息。

四、总结:

本文主要介绍了接收Nack包的流程,其实也就是接收一般RTCP包的流程,并且从Call模块开始走读了一下代码,走读代码过程中千万要记住自己大概处于流程的什么位置,要么会lost yourself!!!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/495732.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

RAGFlow 基于深度文档理解构建的开源 RAG引擎 - 安装部署

RAGFlow 基于深度文档理解构建的开源 RAG引擎 - 安装部署 flyfish 1. 确保 vm.max_map_count ≥ 262144 这是指要调整Linux内核参数vm.max_map_count&#xff0c;以确保其值至少为262144。这个参数控制着进程可以映射的最大内存区域数量。对于某些应用程序&#xff08;如Ela…

图神经网络_图嵌入_SDNE

0 提出背景 SDNE&#xff1a;Structural Deep Network Embedding 之前的DeepWalk、LINE、node2vec、struc2vec都使用了浅层结构&#xff0c;浅层模型往往不能捕获高度非线性的网络结构。 SDNE方法使用了多个非线性层来捕获节点的embedding。 1 预备知识 1阶相似度衡量的是…

redis——岁月云实战

单线程序&#xff0c;基于IO多路复用&#xff0c;基于内存和c语言编写&#xff0c;性能高。redis官方命令 1 数据结构 1.1 key的层级 redis的key可以通过冒号&#xff08;:&#xff09;来划分层级&#xff0c;如下图mms:company:order&#xff0c;但系统中可以看到有不少没有…

参数名在不同的SpringBoot版本中,处理方案不同

参数名在不同的SpringBoot版本中&#xff0c;处理方案还不同&#xff1a; 在springBoot的2.x版本&#xff08;保证参数名一致&#xff09; springBoot的父工程对compiler编译插件进行了默认的参数parameters配置&#xff0c;使得在编译时&#xff0c;会在生成的字节码文件中…

五、Swagger 介绍(Flask+Flasgger的应用)

Swagger 介绍 0. 引言1. Swagger 介绍2. Flasgger 介绍3. Flasgger效果3.1 原始flask代码3.2 转化成Flasgger形式3.3 使用Try it out调试3.4 多个url接口自动生成和调试 4. 使用教程4.1 使用 docstrings 作为规范4.2 使用外部 YAML 文件4.3 使用 Python 字典作为原始规范 5. 和…

LSTM-SVM时序预测 | Matlab基于LSTM-SVM基于长短期记忆神经网络-支持向量机时间序列预测

LSTM-SVM时序预测 | Matlab基于LSTM-SVM基于长短期记忆神经网络-支持向量机时间序列预测 目录 LSTM-SVM时序预测 | Matlab基于LSTM-SVM基于长短期记忆神经网络-支持向量机时间序列预测预测效果基本介绍程序设计参考资料 预测效果 基本介绍 1.LSTM-SVM时序预测 | Matlab基于LSTM…

【MySQL】十三,关于MySQL的全文索引

MySQL的全文索引用于搜索文本中的关键字&#xff0c;类似于like查询。 演示 建表 CREATE TABLE demo (id INT(11) NOT NULL,name CHAR(30) NOT NULL,age INT(11) NOT NULL,info VARCHAR(255),primary key(id),fulltext index futxt_idx_info(info) );此表的默认存储引擎为In…

数据可视化echarts学习笔记

目录&#xff0c;介绍 知识储备 一端操作&#xff0c;多端联动的效果&#xff08;开启了多个网页&#xff0c;操作一端&#xff0c;多个网页的效果会跟着改变&#xff09; cmd命令控制面板返回上一级或上上级 在当前目录打开文件&#xff1a; cd 文件名 在Windows命令提示符&am…

NS3学习——tcpVegas算法代码详解(2)

NS3学习——tcpVegas算法代码详解&#xff08;1&#xff09;-CSDN博客 目录 4.TcpVegas类中成员函数 (5) CongestionStateSet函数 (6) IncreaseWindow函数 1.检查是否启用 Vgas 2.判断是否完成了一个“Vegas 周期” 2.1--if&#xff1a;判断RTT样本数量是否足够 2.2--e…

在 CentOS 8 系统上安装 Jenkins 的全过程

一、前言 我是一个前端开发&#xff0c;需要频繁将编写的前端系统打包更新到公司的linux服务器&#xff0c;觉得这种工作纯体力活&#xff0c;有时候太浪费时间&#xff0c;以前用过别人搭建的Jenkins可以很好的解决这个问题。 Jenkins 是一款流行的开源持续集成和持续交付&a…

Mac上Stable Diffusion的环境搭建(还算比较简单)

https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Installation-on-Apple-Silicon AI兴起的速度是真的快&#xff0c;感觉不了解点相关的东西都要与时代脱节了&#xff0c;吓得我赶紧找个AIGC看看能不能实现我艺术家的人梦想&#xff08;绷不住了&#xff09; 我…

瑞吉外卖项目学习笔记(九)套餐列表分页查询、新增套餐、图片上传和下载

瑞吉外卖项目学习笔记(一)准备工作、员工登录功能实现 瑞吉外卖项目学习笔记(二)Swagger、logback、表单校验和参数打印功能的实现 瑞吉外卖项目学习笔记(三)过滤器实现登录校验、添加员工、分页查询员工信息 瑞吉外卖项目学习笔记(四)TableField(fill FieldFill.INSERT)公共字…

VMware Workstation虚拟机网络模式

做虚拟机和宿主机互ping实验时&#xff0c;除了要提前配置好网段、ip等信息&#xff0c;还要把宿主机、虚拟机的防火墙关闭&#xff01; 首先说一下VMware的几种虚拟交换机。 VMnet0&#xff1a;用于虚拟桥接网络下的虚拟交换机。 VMnet1&#xff1a;用于虚拟Host-Only网络下…

UDP传输层通信协议详解

引言 在计算机网络通信的广阔天地中&#xff0c;传输层协议扮演着至关重要的角色。它们负责在网络中的两个终端之间建立、管理和终止数据传输。在众多传输层协议中&#xff0c;UDP&#xff08;User Datagram Protocol&#xff0c;用户数据报协议&#xff09;以其独特的特性和应…

Node.js 工具:在 Windows 11 中配置 Node.js 的详细步骤

一、概述 记录时间 [2024-12-25] 本文讲述如何在 Windows 11 中进行 Node.js 工具的安装和配置。 以下是详细的步骤和说明。 二、安装 Node.js 1. 官网下载 通过官网&#xff0c;下载 Node.js&#xff0c;上面有好几种下载方式&#xff0c;文中下载的是 zip 压缩包。 如图&…

Chrome被360导航篡改了怎么改回来?

一、Chrome被360导航篡改了怎么改回来&#xff1f; 查看是否被360主页锁定&#xff0c;地址栏输入chrome://version&#xff0c;看命令行end后面&#xff08;蓝色部分&#xff09;&#xff0c;是否有https://hao.360.com/?srclm&lsn31c42a959f 修改步骤 第一步&#xff1a…

Mysql 查询性能调优总结

一、查询分析性能的相关配置 1.1 配置显示查询性能的参数 在 MySQL 中&#xff0c;SHOW PROFILES 命令用于显示最近的查询性能概况&#xff0c;帮助你分析哪些查询比较耗时。 show profiles; 需要启用参数 profiling&#xff0c;才能使用上述功能&#xff0c;其相关参数设置…

python中使用selenium执行组合快捷键ctrl+v不生效问题

在执行ctrlv进行粘贴时&#xff0c;绑定一个页面上的元素对象&#xff08;无论元素对象是否是引用过期或者是粘贴的目标文本区&#xff0c;但前提需要粘贴的目标文本区获取焦点&#xff09;执行ctrlv后可以生效。执行粘贴组合快捷键&#xff08;ctrlv&#xff09;的示例代码 se…

C++模板:编译时模拟Duck Typing

C泛型与多态&#xff08;4&#xff09;: Duck Typing - 简书 James Whitcomb Riley在描述这种is-a的哲学时&#xff0c;使用了所谓的鸭子测试&#xff08;Duck Test&#xff09;: 当我看到一只鸟走路像鸭子&#xff0c;游泳像鸭子&#xff0c;叫声像鸭子&#xff0c;那我就把它…

【求职面试】驾照的种类

大型客车 A1 大型载客汽车 A3、B1、B2、C1、C2、C3、C4、M 牵引车 A2 重型、中型全挂、半挂汽车列车 B1、B2、C1、C2、C3、C4、M 城市公交车 A3 核载10人以上的城市公共汽车 C1、C2、C3、C4 中型客车 B1 中型载客汽车&#xff08;10人以上、19人以下&#xff09; C1、C2、C3…