【RTSP】客户端(五)H264 265处理逻辑

H264处理逻辑

整体逻辑分析

实现逻辑

  • 解析 RTP 包头:首先检查 RTP 头部的有效负载类型(payloadType)是否匹配
  • 处理扩展头:如果 RTP 包包含扩展头,跳过扩展头部分,获取有效负载
  • 处理分片数据:H264 分片数据通过 FU 指示符和 FU 头部来标识开始、中间和结束部分,分片数据会拼接并在结束时回调给外部
  • 单一封包数据:如果是单一封包(非分片),直接将数据传递给回调函数

代码实现

头文件

// NALU头部数据结构
struct H264NaluHeader {uint8_t type : 5;uint8_t nri : 2;uint8_t f : 1;
};
// 分片数据结构
struct H264FUIndicator {uint8_t type : 5;uint8_t nri : 2;uint8_t f : 1;};struct H264FUHeader {uint8_t type : 5;uint8_t r : 1;uint8_t e : 1; // 结束标志uint8_t s : 1; // 开始标志};class H264Demuxer : public RTPDemuxer {
public:void InputData(const uint8_t* data, size_t size);
private:uint8_t buffer_[4 * 1024 * 1024];  // 用于存储拼接后的数据bool find_start_ = false;  // 是否已经找到一个分片的起始部分size_t pos_buffer_ = 0;    // 当前缓冲区的数据位置
};

源文件

//  总结:H264 数据进行解复用,处理分片(如果有)并将视频数据传递给回调
void H264Demuxer::InputData(const uint8_t* data, size_t size) {//1. 解析RTP头部struct RtpHeader *header = (struct RtpHeader *)data;int payload_type = header->payloadType;if (payload_type != payload_) {return;}//2. 提取有效的负载数据const uint8_t* payload = data + sizeof(struct RtpHeader);size_t payload_len = size - sizeof(struct RtpHeader);if (header->extension) {const uint8_t *extension_data = payload;size_t extension_length = 4 * (extension_data[2] << 8 | extension_data[3]);size_t payload_offset = 4 + extension_length;payload = payload + payload_offset;payload_len = payload_len - payload_offset;}//3. 处理分片FU数据struct H264NaluHeader *h264_header = (struct H264NaluHeader *)payload;if(h264_header->type == 28){//FU指示器struct H264FUIndicator *fu_indicator = (struct H264FUIndicator *)payload;//FU头部struct H264FUHeader *fu_header = (struct H264FUHeader *)&payload[1];// 3.1 进一步处理分片数据,起始分片数据处理if (fu_header->s == 1) {  // start//缓冲区存储:0001+H264NaluHeaderfind_start_ = true;if (pos_buffer_ == 0) {struct H264NaluHeader header;header.f = fu_indicator->f;header.nri = fu_indicator->nri;header.type = fu_header->type;buffer_[0] = 0;buffer_[1] = 0;buffer_[2] = 0;buffer_[3] = 1;memcpy(buffer_ + 4, &header, sizeof(struct H264NaluHeader));pos_buffer_ += 4 + sizeof(struct H264NaluHeader);}memcpy(buffer_ + pos_buffer_, payload + 2, payload_len - 2);pos_buffer_ += payload_len - 2;}else if (fu_header->e == 1) {  // endif (find_start_ == false) {return;}memcpy(buffer_ + pos_buffer_, payload + 2, payload_len - 2);pos_buffer_ += payload_len - 2;// 拼接结束后交给视频处理器处理if (call_back_) {call_back_->OnVideoData(ntohl(header->timestamp),  buffer_, pos_buffer_);}find_start_ = false;pos_buffer_ = 0;}else {  // 中间分片if (!find_start_) {return;}memcpy(buffer_ + pos_buffer_, payload + 2, payload_len - 2);pos_buffer_ += payload_len - 2;}   }
}

H264处理逻辑

整体逻辑分析

  • 解析 RTP 包头:首先检查 RTP 包头,判断是否为我们关心的 H.265 视频数据。
  • 处理 RTP 扩展头:如果 RTP 包中包含扩展头,跳过扩展头,获取有效负载部分。
  • 处理 H.265 分片数据:H.265 视频数据可能被分成多个 RTP 包传输,使用 FU 头部标识分片的开始、中间和结束部分。H265Demuxer 将这些分片数据拼接成完整的视频帧。
  • 单一封包数据:如果数据不是分片,直接将完整的视频帧数据通过回调传递给外部

代码实现

头文件

// H265 NALU头部数据结构
struct H265NaluHeader {uint16_t layer_hi : 1;uint16_t type : 6; // NALU类型uint16_t f : 1;   //  标志位uint16_t tid : 3; //  类型标识符uint16_t layer_low : 5; 
};
// 分片数据结构
struct H265FUHeader {uint8_t type : 6; // NALU类型uint8_t e : 1;   // 结束标志uint8_t s : 1;   // 开始标志
};// H265解复用器
class H265Demuxer : public RTPDemuxer {
public:void InputData(const uint8_t* data, size_t size) override;
private:uint8_t buffer_[4 * 1024 * 1024];  // 用于存储拼接后的数据bool find_start_ = false;  // 是否已经找到一个分片的起始部分size_t pos_buffer_ = 0;    // 当前缓冲区的数据位置
};

源文件

//  总结:H265 数据进行解复用,处理分片(如果有)并将视频数据传递给回调
void H265Demuxer::InputData(const uint8_t* data, size_t size){//1. 解析RTP头部struct RtpHeader *header = (struct RtpHeader *)data;int payload_type = header->payloadType;if (payload_type != payload_) {return;}//2. 提取有效的负载数据const uint8_t* payload = data + sizeof(struct RtpHeader);size_t payload_len = size - sizeof(struct RtpHeader);if (header->extension) {const uint8_t *extension_data = payload;size_t extension_length = 4 * (extension_data[2] << 8 | extension_data[3]);size_t payload_offset = 4 + extension_length;payload = payload + payload_offset;payload_len = payload_len - payload_offset;}//3. 处理分片FU数据struct H265NaluHeader *h265_header = (struct H265NaluHeader *)payload;if(h265_header->type == 49){//FU指示器struct H265FUHeader *fu_header = (struct H265FUHeader *)&payload[2];if (fu_header->s ==1){// 分片开始处理find_start_ = true;if(pos_buffer_ == 0){buffer_[0] = 0;buffer_[1] = 0;buffer_[2] = 0;buffer_[3] = 1;memcpy(buffer_ + 4, &header, sizeof(struct H265NaluHeader));pos_buffer_ += 4 + sizeof(struct H265NaluHeader);}memcpy(buffer_ + pos_buffer_, payload + 3, payload_len - 3);pos_buffer_ += payload_len - 3;}else if(fu_header->e ==1){// 结束分片标志处理if(find_start_ == false){return;}memcpy(buffer_ + pos_buffer_, payload + 3, payload_len - 3);pos_buffer_ += payload_len - 3;if (call_back_) {call_back_->OnVideoData(ntohl(header->timestamp), buffer_, pos_buffer_);}find_start_ = false;pos_buffer_ = 0;}else{// 中间分片处理if (!find_start_) {return;}memcpy(buffer_ + pos_buffer_, payload + 3, payload_len - 3);pos_buffer_ += payload_len - 3;}}else{ // 单一封包buffer_[0] = 0;buffer_[1] = 0;buffer_[2] = 0;buffer_[3] = 1;memcpy(buffer_ + 4, payload, payload_len);if(call_back_){call_back_->OnVideoData(ntohl(header->timestamp),  buffer_, payload_len + 4);}}return;
}

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/34025.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

JumpServer基础功能介绍演示

堡垒机可以让运维人员通过统一的平台对设备进行维护&#xff0c;集中的进行权限的管理&#xff0c;同时也会对每个操作进行记录&#xff0c;方便后期的溯源和审查&#xff0c;JumpServer是由飞致云推出的开源堡垒机&#xff0c;通过简单的安装配置即可投入使用&#xff0c;本文…

sqldef:一款免费的数据库变更管理工具

应用程序的升级通常伴随着数据库表结构的变更&#xff0c;为了维护各种环境的数据库变更&#xff0c;我们通常需要引入 Liquibase 或者 Flyaway 这样的数据库版本控制工具。不过&#xff0c;这类工具通常需要绑定某种编程语言&#xff0c;例如 Java&#xff1b;这次我们介绍一个…

行为模式---状态模式

概念 状态模式是一种行为模式&#xff0c;用于在内部状态改变的时候改变其行为。它的核心思想就是允许一个对象在其内部状态改变的时候改变它的行为。状态模式通过将对象的状态封装成独立的类&#xff0c;并将其行为委托给当前的状态对象&#xff0c;从而使得对象行为随着状态…

1688按图搜索商品(拍立淘)接口的参数说明【附代码实例】

阿里巴巴中国站按图搜索1688商品&#xff08;拍立淘&#xff09; API 返回值说明 item_search_img-按图搜索1688商品&#xff08;拍立淘&#xff09; 1688.item_search_img 公共参数 名称类型必须描述keyString是调用key&#xff08;必须以GET方式拼接在URL中&#xff09;se…

Linux文件管理练习

1、列出所有账号的账号名 切割显示-cut 作用&#xff1a;cut命令用于按列提取文本内容 格式: cut -d "分隔符" -f列数字 文件名 2、将/etc/passwd中内容按照冒号隔开的第三个字符从大到小排序后输出所有内容 排序显示-sort 作用:sort命令用于对文本内容进行排…

解决PC串流至IPad Pro时由于分辨率不一致导致的黑边问题和鼠标滚轮反转问题

问题背景 今天在做 电脑串流ipad pro 的时候发现了2个问题&#xff1a; 1.ipadpro 接上鼠标后&#xff0c;滚轮上下反转&#xff0c;这个是苹果自己的模拟造成的问题&#xff0c;在设置里选择“触控板与鼠标”。 关闭“自然滚动”,就可以让鼠标滚轮正向滚动。 2. ipadpro 分…

【数据结构初阶第十九节】八大排序系列(下篇)—[详细动态图解+代码解析]

hello&#xff0c;好久不见&#xff01; 云边有个稻草人-CSDN博客 上篇内容&#xff0c;回顾一下吧【数据结构初阶第十八节】八大排序系列(上篇)—[详细动态图解代码解析]-CSDN博客 今天我们来学习下篇 目录 &#xff08;2&#xff09;快速排序 【挖坑法】 —思路 —思路…

使用Open WebUI下载的模型文件(Model)默认存放在哪里?

&#x1f3e1;作者主页&#xff1a;点击&#xff01; &#x1f916;Ollama部署LLM专栏&#xff1a;点击&#xff01; ⏰️创作时间&#xff1a;2025年2月21日21点21分 &#x1f004;️文章质量&#xff1a;95分 文章目录 使用CMD安装存放位置 默认存放路径 Open WebUI下…

XSS漏洞学习(1)

XSS漏洞学习&#xff08;1&#xff09; HTTP协议回顾 HTTP的请求方式 常用 GET 请求从服务器获取资源 HEAD 类似于GET请求&#xff0c;只不过不会返回实体数据&#xff0c;只获取报头 POST 向服务器提交数据 PUT 替换服务器的内容 不常用 DELETE 请求服务器删除指定的…

【统计学相关笔记】抽样基本定理的证明

抽样基本定理的证明 法 1 法 2 什么是 辅助统计量&#xff1f; 法 3

基于Asp.net的物流配送管理系统

作者&#xff1a;计算机学姐 开发技术&#xff1a;SpringBoot、SSM、Vue、MySQL、JSP、ElementUI、Python、小程序等&#xff0c;“文末源码”。 专栏推荐&#xff1a;前后端分离项目源码、SpringBoot项目源码、Vue项目源码、SSM项目源码、微信小程序源码 精品专栏&#xff1a;…

vue-treeselect 【单选/多选】的时候只选择最后一层(绑定的值只绑定最后一层)

欢迎访问我的个人博客 &#xff5c;snows_ls BLOGhttp://snows-l.site 一、单选 1、问题&#xff1a; vue-treeselect 单选的时候只选择最后一层&#xff08;绑定的值只绑定最后一层&#xff09; 2、方法 1、只需要加上 :disable-branch-nodes"true" 就行&#xff0…

Python的那些事第四十五篇:继承自Nose的测试框架Nose2

Nose2:继承自Nose的测试框架 摘要 本文深入探讨了Nose2这一继承自Nose的测试框架。在软件开发过程中,测试是确保代码质量和稳定性的重要环节,而测试框架为测试工作的开展提供了有力支持。Nose2作为Nose的继承者,在保留Nose优势的基础上进行了诸多改进和扩展,为Python测试…

LLM后训练:解锁大型语言模型推理能力的关键路径

引言&#xff1a;从语言生成到逻辑推理的跃迁 大型语言模型&#xff08;LLMs&#xff09;通过预训练掌握了海量语言模式&#xff0c;但其核心缺陷——幻觉、逻辑断裂、价值观偏差——暴露了单纯预训练的局限性。后训练&#xff08;Post-Training&#xff09;作为预训练后的精修…

Rabit

之前发过rabit了&#xff0c;所以这里不再赘述&#xff0c;讲讲原理 在线Rabbit加密 | Rabbit解密- 在线工具 (sojson.com) rabbit加密原理 Rabbit加密算法是一种流密码算法&#xff0c;由Daniel J. Bernstein设计&#xff0c;并被广泛用于多种加密和安全通信应用中。它的设…

coding ability 展开第四幕(滑动指针——巩固篇)超详细!!!!

文章目录 前言水果成篮思路 找到字符串中所有字母异位词思路 串联所有单词的子串思路 最小覆盖子串思路 总结 前言 本专栏上一篇博客&#xff0c;带着大家从认识滑动窗口到慢慢熟悉 相信大家对滑动窗口已经有了大概的认识 其实主要就是抓住——一段连续的区间 今天来学习一些滑…

“消失的中断“

“消失的中断” 1. 前言 在嵌入式开发过程中&#xff0c;中断必不可少。道友们想必也经常因为中断问题头疼不已&#xff0c;今天来说说一个很常见的问题&#xff0c;“消失的中断”。最近项目在使用第三方MCAL的时候&#xff0c;就遇到了I2C中断丢失的问题&#xff0c;排查起…

阿里云魔笔低代码应用开发平台快速搭建教程

AI低代码&#xff0c;大模型时代应用开发新范式 什么是魔笔 介绍什么是魔笔低代码应用开发平台。 魔笔是一款面向全端&#xff08;Web、H5、全平台小程序、App&#xff09;场景的模型驱动低代码开发平台&#xff0c;提供一站式的应用全生命周期管理&#xff0c;包括可视化开发…

Obsidian Copilot:打造你的专属 AI 笔记助手

Obsidian Copilot作为一款非常受欢迎的Obsidian插件&#xff0c;不仅极大地提升了用户的笔记管理和信息检索效率&#xff0c;还通过其多样化的AI功能为用户带来了前所未有的便捷体验。本文将详细介绍Obsidian Copilot的核心特点、使用方法及个人体验分享。 核心特点 Obsidian…

聊聊 Redis 的一些有趣的特性(上)

聊聊 Redis 的一些有趣的特性&#xff08;上&#xff09; 一、持久化 Redis 是内存数据库&#xff0c;数据全部保存在内存中。如果服务器发生宕机&#xff0c;内存中的数据将会全部丢失。为防止系统崩溃后数据丢失&#xff0c;Redis 提供了持久化功能&#xff0c;可将内存中的…