如何在轻量级RTSP服务支持H.264扩展SEI发送接收自定义数据？

为什么开发轻量级RTSP服务？

开发轻量级RTSP服务的目的是为了解决在某些场景下用户或开发者需要单独部署RTSP或RTMP服务的问题。这种服务的优势主要有以下几点：

  1. 便利性：通过轻量级RTSP服务，用户无需配置单独的服务器，降低了部署和配置的复杂性（无论是走RTMP还是GB28181，均需要平台服务支撑）。
  2. 可扩展性：该服务支持同时创建多个RTSP服务，便于根据需求扩展或缩减服务规模（在性能没问题的情况下，启动多个服务，支撑多路流数据并发）。
  3. 并发性：能满足内网无纸化/电子教室等场景中的低并发需求，对并发要求不高的场景也适用（低并发解决大问题）。
  4. 兼容性：支持H.264/H.265视频编码，以及RTSP鉴权、RTSP会话数查看、单播、组播模式。

总的来说，轻量级RTSP服务的目标是提供一种便捷、可扩展且能满足低并发需求的服务，特别适合在内网环境下使用。

如何在轻量级RTSP服务扩展SEI发送接收？

大牛直播SDK支持推送端通过H.264 SEI信息扩展，实时传输文本/二进制数据信息，播放端做相应解析和回显。

适用场景：

  1. 公告广播：推送将相对/绝对时间戳/时间/公告内容发到播放端，播放端实时接收消息并做相应的逻辑处理。
  2. 冲顶大会：推流端实时将题目分发到播放端，借助于大牛直播SDK低延迟特性，轻松实现“音-画-题”同步接收；
  3. 会议教育类直播：推流端将字幕等分发到播放端，播放端实时绘制出相关内容；
  4. 应急指挥/单兵：推送端将GIS信息/现场采集到的数据实时写入并分发到播放端；
  5. 在线教育：推流端将激光笔和涂鸦操作分发到播放端，播放端实时划圈划线，实现特定特效。

尽管Windows、Linux、Android和iOS平台，我们都支持了H.264扩展SEI发送和接收的模块，本文先以Windows平台为例，介绍下关键的接口设计思路：

本文以Windows平台轻量级RTSP服务为例，数据源采集计时器窗体，然后，启动RTSP服务，发布RTSP流，发布后，自动发送自定义数据，播放端接收并回显轻量级RTSP服务发过来的自定义数据。上图可以看到，整体延迟在毫秒级（200多毫秒）。

先说启动停止轻量级RTSP服务关键接口设计：

		/*+++rtsp server操作接口+++*//** 创建一个rtsp server * pRtspServerHandle: rtsp server 句柄* reserve：保留参数传0* 成功返回 NT_ERC_OK*/NT_UINT32(NT_API *OpenRtspServer)(NT_PHANDLE pRtspServerHandle, NT_INT32 reserve);/** 设置rtsp server 监听端口, 在StartRtspServer之前必须要设置端口* rtsp_server_handle: rtsp server 句柄* port: 端口号，可以设置为554,或者是1024到65535之间,其他值返回失败* 成功返回 NT_ERC_OK*/NT_UINT32(NT_API *SetRtspServerPort)(NT_HANDLE rtsp_server_handle, NT_INT32 port);/** 设置rtsp server 鉴权用户名和密码, 这个可以不设置，只有需要鉴权的再设置* rtsp_server_handle: rtsp server 句柄* user_name: 用户名,必须是英文* password：密码,必须是英文* 成功返回 NT_ERC_OK*/NT_UINT32(NT_API *SetRtspServerUserNamePassword)(NT_HANDLE rtsp_server_handle, NT_PCSTR user_name, NT_PCSTR password);/** 设置rtsp server 组播, 如果server设置成组播就不能单播，组播和单播只能选一个, 一般来说单播网络设备支持的好，wifi组播很多路由器不支持* rtsp_server_handle: rtsp server 句柄* is_multicast: 是否组播, 1为组播, 0为单播, 其他值接口返回错误, 默认是单播* 成功返回 NT_ERC_OK*/NT_UINT32(NT_API *SetRtspServerMulticast)(NT_HANDLE rtsp_server_handle, NT_INT32 is_multicast);/** 设置rtsp server 组播组播地址 * rtsp_server_handle: rtsp server 句柄* multicast_address: 组播地址* 如果设置的不是组播地址, 将返回错误* 组播地址范围说明: [224.0.0.0, 224.0.0.255] 为组播预留地址, 不能设置. 可设置范围为[224.0.1.0, 239.255.255.255], 其中SSM地址范围为[232.0.0.0, 232.255.255.255]* 成功返回 NT_ERC_OK*/NT_UINT32(NT_API *SetRtspServerMulticastAddress)(NT_HANDLE rtsp_server_handle, NT_PCSTR multicast_address);/** 获取rtsp server当前的客户会话数, 这个接口必须在StartRtspServer之后再调用* rtsp_server_handle: rtsp server 句柄* session_numbers: 会话数* 成功返回 NT_ERC_OK*/NT_UINT32(NT_API *GetRtspServerClientSessionNumbers)(NT_HANDLE rtsp_server_handle, NT_INT32* session_numbers);/** 启动rtsp server* rtsp_server_handle: rtsp server 句柄* reserve: 保留参数传0* 成功返回 NT_ERC_OK*/NT_UINT32(NT_API *StartRtspServer)(NT_HANDLE rtsp_server_handle, NT_INT32 reserve);/** 停止rtsp server* rtsp_server_handle: rtsp server 句柄* 成功返回 NT_ERC_OK*/NT_UINT32(NT_API *StopRtspServer)(NT_HANDLE rtsp_server_handle);/** 关闭rtsp server* 调用这个接口之后rtsp_server_handle失效，* 成功返回 NT_ERC_OK*/NT_UINT32 (NT_API *CloseRtspServer)(NT_HANDLE rtsp_server_handle);/*---rtsp server操作接口---*/

再说发布RTSP流相关接口设计：

		/*+++发布rtsp流相关接口+++*//** 设置rtsp的流名称* stream_name: 流程名称，不能为空字符串，必须是英文* 这个作用是: 比如rtsp的url是:rtsp://192.168.0.111/test, test就是设置下去的stream_name* 成功返回 NT_ERC_OK*/NT_UINT32(NT_API *SetRtspStreamName)(NT_HANDLE handle, NT_PCSTR stream_name);/** 给要发布的rtsp流设置rtsp server, 一个流可以发布到多个rtsp server上，rtsp server的创建启动请参考OpenRtspServer和StartRtspServer接口* handle: 推送实例句柄* rtsp_server_handle：rtsp server句柄 * reserve： 保留参数，传0*/NT_UINT32(NT_API *AddRtspStreamServer)(NT_HANDLE handle, NT_HANDLE rtsp_server_handle, NT_INT32 reserve);/** 清除设置的rtsp server*/NT_UINT32(NT_API *ClearRtspStreamServer)(NT_HANDLE handle);/*启动rtsp流reserve: 保留参数，传0*/NT_UINT32(NT_API *StartRtspStream)(NT_HANDLE handle, NT_INT32 reserve);/*停止rtsp流*/NT_UINT32(NT_API *StopRtspStream)(NT_HANDLE handle);/*---发布rtsp流相关接口---*/

发送自定义数据相关接口设计：

		/*++++发送用户自定义数据相关接口++++*//** 1. 目前使用sei机制发送用户自定数据到播放端* 2. 这种机制有可能会丢失数据, 所以这种方式不保证接收端一定能收到* 3. 优势:能和视频保持同步，虽然有可能丢失，但一般的需求都满足了* 4. 目前提供两种发送方式 第一种发送二进制数据, 第二种发送 utf8字符串*//** 设置发送队列大小，为保证实时性，默认大小为3, 必须设置一个大于0的数* 如果数据超过队列大小，将丢掉队头数据* 这个接口请在 StartPublisher 之前调用*/NT_UINT32(NT_API *SetPostUserDataQueueMaxSize)(NT_HANDLE handle, NT_INT32 max_size, NT_INT32 reserve);/** 清空用户数据队列, 有些情况可能会用到，比如发送队列里面有4条消息再等待发送,又想把最新的消息快速发出去, 可以 * 先清除掉正在排队消息, 再调用PostUserXXX  **/NT_UINT32(NT_API *ClearPostUserDataQueue)(NT_HANDLE handle);/** 发送二进制数据* data: 二进制数据* size：数据大小* 注意: 1.目前数据大小限制在256个字节以内，太大可能会影响视频传输，如果有特殊需求，需要增大限制，请联系我们* 2. 如果积累的数据超过了设置的队列大小，之前的队头数据将被丢弃* 3. 必须再调用StartPublisher之后再发送数据*/NT_UINT32(NT_API *PostUserData)(NT_HANDLE handle, const NT_BYTE* data, NT_UINT32 size, NT_INT32 reserve);/** 发送utf8字符串* utf8_str: utf8字符串* 注意: 1. 字符串长度不能超过256, 太大可能会影响视频传输，如果有特殊需求，需要增大限制，请联系我们* 2. 如果积累的数据超过了设置的队列大小，之前的队头数据将被丢弃* 3. 必须再调用StartPublisher之后再发送数据*/NT_UINT32(NT_API *PostUserUTF8StringData)(NT_HANDLE handle, NT_PCSTR utf8_str, NT_INT32 reserve);/*----发送用户自定义数据相关接口----*/

播放端接收用户自定义数据接口：

设置用户数据回调：

	player_api_.SetUserDataCallBack(player_handle_, GetSafeHwnd(), NT_SP_SDKUserDataHandle);

回调实现：

extern "C" NT_VOID NT_CALLBACK NT_SP_SDKUserDataHandle(NT_HANDLE handle, NT_PVOID user_data,NT_INT32  data_type,NT_PVOID  data,NT_UINT32 size,NT_UINT64 timestamp,NT_UINT64 reserve1,NT_INT64  reserve2,NT_PVOID  reserve3)
{if ( 1 == data_type ){std::wostringstream oss;oss << L"userdata ";const NT_BYTE* byte_data = reinterpret_cast<const NT_BYTE*>(data);if ( byte_data != nullptr && size > 0 ){oss << L" byte data size=" << size;}std::wstring_convert<std::codecvt_utf8<wchar_t> > conv;oss << L" t:" << timestamp << L"\r\n";OutputDebugStringW(oss.str().c_str());}else if ( 2 == data_type ){const NT_CHAR* str_data = reinterpret_cast<const NT_CHAR*>(data);if (str_data != nullptr && size > 0){std::unique_ptr<std::string> s(new std::string(str_data, str_data + size));// oss << L" utf8 string:" << conv.from_bytes(*s);// oss << L" size=" << size;if ( !s->empty() ){HWND hwnd = reinterpret_cast<HWND>(user_data);if ( hwnd != nullptr && ::IsWindow(hwnd) ){::PostMessage(hwnd, WM_USER_SDK_SP_RECV_USER_DATA, (WPARAM)s.release(), (LPARAM)timestamp);}}}}}

事件处理：

LRESULT CSmartPlayerDlg::OnSDKRecvUserData(WPARAM wParam, LPARAM lParam)
{std::unique_ptr<std::string> str((std::string*)(wParam));if (str && !str->empty()){auto timestamp = (NT_UINT64)(lParam);std::wstring_convert<std::codecvt_utf8<wchar_t> > conv;auto w_str = conv.from_bytes(*str);std::wostringstream wss;wss << L"收到推送端消息:[ " << w_str << L" ] t:" << timestamp;edit_player_msg_.SetWindowTextW(wss.str().c_str());}return S_OK;
}

总结

需要注意的是，无论是轻量级RTSP服务还是RTMP推送设计，因为是通过H.264扩展SEI发送和接收自定义数据，会存在数据或消息丢失的情况，很难实现可靠传输，当然，也可以在多帧数据携带数据，确保消息多次重传达到防止部分数据丢失的目的。

 

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/77531.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

7种有效安全的网页抓取方法，如何避免被禁止？

7种有效安全的网页抓取方法，如何避免被禁止？

网页抓取是一种从互联网上抓取网页内容的过程&#xff0c;但在网络抓取种相信您也经常遇到障碍&#xff1f;尤其是做跨境业务的&#xff0c;在抓取国外的网站时更有难度。但我们站在您的立场上&#xff0c;提供七种有效的方法来进行网页抓取而不被阻止&#xff0c;最大限度地降…
阅读更多...
C语言每日一题：14《数据结构》复制带随机指针的链表

C语言每日一题：14《数据结构》复制带随机指针的链表

题目一&#xff1a; 题目链接&#xff1a; 思路一&#xff1a; 找相对位置暴力求解的方法&#xff1a; 1.复制一个新的链表出来遍历老的节点给新的节点赋值&#xff0c;random这个时候不去值。 2.两个链表同时遍历&#xff0c;遍历老链表的时候去寻找相对位置&#xff0c;在遍…
阅读更多...
压力测试与测试工具jmeter的介绍

压力测试与测试工具jmeter的介绍

目录 一、性能指标 二、jmeter &#xff08;一&#xff09;JMeter 安装 &#xff08;二&#xff09;JMeter 压测示例 1、添加线程组 2、添加 HTTP 请求 3、添加监听器 4、启动压测&查看分析结果 &#xff08;三&#xff09;JMeter Address Already in use 错误解决 压力测…
阅读更多...
c++11 标准模板（STL）（std::basic_ofstream）（四）

c++11 标准模板（STL）（std::basic_ofstream）（四）

定义于头文件 <fstream> template< class CharT, class Traits std::char_traits<CharT> > class basic_ofstream : public std::basic_ostream<CharT, Traits> 类模板 basic_ofstream 实现文件上基于流的高层输出操作。它将 std::basic_ost…
阅读更多...
HTML5 Canvas（画布）

HTML5 Canvas（画布）

<canvas>标签定义图形&#xff0c;比如图表和其他图像&#xff0c;你必须用脚本来绘制图形。 在画布上&#xff08; Canvas &#xff09;画一个共红色矩形&#xff0c;渐变矩形&#xff0c;彩色矩形&#xff0c;和一些彩色文字。 什么是 Canvas&#xff1f; HTML5<c…
阅读更多...
亚马逊买家账号ip关联怎么处理

亚马逊买家账号ip关联怎么处理

对于亚马逊买家账号&#xff0c;同样需要注意IP关联问题。在亚马逊的眼中&#xff0c;如果多个买家账号共享相同的IP地址&#xff0c;可能会被视为潜在的操纵、违规或滥用行为。这种情况可能导致账号受到限制或处罚。 处理亚马逊买家账号IP关联问题&#xff0c;建议采取以下步骤…
阅读更多...
数学知识(三)

数学知识(三)

一、容斥原理 #include<iostream> #include<algorithm>using namespace std;const int N 20;typedef long long LL; int n,m; int p[N];int main() {cin>>n>>m;for(int i 0;i < m;i ) cin>>p[i];int res 0;//从1枚举到2^m(位运算)for(int …
阅读更多...
burp suite 2023版 模块详解《一》

burp suite 2023版 模块详解《一》

burp suite2023版 模块详解<一> Brup suite 仪表盘、目标、代理模块详解 dashboard&#xff08;仪表盘&#xff09;&#xff1a; Burp Suite的dashboard是一个总览视图&#xff0c;显示有关目标和代理的重要信息。我们可以在仪表板上查看最近操作的概要、目标的状态和代…
阅读更多...
centos 7镜像（iso）下载图文教程（超详细）

centos 7镜像（iso）下载图文教程（超详细）

声明&#xff1a;本教程为本人学习笔记&#xff0c;仅供参考 文章目录 前言一、阿里云镜像站下载centos 7 二、清华源下载centos 7小结 前言 声明&#xff1a;本教程为本人学习笔记&#xff0c;仅供参考 本教程将提供两种方式下载centos 7 系统镜像 1、阿里巴巴开源镜像站 2、…
阅读更多...
关于视频汇聚融合EasyCVR平台多视频播放协议的概述

关于视频汇聚融合EasyCVR平台多视频播放协议的概述

视频监控综合管理平台EasyCVR具备视频融合能力&#xff0c;平台基于云边端一体化架构&#xff0c;具有强大的数据接入、处理及分发能力&#xff0c;平台既具备传统安防视频监控的能力与服务&#xff0c;也支持AI智能检测技术的接入&#xff0c;可应用在多行业领域的智能化监管场…
阅读更多...
4.PyCharm汉化

4.PyCharm汉化

完成上一篇的安装之后&#xff0c;全英文的界面可能对一些英文不太好的小伙伴不太友好&#xff0c;本篇文章介绍Phcharm汉化教程&#xff1a; 点击菜单种的File-Setting 选择Marketplace在搜索框输入Chinese 点击安装 安装成功后会提示重新启动&#xff0c;点击Restart 安…
阅读更多...
Invalidate简单分析

Invalidate简单分析

invalivade 流程 背景 最近在做Flutter的分层渲染分析&#xff0c;发现Flutter的分层渲染可以让节点标脏限制在同一个 Layer 中&#xff0c;从而提升性能。然后想到 Android 在更新 DisplayList 的时候会判断节点 dirty.isEmpty&#xff0c;从而决定是否更新DisplayList&#…
阅读更多...
servlet接受参数和乱码问题

servlet接受参数和乱码问题

servlet接受参数和乱码问题 1、乱码问题 1&#xff09;get请求 传输参数出现中文乱码问题&#xff1a; 如果还存在问题&#xff1a; 2&#xff09;post请求 传输参数出现中文乱码问题&#xff1a; 2、接受参数&#xff1a; 3、登录注册案例
阅读更多...
python数据处理程序代码,如何用python处理数据

python数据处理程序代码,如何用python处理数据

大家好&#xff0c;给大家分享一下python数据处理程序代码&#xff0c;很多人还不知道这一点。下面详细解释一下。现在让我们来看看&#xff01; 要求&#xff1a;分别以james&#xff0c;julie&#xff0c;mikey&#xff0c;sarah四个学生的名字建立文本文件&#xff0c;分别存…
阅读更多...
python机器学习（六）决策树(上) 构造树、信息熵的分类和度量、信息增益、CART算法、剪枝

python机器学习（六）决策树(上) 构造树、信息熵的分类和度量、信息增益、CART算法、剪枝

决策树算法 模拟相亲的过程&#xff0c;通过相亲决策图&#xff0c;男的去相亲&#xff0c;会先选择性别为女的&#xff0c;然后依次根据年龄、长相、收入、职业等信息对相亲的另一方有所了解。 通过决策图可以发现&#xff0c;生活中面临各种各样的选择&#xff0c;基于我们的…
阅读更多...
Python开发环境Spyder介绍

Python开发环境Spyder介绍

前言 嗨喽&#xff0c;大家好呀~这里是爱看美女的茜茜呐 Spyder简介 Spyder (前身是 Pydee) 是一个强大的交互式 Python 语言开发环境&#xff0c; 提供高级的代码编辑、交互测试、调试等特性&#xff0c;支持包括 Windows、Linux 和 OS X 系统。 &#x1f447; &#x1f44…
阅读更多...
React Native获取手机屏幕宽高（Dimensions）

React Native获取手机屏幕宽高（Dimensions）

import { Dimensions } from react-nativeconsole.log(Dimensions, Dimensions.get(window)) 参考链接&#xff1a; https://www.reactnative.cn/docs/next/dimensions#%E6%96%B9%E6%B3%95 https://chat.xutongbao.top/
阅读更多...
uni、css——制作表格样式的模型

uni、css——制作表格样式的模型

案例展示 这里以5列做展示&#xff08;可随意调节&#xff09; 案例代码 <view class"list"><view class"item" v-for"(item,index) in list" :key"index">1</view> <!-- 有内容 --><view clas…
阅读更多...
【零拷贝】

【零拷贝】

一、零拷贝 1、零拷贝的概念 学习零拷贝时我们先了解几个buffer缓冲区&#xff1a; 当某个程序或已存在的进程需要某段数据时&#xff0c;它只能在用户空间中属于它自己的内存中访问、修改&#xff0c;这段内存暂且称之为user buffer正常情况下&#xff0c;数据只能从磁盘(或…
阅读更多...
LeetCode724. 寻找数组的中心下标

LeetCode724. 寻找数组的中心下标

题干 给你一个整数数组 nums &#xff0c;请计算数组的 中心下标 。 数组 中心下标 是数组的一个下标&#xff0c;其左侧所有元素相加的和等于右侧所有元素相加的和。 如果中心下标位于数组最左端&#xff0c;那么左侧数之和视为 0 &#xff0c;因为在下标的左侧不存在元素。…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023

友情链接： 我的编程经验分享 一条长河网 尧图网站开发