设计一个监控摄像头物联网IOT(webRTC、音视频、文件存储)

前言:

设计一个完整的 监控摄像头物联网 IoT 平台 涉及 视频直播和点播、WebRTC 和 文件存储模块,可以分为以下几个主要部分:摄像头设备、服务端处理、Web 前端、视频流存储和回放。以下是结合这些技术的一个具体完整流程设计,涵盖了各个组件的相互关系、数据流动及关键技术点。

1. 系统组成

  • 监控摄像头:摄像头设备负责采集实时视频流并进行编码(如 H.264 或 VP8)。
  • Java 服务端:服务端基于 Spring Boot 等框架,负责摄像头的控制、视频流的处理、存储和与前端的交互。
  • Web 前端:用户通过浏览器访问 Web 应用来查看实时视频流、历史视频,并控制摄像头。
  • 文件存储模块:负责存储视频文件、视频的元数据、备份和视频流的管理。

2. 整体流程概述

整个流程可以分为以下几个阶段:

  1. 摄像头设备启动与视频流发送
  2. 服务端接收与处理视频流
  3. 视频流转发至 Web 端(WebRTC)
  4. 视频流存储
  5. 视频回放(点播)
  6. 控制和管理(如设备控制、日志等)

3. 详细流程

阶段 1:摄像头设备启动与视频流发送

  1. 摄像头初始化
    • 摄像头设备(如基于 RTSP 协议的设备)在启动时连接到 IoT 平台的 Java 服务端,进行身份验证。
    • 摄像头通过 RTSP 或 WebRTC 协议采集视频数据流。视频数据流使用常见编码格式如 H.264(或者 VP8/VP9)压缩,降低带宽需求。
  2. 视频流发送
    • 摄像头设备开始将视频流推送至 流媒体服务器(如 KurentoWowzaFFmpeg 等)或直接通过 WebRTC 与服务端建立点对点连接。

阶段 2:服务端接收与处理视频流

  1. 服务端接入
    • Java 后端(基于 Spring Boot 或其他微服务框架)作为 媒体服务器 接入接收到的视频流。
    • 后端可以选择使用 WebSocketWebRTC 进行实时数据传输,向 Web 前端推送视频流。
    • 服务端负责接收流数据并进行进一步处理,如实时转码、录制和转发。
  2. 流媒体服务器
    • 如果使用 WebRTC,则视频流会通过 WebRTC 协议 传输到前端浏览器。WebRTC 会建立点对点连接,保证低延迟的实时视频传输。
    • 如果使用 RTSP 流,服务端会通过流媒体服务器(如 Kurento)将 RTSP 流转为 WebRTC 或 HLS 直播流,推送到 Web 端进行播放。
  3. 视频存储
    • 服务端在接收到视频流后,可以选择将视频数据存储到本地硬盘或 分布式存储系统(如 HDFSCeph)。
    • 存储格式可以是 MP4(常见格式)或 WebM(WebRTC 直播常用格式),并且可以结合 HLSDASH 协议进行存档和流式传输。
  4. 流的转码和存档
    • 转码:如果视频流不是所需的格式(例如,摄像头流是 H.264 编码的,而 Web 前端要求 VP8 或 WebM 格式),服务端可使用转码工具(如 FFmpeg)将其转换为所需格式。
    • 存档:视频流会被存档到服务器的文件系统或云存储(如 AWS S3)中,以便后续回放。

阶段 3:视频流转发至 Web 端(WebRTC)

  1. Web 前端接收视频流
    • WebRTC 是浏览器原生支持的协议,因此 Web 前端通过 WebRTC 与服务端建立连接,获取实时视频流。
    • 前端通过 JavaScriptWebRTC API 进行集成,设置与服务端的视频通话通道。
    • 服务端通过 WebSocketHTTP/2 向 Web 前端发送视频流。通过 WebRTC 协议,视频数据被分成多个媒体数据包进行传输,确保低延迟。
  2. 视频流的播放
    • Web 前端通过 <video> 标签WebRTC API 来显示视频。浏览器会解析接收到的视频数据并在用户设备上展示。

阶段 4:视频流存储

  1. 视频文件存储
    • 在视频流传输过程中,服务端可以在后台将视频流保存为文件(如 MP4WebM)。每个视频文件会附带元数据(如时间戳、摄像头ID、视频时长等),存储在分布式存储或云存储系统中。
    • 可以为每个摄像头配置一个文件夹,将录制的视频存储为按日期、时间命名的文件。所有视频文件会统一管理,并支持检索。
  2. 存储扩展与备份
    • 为了确保高可用性,视频存储通常会采用 冗余备份,确保视频数据的持久性。云存储服务(如 S3Aliyun OSS)通常具有自动备份和高可用性。

阶段 5:视频回放(点播)

  1. 历史视频的检索与播放
    • 用户通过 Web 前端进行历史视频回放时,Web 前端会向服务端发起请求,查询存储中视频的元数据(如摄像头ID、时间区间等)。
    • 服务端根据请求的时间段,从存储中检索相关的视频文件,并使用 流媒体协议(如 HLS 或 DASH)进行回放。
  2. 视频文件回放
    • 服务端会将视频文件转为 HLSDASH 流,确保可以按需播放视频片段。
    • Web 前端通过 HLS.jsDash.js 进行视频流的加载和播放。用户可以在 Web 前端进行播放、暂停、快进等操作。

阶段 6:控制和管理(如设备控制、日志等)

  1. 设备管理与控制
    • 用户可以通过 Web 前端控制摄像头的行为(如旋转、缩放、调整清晰度等)。控制指令通过 WebSocket 或 REST API 发送到后端。
    • 后端再通过与摄像头的通信接口(如 ONVIF 或自定义 API)向摄像头发送控制指令。
  2. 日志与数据分析
    • 服务端会记录所有设备的活动日志,包括视频流的接收、转发、存储等操作。
    • 服务端会定期生成分析报告,监控视频存储使用情况、存储空间、带宽占用等指标,帮助运维人员管理平台。

4. 总结:流程概览

  • 摄像头设备:实时采集视频流,发送至服务端。
  • 服务端
    • 接收视频流,通过流媒体服务器转发至 Web 前端或直接传输 WebRTC。
    • 存储视频文件(MP4、WebM)并提供视频存档和回放功能。
  • Web 前端
    • 通过 WebRTC 获取实时视频流,支持视频播放、控制和回放。
    • 支持与服务端的交互,进行设备控制和视频回放。
  • 文件存储模块:使用本地存储、分布式存储或云存储来存储视频文件,并提供高效的检索和回放功能。

这个设计方案确保了监控摄像头视频流的实时传输、存储、回放和设备管理的功能,同时利用了 WebRTC 技术确保低延迟的实时视频传输,并结合云存储和视频流转码技术优化存储和访问体验。

闲谈:

Http-Flv是一种适合网络视频流的传输协议,网页可以用,客户端也可以用。通常都是用在网页上。但是Http-Flv当前比较明显的不足,是不支持H265。 一般安防摄像头都会支持Rtsp和GB28181协议,但这两种协议的视频流都无法在浏览器直接播放,需要开发一个流媒体转发服务器,通过Rtsp或GB28181协议对接摄像头,然后再实时转Http-Flv或Hls协议。浏览器可以通过js插件直接播放Http-flv或Hls协议的视频流。 如果是做安防领域的流媒体服务器,非常推荐zlm,甚至说首推,因为作者在zlm中,提供了非常完整的有关ps流推拉相关的功能。如果是做直播,推荐使用srs或nginx+rtmp。 不要无脑webrtc,要搞清楚webrtc合适的应用场景 ,不要什么地方都想着webrtc。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/496833.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

UGUI简单动画制作

一、最终效果 UI简单动画制作 二、制作过程 1、打开动画制作窗口 2、新建一个动画 3、给一个对象制作动画 4、创建动画控制器进行不同动画变换控制 5、书写脚本&#xff0c;通过按钮来进行不同动画切换 using System.Collections; using System.Collections.Generic; using U…

Windows Powershell实战指南(未完成)

目前只作简单了解&#xff0c;开始吧。 一、初识Powershell 目标 初步认识 Powershell和其集成环境 Ise&#xff0c;学会基本设置 实验 我们从简单的例子开始&#xff1a;希望你能从控制台和ISE的配置中实现相同的结果。然后按照下面五步进行。 &#xff08;1&#xff09;选…

PyQt实战——实现可视化音频播放器(十三)

系类往期文章&#xff1a; PyQt5实战——多脚本集合包&#xff0c;前言与环境配置&#xff08;一&#xff09; PyQt5实战——多脚本集合包&#xff0c;UI以及工程布局&#xff08;二&#xff09; PyQt5实战——多脚本集合包&#xff0c;程序入口QMainWindow&#xff08;三&…

Java日志框架:log4j、log4j2、logback

文章目录 配置文件相关1. properties测试 2. XMl使用Dom4j解析XML Log4j与Log4j2日志门面 一、Log4j1.1 Logges1.2 Appenders1.3 Layouts1.4 使用1.5 配置文件详解1.5.1 配置根目录1.5.2 配置日志信息输出目的地Appender1.5.3 输出格式设置 二、Log4j22.1 XML配置文件解析2.2 使…

RustDesk内置ID服务器,Key教程

RustDesk内置ID服务器&#xff0c;Key教程 首先需要准备一个域名&#xff0c;并将其指定到你的 rustdesk 服务器 ip 地址上&#xff0c;这里编译采用的是Github Actions &#xff0c;说白了是就workflows&#xff0c;可以创建一些自动化的工作流程&#xff0c;例如代码的检查&a…

OpenHarmony怎么修改DPI密度值?RK3566鸿蒙开发板演示

本文介绍在开源鸿蒙OpenHarmony系统下&#xff0c;修改DPI密度值的方法&#xff0c;触觉智能Purple Pi OH鸿蒙开发板演示&#xff0c;搭载了瑞芯微RK3566四核处理器&#xff0c;Laval鸿蒙社区推荐开发板&#xff0c;已适配全新开源鸿蒙OpenHarmony5.0 Release系统&#xff0c;适…

OCR实践-Table-Transformer

前言 书接上文 OCR实践—PaddleOCR Table-Transformer 与 PubTables-1M table-transformer&#xff0c;来自微软&#xff0c;基于Detr&#xff0c;在PubTables1M 数据集上进行训练&#xff0c;模型是在提出数据集同时的工作&#xff0c; paper PubTables-1M: Towards comp…

常见的邮件协议SMTP和POP3

常见的邮件协议包括SMTP和POP3&#xff0c;SMTP用来发送邮件&#xff0c;POP3用来接收邮件信息。 SMTP SMTP 是一种用于发送电子邮件的协议。它的主要作用是将**电子邮件**从邮件客户端&#xff08;如 Outlook、Thunderbird&#xff09;或邮件服务器发送到接收服务器。 SMTP …

UGUI源码分析 --- UI的更新入口

首先所有的UI组件都是添加到画布&#xff08;Canvas&#xff09;显示的&#xff0c;所以首先要从Canvas入手&#xff0c;通过搜索脚本函数以及使用Profiler查看UI的函数的执行&#xff0c;定位到了willRenderCanvases函数 打开UI的文件夹&#xff0c; 通过搜索willRenderCanvas…

Wend看源码-Java-集合学习(Set)

概述 Wend看源码-Java-集合学习(List)-CSDN博客 在上一篇文章中&#xff0c;我们深入探讨了Java集合框架的父类以及List集合的细节。接下来&#xff0c;本文将重点阐述Java中的Set集合&#xff0c;包括其内部的数据结构以及核心方法的详尽说明。 Set 集合 图1 java-Set类型数据…

双闭环直流调速系统

一 设计要求 1、原始条件 主要参数&#xff1a;直流电机PN 22KW&#xff0c;额定电压UN220V&#xff0c; 额定电流IN106A&#xff0c;nN 1500r/min&#xff0c;电枢绕组电阻Ra 0.11Ω&#xff0c;主电路总电阻R0.32Ω&#xff0c;磁极对数P2&#xff0c; Ks22&#xff0c;GD2…

word无法创建工作文件,检查临时环境变量。

word无法创建工作文件&#xff0c;检查临时环境变量。 word preview版本&#xff0c;关联打开文件出现报错。word无法创建工作文件&#xff0c;检查临时环境变量。 打开注册表&#xff0c;删除键 Word Preview: HKCR\CLSID{84F66100-FF7C-4fb4-B0C0-02CD7FB668FE} PowerPoint …

Excel将混乱的多行做成1列

目标是将数据按从左到右&#xff0c;再从上到下排成一列。 公式法 首先用textjoin函数将文本包起来&#xff0c;做成一个超长文本。 然后用公式 截取文本 Mid(m1,n,3)&#xff0c;意思就是对m1单元格&#xff0c;从第n个字符开始&#xff0c;截取3个字符出来。 这个公式如何自…

深入解析MySQL索引结构:从数组到B+树的演变与优化

前言&#xff1a; 在数据库查询中&#xff0c;索引是一种关键的性能优化工具。然而&#xff0c;索引的失效可能导致查询效率大幅下降。为了更好地理解索引的工作原理及规避其失效&#xff0c;深入了解索引结构的演变过程尤为重要。 MySQL 的索引数据结构从简单到复杂&#xff0…

怎么把多个PDF合并到一起-免费实用PDF编辑处理工具分享

>>更多PDF文件处理应用技巧请前往 96缔盟PDF处理器 主页 查阅&#xff01; 序言 我之前的文章也有介绍过如何使用96缔盟PDF处理器对PDF文件合并或者批量合并的介绍&#xff0c;但是当时是使用DMPDFUtilTool1.0版本进行的&#xff0c;当时的功能尚不完善&#xff0c;还不支…

medical meadow medical flashcards

“medalpaca/medical_meadow_medical_flashcards” 是一个在 Hugging Face 数据集平台上可用的数据集。这个数据集主要面向医学领域&#xff0c;包含了大量的医学知识卡片&#xff0c;这些卡片由医学生创建和更新&#xff0c;旨在帮助学习和记忆重要的医学概念。以下是关于这个…

新品:SA628F39大功率全双工音频传输模块

SA628F39是一款高集成度的8W大功率全双工无线数据语音一体通话模块&#xff0c;专为高效、稳定的远程通信设计。该模块内置高速微控制器、高性能射频芯片、功率放大器、ESD静电保护和硬件看门狗芯片&#xff0c;具备反接保护、过流过压保护和防死机保护等多重安全功能&#xff…

moviepy将图片序列制作成视频并加载字幕 - python 实现

DataBall 助力快速掌握数据集的信息和使用方式&#xff0c;会员享有 百种数据集&#xff0c;持续增加中。 需要更多数据资源和技术解决方案&#xff0c;知识星球&#xff1a; “DataBall - X 数据球(free)” -------------------------------------------------------------…

面试突击-JAVA集合类(持续更新...)

前言 这篇文档非常适合面试突击人群&#xff0c;java集合类是面试高频问点&#xff0c;阅读完此文章可以直接应对面试官一切问题&#xff0c;最终吊打面试官。 概览 Java 集合&#xff0c;也叫作容器&#xff0c;主要是由两大接口派生而来&#xff1a;一个是 Collection接口&am…

如何计算相位差

如何计算相位差 假设我们有两个同频率的正弦信号&#xff1a; 这里两个信号的角频率w2πf是相同的&#xff0c;根据同频正弦信号相位差的计算方法&#xff0c;直接用两个信号的相位相减。 再来看利用波形图计算相位差的例子&#xff1a; 另一种计算方式&#xff1a;