元宇宙时代超高清视音频技术白皮书关于流媒体协议和媒体传输解读

流媒体协议

元宇宙业务场景对流媒体传输的实时性和互动性提出了更高的要求,这就需要在传统的 RTMP、SRT、 HLS 等基础上增加实时互动的支持。实时互动,指在远程条件下沟通、协作,可随时随地接入、实时地传递虚实融合的多维信息,身临其境的交互体验。实时互动作为下一代互联网基础设施,实现了从“在线”到“在场” 的重要转变,将推动互联网向以“临场感”为主要特征的元宇宙方向的升级变革,当前几个主流的技术方向如下。

 MPEG-DASH 是一项基于 HTTP 的动态自适应流传输技术,由 MPEG 在 2012 年推出。它不限制编码格式及内容,能够根据当前带宽容量、网络性能等情况自适应地实现不同码率之间的灵活切换,在为用户提供低卡顿体验的同时保证播放内容的质量。当前,MPEG-DASH 协议已成为全景视频的主要传输协议。

WebRTC 是一项实时通讯技术,早期由 Google 开源,实现了基于网页的实时通讯能力,并于 2021 年被万维网联盟(W3C)和互联网工程任务组(IETF)采纳为官方标准。WebRTC 可以实现超低延时、低卡顿的实时通讯效果,但是对虚拟现实内容面向元宇宙新的媒体类型媒体传输和交互支持不足。WebRTC-NV(Next Version)是下一代 WebRTC,是当前 WebRTC1.0 之后的标准,意在支持当前 WebRTC API 不可能或很难实现的新用例,比如 VR。主要是从通道扩展性、模块成熟和完善性、采集扩展性、独立的标准等 4 方面能力提升。

QUIC 是一项基于 UDP 的低时延通用传输协议,由 Google 推出,它从可靠传输、安全机制、时延等方面对 UDP 协议进行了优化,通过加密、流量控制、拥塞控制等技术,实现了更灵活、更安全、低时延的传输。目前,多个浏览器已支持 QUIC,比如 Google Chrome 浏览器、Microsoft Edge、Firefox 等。同时,该协议已广泛应用于移动端直播、短视频、高速图片文件下载等业务场景。

支撑元宇宙的算力网络架构图:

 综上所述,面向未来元宇宙沉浸式体验的需求,3D 视觉媒体信息的低时延高效传输是亟需解决的问题。因此,如何基于 3D 视觉信息的特点对传输协议进行优化以实现低时延传输将是传输协议进一步发展的方向。

媒体传输

元宇宙场景中需要支持多种类型的视音频数据传输,以及对实时性、互动性有较高的要求。

3GPP SA4 正在进行 5G_RTP、iRTCW 、FS_ eiRTCW 等标准研究项目,将针对沉浸的实时业务(如 XR 业务)的沉浸媒体和相关元数据的实时传输,以及沉浸的实时通信。

同时,MPEG 已制定或正在制定支持元宇宙场景的全景视频、多视点视频、点云数据等沉浸媒体的传输标准,使用扩展的 DASH/MMT 协议传输 MPEG 的沉浸媒体封装文件。

IETF 和 W3C 组织于 2021 年将 WebRTC 采纳为官方标准,目前也正在研究下一代 WebRTC 标准。

WebRTC 工作组正在开发媒体捕获和媒体流以及屏幕捕获等规范,同时审阅支持 WebRTC 新用例的技术提案;探索边缘计算对 Web 平台的影响以及有关用例和需求,在 Web 浏览器中整合网络质量监测和预测。为支持元宇宙中不同场景的媒体传输,将对潜在的媒体传输协议的功能扩展并优化使用(如 RTP 协议、 WebRTC 协议)、传输的功能组件等进行标准研究,以及对元宇宙中潜在的、新兴的沉浸媒体数据格式提供灵活的传输/访问机制(如基于空间的媒体访问,基于视角的媒体传输)进行标准研究,以提高传输效率,减少终端开销,增加沉浸体验,满足不同的业务场景。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/87888.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

python递归实现逆序输出数字

一、问题描述 编程实现将输入的整数逆序输出 二、问题分析 逆序输出数字实际是一个数值问题的递归 三、算法设计 该问题要求输入任意一个整数,实现它的逆序输出。首先判断输入的整数是正整数还是负整数,如果是负整数, 则在逆序输出前应先…

使用埋点方式对应用监控

在指标监控的世界里,应用和业务层面的监控有两种典型手段,一种是在应用程序里埋点,另一种是分析日志,从日志中提取指标。埋点的方式性能更好,也更灵活,只是对应用程序有一定侵入性,而分析日志的…

【网络通信】socket编程——TCP套接字

TCP依旧使用代码来熟悉对应的套接字,很多接口都是在udp中使用过的 所以就不会单独把他们拿出来作为标题了,只会把第一次出现的接口作为标题 文章目录 服务端 tcp_servertcpserver.hpp(封装)初始化 initServer1. 创建socket2. 绑定 bindhtons —— 主机序…

C语言创建目录(文件夹)之mkdir

一、mkdir 说明&#xff1a;创建目录。 头文件库&#xff1a; #include <sys/stat.h> #include <sys/types.h>函数原型&#xff1a; int mkdir(const char *pathname, mode_t mode);mode方式&#xff1a;可多个权限相或&#xff0c;如0755表示S_IRWXU | S_IRGRP…

程序使用Microsoft.XMLHTTP对象请求https时出错解决

程序中使用Microsoft.XMLHTTP组件请求https时出现如下错误&#xff1a; 出错程序代码示例&#xff1a; strUrl "https://www.xxx.com/xxx.asp?id11" dim objXmlHttp set objXmlHttp Server.CreateObject("Microsoft.XMLHTTP") objXmlHttp.open "…

[保研/考研机试] KY180 堆栈的使用 吉林大学复试上机题 C++实现

题目链接&#xff1a; 堆栈的使用_牛客题霸_牛客网 描述 堆栈是一种基本的数据结构。堆栈具有两种基本操作方式&#xff0c;push 和 pop。其中 push一个值会将其压入栈顶&#xff0c;而 pop 则会将栈顶的值弹出。现在我们就来验证一下堆栈的使用。 输入描述&#xff1a; 对于…

mysql进阶篇(二)

前言 「作者主页」&#xff1a;雪碧有白泡泡 「个人网站」&#xff1a;雪碧的个人网站 「推荐专栏」&#xff1a; ★java一站式服务 ★ ★ React从入门到精通★ ★前端炫酷代码分享 ★ ★ 从0到英雄&#xff0c;vue成神之路★ ★ uniapp-从构建到提升★ ★ 从0到英雄&#xff…

四、Linux常用命令(一)

1、ls命令 (1)ls: list&#xff0c;列表。 (2)作用&#xff1a;使用列表把当前文件夹下所有文件显示出来。 (3)ls -a: 显示所有文件&#xff0c;包括隐藏文件。 (3)ls -l: 显示文件的详细信息。 (3)显示所有文件且显示详细信息&#xff0c;以下四种方式都可以。 ls -a -l…

初学vue3时应该注意的几个问题

初学vue3时应该注意的几个问题 声明响应式 响应式数据的声明在vue2的时候很简单&#xff0c;在data中声明就行了。但现在可以使用多个方式。 reactive用于声明Object, Array, Map, Set; ref用于声明String, Number, Boolean 使用reactive来声明基础数据类型&#xff08;Str…

QT网络编程之TCP

QT网络编程之TCP TCP 编程需要用到俩个类: QTcpServer 和 QTcpSocket。 #------------------------------------------------- # # Project created by QtCreator 2023-08-

leetcode169. 多数元素

题目 给定一个大小为 n 的数组 nums &#xff0c;返回其中的多数元素。多数元素是指在数组中出现次数 大于 ⌊ n/2 ⌋ 的元素。 你可以假设数组是非空的&#xff0c;并且给定的数组总是存在多数元素。 示例 示例 1&#xff1a; 输入&#xff1a;nums [3,2,3] 输出&#x…

小米基于 Flink 的实时计算资源治理实践

摘要&#xff1a;本文整理自小米高级软件工程师张蛟&#xff0c;在 Flink Forward Asia 2022 生产实践专场的分享。本篇内容主要分为四个部分&#xff1a; 发展现状与规模框架层治理实践平台层治理实践未来规划与展望 点击查看原文视频 & 演讲PPT 一、发展现状与规模 如上图…

jquery发送ajax练习

jquery发送ajax练习 工具代码运行结果 工具 HBuilder X 代码 <!DOCTYPE html> <html><head><meta charset"utf-8"><title>通过ajax进行图片的提取和显示</title><style>div{background-color: beige;color: red;font-s…

Java的switch语句块

说明 Java的switch语句块可以用于多个分支的判断执行。每个case分支执行完后&#xff0c;要么退出方法体&#xff08;用return语句&#xff09;、要么退出switch语句块&#xff08;用break语句&#xff09;、要么继续往下执行。但如果一个case执行完后&#xff0c;要继续执行下…

解决GitHub的速度很慢的几种方式

1. GitHub 镜像访问 这里提供两个最常用的镜像地址&#xff1a; https://hub.njuu.cf/search https://www.gitclone.com/gogs/search/clonesearch 也就是说上面的镜像就是一个克隆版的 GitHub&#xff0c;你可以访问上面的镜像网站&#xff0c;网站的内容跟 GitHub 是完整同步…

【C语言】实现通讯录(动态+文件)

目录 前言&#xff1a;一.创建多文件二.保存人的通讯录信息三.构建菜单 - test.c四.函数的声明五.函数的实现1.初始化通讯录2.增加指定联系人3.删除指定联系人4.查找指定联系人5.修改指定联系人6.排序联系人信息&#xff08;排序名字&#xff09;7.清理通讯录8.文件存盘 六.全部…

supervisor因为依赖安装失败的解决方法

安装FEATA时报错情况 下列软件包有未满足的依赖关系&#xff1a;supervisor : 依赖: python-pkg-resources 但是它将不会被安装依赖: python-meld3 但是它将不会被安装依赖: python:any (< 2.8)依赖: python:any (> 2.7.5-5~) E: 无法修正错误&#xff0c;因为您要求某些…

elasticsearch 基础

ES 搜索技术历史 今天看的是《Elasticsearch实战与原理解析》 第一章 搜索技术发展史 1、搜索技术发展史 宏观而言&#xff0c;搜索引擎的发展经历了五个尖端和两大分类。五个阶段分别是ftp文件检索阶段、分类目录阶段、文本相关性检索阶段、网页链接分析阶段和用户意图识别…

nodejs+vue+elementui健康饮食美食菜谱分享网站系统

本系统采用了nodejs语言的vue框架&#xff0c;数据采用MySQL数据库进行存储。结合B/S结构进行开发设计&#xff0c;功能强大&#xff0c;界面化操作便于上手。本系统具有良好的易用性和安全性&#xff0c;系统功能齐全&#xff0c;可以满足饮食分享管理的相关工作。 语言 node.…

SpringBoot06---前端路由VueRouter

单页面应用&#xff0c;意思是只有一个html&#xff0c;变化的内容是不同组件进行切换&#xff0c;每个组件加载网络请求&#xff0c;渲染对应的数据&#xff0c;这个内容就是学习怎么完成组件切换 以网易云音乐为例&#xff1a; 网易云音乐 (163.com) 现在无需注册&#xf…