杜比全景声——空间音频技术

  • 什么是杜比?
  • 是否是标清、高清、超清之上的更清晰的格式?
  • 杜比全景声 和传统多声道立体声的差别?
  • 杜比全景声音频的渲染方式?
  • 车载平台上杜比技术的应用?
  1. 杜比技术的起源

  • 杜比实验室(Dolby Laboratories)是一家总部位于美国的公司,由雷·杜比(Ray Dolby)于1965年在英国伦敦创立。雷·杜比是一位物理学家和电子工程师,他的目标是改进录音质量。他的第一个发明是杜比降噪系统,这是一种可以显著减少磁带录音中背景噪声的技术。
  • 2010年6月,杜比推出了杜比7.1环绕声(Dolby Surround 7.1),并在全球范围建立起与影院的合作,推出配置7.1环绕音箱的杜比影厅
  • 杜比全景声(Dolby Atmos)是杜比实验室于2012年推出的高级环绕声标准,用于电影院,通过将前置、侧置、后置和天空扬声器加上复杂的音频处理和算法相结合,提供高达最高64声道的环绕声,增加空间沉浸感
  1. 杜比技术的应用

杜比的技术在电影制作中尤其重要。杜比数字(Dolby Digital)是一种音频压缩技术,它使得电影制作人可以在电影中使用更丰富、更逼真的声音。杜比全景声(Dolby Atmos)则进一步提升了这种体验,它允许声音在三维空间中移动,给观众带来沉浸式的体验。

  1. 杜比的三大核心技术

  • 杜比数字(Dolby Digital): 一种音频压缩技术,比如AC-3格式,将6个声道的数据压缩到一个数据流中。应用于DVD、蓝光光盘;
  • 杜比全景声 (Dolby Atoms): 音频领域革命性的技术,彻底摒弃传统声道概念,将声音视为“对象”,在三维空间自由移动,从而模拟逼真的场景。应用在电影、电视和音乐制作;
  • 杜比视界(Dolby Vision): 高动态范围(HDR)视频技术,提供更亮、更暗、更丰富的颜色。主要用于投影和高端电视。
  1. 基础概念科普

4.1 音频编码技术

PCM 是指脉冲编码调制(Pulse Code Modulation),是数字通信的编码方式之一,是一种将模拟信号数字化的方法。主要过程是将话音等模拟信号每隔一定时间进行取样,使其离散化,同时将抽样值按分层单位四舍五入取整量化,同时将抽样值按一组二进制码来表示抽样脉冲的幅值。

我们熟悉的MP3、AAC、OPUS通常都是基于PCM进行压缩编码的格式

4.2 声道(Channel)/声床(Bed)

声道(Sound Channel ): 是指声音在录制或播放时在不同空间位置采集或回放的相互独立的音频信号,所以声道数也就是声音录制时的音源数量或回放时相应的扬声器数量。声床是制作端对于声道的对应说法。

4.2.1 1维音频

基于单声道的PCM编码,我们称为一维音频

4.2.2 2维音频

用两个不同的PCM进行双声道播放,可以称为二维音频

4.2.3 2.5维音频

多个声道进行播放,即为2.5维音频

2.5维音频常见的配置有:

  • 5.1声道: 表示有五个普通声道+1个低音声道:

  • 7.1:7个普通声道+1个低音声道

超重低音声道提供20-120Hz的声音

4.1.4 3维音频

引入天空声道,即为3维音频

  • 代表性的是7.1.4: 7个平面声道+1个低音声道+4个天空声道

  • 9.1.6: 9个平面声道+1个低音声道+6个天空声道

x.y.z的涵义:

  • x通常代表耳平面的传统环绕声道的数量(如前置、中置、环绕);
  • y代表低音声道的数量,虽然我们见到的大多都是1,但在“多炮”的扬声器排布下,甚至可以提高到4个或更多低音扬声器,在更大的空间中实现理想的低频响应;
  • z代表天空声道的数量,天空(或称高度)声道的存在使得扬声器排布从平面提升为立体,能够通过响度和时间差的调整,控制声像在三维空间中的方向。

传统声道的概念还是基于左右两声道完成,每个声音元素的发声点局限在空间中相对固定的声道/扬声器中,要求声道数量和摆放位置完全一样

在飞机飞过的时候,音量、频率、延时等等都会发生变化

4.1.5 立体声音效发展历程

4.3 声音对象(Object)

声音不再局限于声道或者音箱,可以自由摆放在虚拟的三维空间中的任意位置,可以按照设计的轨迹进行运动。

设计好每个对象的轨迹之后,这些对象的位移信息再由渲染器进行计算出哪个音箱要出多大声或者要延迟多少ms才能使得某个声音元素听起来像是它本来应该在的位置。

这种概念的引入使得回放系统的配置更加灵活,这样一来不论是简单的Soundbar,或者耳机,或者5.1.2、9.3.6的家庭影院,都可以通过计算而渲染出全景声音效

Pan-through array: The sound can travel through each speaker placed around and above the audience as it moves across the cinema, in what’s called a pan-through array.

优点:

  • 全景特效:声音更真实,更立体
  • 兼容性高:不需要Care具体的播放设备的规格、数量及设备的摆放,都能达到同样的效果
  1. 杜比全景声的产生过程

解码方式:

  1. 直通(Passthrough): 指电视或投影或机顶盒——不对音轨进行任何解码,直接将原音频数据传输给回音壁或者功放。一台机器想要支持源码输出,需要经过杜比和DTS的授权认证。

  2. 解码: 指将Dolby AtmoS的音频信息在电视或投影或机顶盒端先完成解码再映射到回音壁的方式。由于杜比公司有专利保护,任何想要解码的硬件或软件播放器,都需要向杜比支付授权费才能获得解码密钥。这也是很多设备并不支持的自己解码的原因。

  3. 转码: 指播放Dolby Atmos的设备或软件本身不是直连回音壁,还需要将声音传给中间商。此时会把音频打包转码成普通的LPCM音频格式,在这个过程中会丢失的是全景声的元数据。就不再是7.1.2而上7.1声道。效果也是有损的

  4. 双耳渲染

6.1 头部跟踪

头部跟踪的必要性是一个大话题,为了更清晰地认知头部跟踪的必要性,我们需要了解人对于声音方位感的感知原理。人们对声音方位感的判断主要有4个依据:时间差、声级差、人体滤波效应和头部晃动

  1. 时间差(Interaural Time Difference, ITD):

声音到达双耳的距离不一样,时间不一样,会有延时

  1. 声级差(Interaural Level Difference, ILD):

由于双耳和音源的距离差异,也会造成此外,头部的遮挡,也会使得到达左耳与右耳声音的声压级是不同的,进一步形成声级差。

不同频率的声波会发生衍生的效果也不一样

  1. 人体滤波效应:

人的头部、肩颈、躯干,会对来自不同方向的声音产生不同的作用,形成反射、遮挡或衍射。

大脑通过这些不同的滤波效果产生对声源方位的判断,这就是著名的头部相关传输函数——HRTFs (Head-Related Transfer Functions)。

  1. 头部的晃动:

当一个声源的位置难以判断的时候,人们常常会不自觉的轻微晃动头部,使时间差、声级差或人体滤波效应产生变化,并依据这些变化进行快速的重新定位

在现实中,声源位于三维的空间中,通常都需要我们综合时间差、声级差、人体滤波效应这三个要素可以被综合的表述为头部相关传输函数(Head-Related Transfer Functions, HRTFs),这项技术构成了绝大部分三维声定位技术的基础。头部晃动虽然并不是一个决定性因素,但是无论在哪个方向上,都对我们判断声源的位置有着极大地帮助

6.2 双耳渲染

室内声场有3个组成部分:直达声、早期反射声和混响声。人们对于声音的空间感主要是依据早期反射声和混响声来建立的。

  1. 直达声

声音直接穿到人耳所感知到的声音

  1. 反射声

声音通过回音壁和障碍物经过多次反射进入人耳所感知到声音

  1. 混响声

声音在空间中不断反射、衰减,形成了均匀、密集的混响声,与直达声、反射声共同建立起室内声场。这是一个经过多次反射的、没有方向性的声音,当然没有方向性也就是说它会来自三维空间内的各个方向。

6.3 声音的采集

目前移动设备拥有最大用户基群,耳机成为主要的播放场景。双耳信号回放的终极目标就是在听音者鼓膜处再现与实际听音环境相同的声学信号

常见的有两种采集方式:

  1. 在同一位置进行录音和回放(Dummy Head人头录音)

这种方式缺点显而易见,制约了现代音乐产业中的混音工作,不适合非现场演出的录音和回放

  1. 采取“计算音频”的方式,模拟在真实听音环境中聆听一个或多个真实扬声器的听觉体验

从理论上来说,只要模拟足够精确,双耳重放应该完全可以重现多个扬声器的听感(不包括其他感官),毕竟人的耳朵本身也是双声道的

  1. 移动设备的杜比全景声回放

对于用户终端对于杜比全景声的回放处理,下面先看一张表,这张表整理了各个流媒体平台在各个硬件终端上对于杜比全景声的处理方式,表中撰写的状态,是APP从云端下发给终端设备的音源的规格

AtmosAndroidiOSWIndowsMacTV* (For AVR)
Apple MusicEAC3-JOC 768kbpsEAC3-JOC 768kbpsEAC3-JOCEAC3-JOC
QQ音乐AC4-IMS 256kbps双耳渲染EAC3-JOC 448kbps
网易云音乐双耳渲染EAC3-JOC 768kbps
Apple TVEAC3-JOC 768kbps7.1.4EAC3-JOC
爱奇艺5.1(部分厂商)双耳渲染立体声立体声EAC3-JOC
优酷双耳渲染双耳渲染立体声立体声立体声
腾讯视频双耳渲染多声道立体声立体声EAC3-JOC
Bilibili双耳渲染多声道立体声立体声立体声
本地音视频APP√(Android 13)

可以看到,各大终端里,只有Apple在自己的硬软件生态内保持了相对原始的声道信息,亦即保留了更多的空间信息。

从2020年开始,安卓厂商们还陆续往手机里集成了Dolby格式的解码器,配合着杜比的效果调试(包扩DRC,人声增强,响度均衡,频响调整,声道互馈等),就统称为“杜比全景声”。

  1. 杜比全景声的制作

渲染流程:

制作过程:

  1. Eletre中的杜比

路特斯 lambda 配置豪华的座舱 音响系统

  • 选用英国品牌KEF,两个配置:

    • 2D配置支持15扬,7.1全景声,额定功率1400W
    • 3D配置支持23扬,7.1.4全景声,额定功率2120W。
  • 需要刷杜比Key才能使用,杜比Key是杜比官方授权密钥,不安装不能播放。565和台架均不能播放

  • 杜比全景声内容:主要包括杜比介绍视频、QQ音乐+索尼高品质的7.1.4音乐展示、音乐播放器、音乐播放的信

息展示及控制(HUD显示、语音控制、方控等)、整车声音设置的杜比全景声的试听及

app入口。

  • 杜比播放器也叫高品质音乐,英文名是:HYPER Music,图标如下:

杜比App主界面:

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/374203.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

使用linux的mail命令发送html格式的邮件

1、关闭本机的sendmail服务或者postfix服务 #执行下面的命令,各位大侠都对号入座吧 #sendmial service sendmail stop chkconfig sendmail off #postfix service postfix stop chkconfig postfix off#再狠一点就直接卸载吧.. yum remove sendmail yum remove postf…

neo4j 图数据库:Cypher 查询语言、医学知识图谱

neo4j 图数据库:Cypher 查询语言、医学知识图谱 Cypher 查询语言创建数据查询数据查询并返回所有节点查询并返回所有带有特定标签的节点查询特定属性的节点及其所有关系和关系的另一端节点查询从名为“小明”的节点到名为“小红”的节点的路径 更新数据更新一个节点…

Golang | Leetcode Golang题解之第228题汇总区间

题目&#xff1a; 题解&#xff1a; func summaryRanges(nums []int) (ans []string) {for i, n : 0, len(nums); i < n; {left : ifor i; i < n && nums[i-1]1 nums[i]; i {}s : strconv.Itoa(nums[left])if left < i-1 {s "->" strconv.It…

「媒体邀约」上海请媒体的费用

传媒如春雨&#xff0c;润物细无声&#xff0c;大家好&#xff0c;我是51媒体网胡老师。 上海无疑是最具活动的城市之一&#xff0c;各种大大小小的论坛、发布会、展览展会应接不暇&#xff0c;那么在上海做活动想邀请媒体进行宣传报道&#xff0c;需要多少费用呢&#xff1a;…

阅读笔记——《Fuzz4All: Universal Fuzzing with Large Language Models》

【参考文献】Xia C S, Paltenghi M, Le Tian J, et al. Fuzz4all: Universal fuzzing with large language models[C]//Proceedings of the IEEE/ACM 46th International Conference on Software Engineering. 2024: 1-13.【注】本文仅为作者个人学习笔记&#xff0c;如有冒犯&…

U-net和U²-Net网络详解

目录 U-Net: Convolutional Networks for Biomedical Image Segmentation摘要U-net网络结构pixel-wise loss weight U-Net: Going Deeper with Nested U-Structure for Salient Object Detection摘要网络结构详解整体结构RSU-n结构RSU-4F结构saliency map fusion module -- 显著…

线性代数|机器学习-P22逐步最小化一个函数

文章目录 1. 概述2. 泰勒公式3. 雅可比矩阵4. 经典牛顿法4.1 经典牛顿法理论4.2 牛顿迭代法解求方程根4.3 牛顿迭代法解求方程根 Python 5. 梯度下降和经典牛顿法5.1 线搜索方法5.2 经典牛顿法 6. 凸优化问题6.1 约束问题6.1 凸集组合 Mit麻省理工教授视频如下&#xff1a;逐步…

科普文:Java对象在堆中的内存结构

概叙 今天来讲些抽象的东西 -- 对象头&#xff0c;因为我在学习的过程中发现很多地方都关联到了对象头的知识点&#xff0c;例如JDK中的 synchronized锁优化 和 JVM 中对象年龄升级等等。 对象内存构成# Java 中通过 new 关键字创建一个类的实例对象&#xff0c;对象存于内存的…

从零开始学习嵌入式----C语言框架梳理与后期规划

目录 一、环境搭建. 二、见解 三、C语言框架梳理 四、嵌入式学习规划流程图&#xff08;学习顺序可能有变&#xff09; 一、环境搭建. C语言是一门编程语言&#xff0c;在学习的时候要准备好环境。我个人比较喜欢用VS,具体怎么安装请百度。学习C语言的时候&#xff0c;切忌…

使用来此加密申请多域名SSL证书

在数字化时代的浪潮中&#xff0c;网站的安全性已成为企业和个人不可或缺的一部分。特别是在数据传输和用户隐私保护方面&#xff0c;SSL证书的作用愈发显著。 申请多域名SSL证书步骤 1、登录来此加密网站&#xff0c;输入域名&#xff0c;可以勾选泛域名和包含根域。 2、选择…

Apache Hadoop之历史服务器日志聚集配置

上篇介绍了Apache Hadoop的分布式集群环境搭建&#xff0c;并测试了MapReduce分布式计算案例。但集群历史做了哪些任务&#xff0c;任务执行日志等信息还需要配置历史服务器和日志聚集才能更好的查看。 配置历史服务器 在Yarn中运行的任务产生的日志数据不能查看&#xff0c;…

一套基于 Ant Design 和 Blazor 的开源企业级组件库

前言 今天大姚给大家分享一套基于Ant Design和Blazor的开源&#xff08;MIT License&#xff09;、免费的企业级组件库&#xff08;喜欢Ant Design风格的同学推荐使用&#xff09;&#xff1a;Ant Design Blazor。 项目特性 提炼自企业级中后台产品的交互语言和视觉风格。 开…

Qt:15.布局管理器(QVBoxLayout-垂直布局、QHBoxLayout-水平布局、QGridLayout-网格布局、拉伸系数,控制控件显示的大小)

目录 一、QVBoxLayout-垂直布局&#xff1a; 1.1QVBoxLayout介绍&#xff1a; 1.2 属性介绍&#xff1a; 1.3细节理解&#xff1a; 二、QHBoxLayout-水平布局&#xff1a; 三、QGridLayout-网格布局&#xff1a; 3.1QGridLayout介绍&#xff1a; 3.2常用方法&#xff1a…

git查看版本,查看安装路径、更新版本

git version 查看版本 git update-git-for-windows 更新版本 git version 查看版本

江波龙 128G msata量产

一小主机不断重启&#xff0c;用DG格式化 无法完成&#xff0c;应该是有坏块了 找一个usb转msata转换板 查了一下是2246en aa主控 颗粒应该是三星的 缓存是现代的 找到量产工具sm22XMPToolP0219B 打开量产工具 用镊子先短接一下jp1 插入usb口&#xff0c;再拿走镊子 scan …

【Pytorch】RNN for Image Classification

文章目录 1 RNN 的定义2 RNN 输入 input, h_03 RNN 输出 output, h_n4 多层5 小试牛刀 学习参考来自 pytorch中nn.RNN()总结RNN for Image Classification(RNN图片分类–MNIST数据集)pytorch使用-nn.RNN 1 RNN 的定义 nn.RNN(input_size, hidden_size, num_layers1, nonlinea…

3D云渲染工具对决:Maya与Blender的性能和功能深度比较

3D建模和动画制作已成为数字领域不可或缺的一环&#xff0c;无论是在影视特效的震撼场面&#xff0c;还是在游戏角色的生动表现&#xff0c;3D技术都扮演着至关重要的角色。而在这一领域&#xff0c;Maya和Blender这两款软件&#xff0c;以其强大的功能和广泛的应用&#xff0c…

COMe Type6核心板:基于飞腾FT2000/D2000的全国产化标准板卡

目前采用了国产飞腾处理器的COMe核心板开发的比较多&#xff0c;各家都有属于自己的基于COM Express标准设计的模块化计算板卡。COM Express是一种标准化的嵌入式计算模块&#xff0c;用于将处理器、内存和外围设备控制器等关键组件集成在一个小型的板卡上&#xff0c;便于快速…

FUSE(用户空间文件系统)命令参数

GPT-4 (OpenAI) FUSE (Filesystem in Userspace)是一个允许创建用户空间文件系统的接口。它提供了一个API&#xff0c;让开发者在未修改内核代码的情况下&#xff0c;通过自己的程序实现文件系统。FUSE 文件系统通常通过 mount 命令来挂载&#xff0c;而且这个命令可以接受各…

【Docker-compose】搭建php 环境

文章目录 Docker-compose容器编排1. 是什么2. 能干嘛3. 去哪下4. Compose 核心概念5. 实战 &#xff1a;linux 配置dns 服务器&#xff0c;搭建lemp环境&#xff08;Nginx MySQL (MariaDB) PHP &#xff09;要求6. 配置dns解析配置 lemp Docker-compose容器编排 1. 是什么 …