调研-音视频

音视频

  • 基础概念
  • 主要内容
    • 音频
      • 基础概念
      • 音频量化过程
      • 音频压缩技术
    • 视频
      • 基础概念
      • 视频bug
      • 视频编码
        • H264
      • 视频像素格式
        • YUV
        • RGB
  • 参考文献

基础概念

● 实时音视频应用环节
○ 采集、编码、前后处理、传输、解码、缓冲、渲染等很多环节。

主要内容

音频

基础概念

  • 三要素:音调(音频)、音量、音色
  • 工具:ffmpeg、ffplay、flashplayer
  • 听觉范围:20HZ~20KHZ,可以听见的

音频量化过程

  • 音频量化过程
    • 模拟信号(连续)

    • 采样:在一段时间内等间隔地获取模拟信号的幅度值,得到一系列采样点。

      • 采样率(Sample Rate)决定了每秒钟对模拟信号进行采样的次数,常见的采样率有44.1 kHz、48 kHz等。较高的采样率可以更准确地还原原始声音,但也会增加数据量。
      • 采样大小:即采样的纵坐标对应值,表示一个采样用多少位存放。
    • 量化:为了更高效地保存和传输每个采样点的数值,将这些振幅值进行规整,这一过程称为量化。

      • 量化精度:量化的精度等于相邻两个整数所表示的实数的差值(标准),如果两个实数之间的差距小于这个差值,他们便会被量化为同一个整数。(图像变化:连续的信号最后被转变为了阶梯状的图像)
      • 量化的过程会损失一定的精度,按照精度可以将量化分为8位量化、16位量化、32位量化等。
    • 编码

      • 将量化后离散整数序列转化为计算机实际储存所用的二进制字节序列的过程叫做音频编码。反之,将二进制字节恢复成音频信号的过程称为解码。
    • 在这里插入图片描述

    • 码率(/音频的比特率)
      - 指 每秒传输的音频的比特数。单位:bps。
      - 计算公式=采样率 x 采样大小 (位数)x 声道数。

音频压缩技术

  • 音频压缩技术基础概念
    • 数字音频信号中存在冗余信息,对这些冗余成份进行去除可以降低传输带宽,提高效率。
    • 冗余信息:人耳听觉范围外的音频信号以及被掩蔽掉的音频信号等。
    • 人耳听觉范围之外:20Hz~20KHz之外。
    • 掩蔽效应:
      • 频谱掩蔽效应:一个频率的声音能量小于某个阈值之后,人耳就会听不到,这个阈值称为最小可闻阈。当有另外能量较大的声音出现的时候,该声音频率附近的阈值会提高很多,即所谓的掩蔽效应。
      • 时域掩蔽效应:当强音信号和弱音信号同时发生或发生时间很接近的时候,会发生掩蔽效应,分为前掩蔽、同时掩蔽和后掩蔽三部分。
        • 前掩蔽是指人耳在听到强信号之前的短暂时间内,已经存在的弱信号会被掩蔽而听不到。
        • 同时掩蔽是指当强信号与弱信号同时存在时,弱信号会被强信号所掩蔽而听不到。
        • 后掩蔽是指当强信号消失后,需经过较长的一段时间才能重新听见弱信号,称为后掩蔽。这些被掩蔽的弱信号即可视为冗余信号。
  • 压缩类型
    • 有损压缩(还原回来的数据和原数据不一样):消除冗余的数据
    • 无损压缩:以哈夫曼无损编码为代表。
  • 压缩编码方式
    • 基本编码思路
      • 在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/403292.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

算法的学习笔记—链表中倒数第 K 个结点(牛客JZ22)

😀前言 在编程过程中,链表是一种常见的数据结构,它能够高效地进行插入和删除操作。然而,遍历链表并找到特定节点是一个典型的挑战,尤其是当我们需要找到链表中倒数第 K 个节点时。本文将详细介绍如何使用双指针技术来解…

8.16 day bug

bug1 题目没看仔细 额外知识 在 Bash shell 中,! 符号用于历史扩展功能。当你在命令行中输入 ! 后跟一些文本时,Bash 会尝试从你的命令历史中查找与该文本相匹配的命令。这是一种快速重用之前执行过的命令的方法。 如何使用历史扩展 基本用法: !strin…

利用亚马逊云科技Bedrock和LangChain开发AI驱动数据分析平台

项目简介: 小李哥将继续每天介绍一个基于亚马逊云科技AWS云计算平台的全球前沿AI技术解决方案,帮助大家快速了解国际上最热门的云计算平台亚马逊云科技AWS AI最佳实践,并应用到自己的日常工作里。 本次介绍的是如何在亚马逊云科技上SageMak…

一次现网redis CPU使用率异常定位

背景 618大促前,运维对系统做巡检时发现redis cpu利用率白天基本保持在72%左右,夜里也在60%以上。担心618流量比平时大,导致redis超负荷,因此找开发进行优化,降低redis的负载。 定位思路 其实资源使用率过高定位都…

Taro+Vue 创建微信小程序

TaroVue 创建微信小程序 一、全局安装 tarojs/cli二、项目初始化三、现在去启动项目吧 一、全局安装 tarojs/cli npm install -g tarojs/cli //安装 npm info tarojs/cli //查看安装信息 如果正常显示版本说明成功了,就直接跳到第二步吧官网说:…

Unity引擎基础知识

目录 Unity基础知识概要 1. 创建工程 2. 工程目录介绍 3. Unity界面和五大面板 4. 游戏物体创建与操作 5. 场景和层管理 6. 组件系统 7. 脚本语言C# 8. 物理引擎和UI系统 学习资源推荐 Unity引擎中如何优化大型游戏项目的性能? Unity C#脚本语言的高级编…

【ML】Image Augmentation)的作用、使用方法及其分类

图像增强(Image Augmentation)的作用、使用方法及其分类 1. 图像增强的定义2. 图像增强的作用3. 什么时候使用图像增强?4. 图像增强详细方法分类梳理4.1 图像增强方法列表4.2 边界框增强方法5. 参考资料 yolov3(一:模型…

K8S资源之PVPVC

概念 类似于Docker的数据卷挂载,将Pod中重要的文件挂载到宿主机上,如果Pod发生崩溃等情况自愈时,保证之前存储的数据没有丢失。 如上图中,将各个Pod中的目录挂载到存储层,如果Pod宕机后自愈均从存储层获取之前的数据…

00_remipi_软件评估记录

1.CPU 1.1 查看CPU信息命令 cat /proc/cpuinfo * processor: 系统中逻辑处理核心的编号,对于多核处理器则可以是物理核,或者使用超线程技术虚拟的逻辑核。 BogoMIPS: 在系统内核启动时粗略测算的CPU每秒运行百万条指令数(Million Instruct…

Selenium 自动化测试平台

1.介绍 Selenium 是一套 Web网站 的程序自动化操作 解决方案。 通过它,我们可以写出自动化程序,像人一样在浏览器里操作web界面。 比如点击界面按钮,在文本框中输入文字 等操作。 而且还能从web界面获取信息。 比如获取 火车、汽车票务信息…

网络编程,网络协议,UDP协议

网络: 1.协议:通信双方约定的一套标准 2.国际网络通信协议标准: 1.OSI协议: 应用层 发送的数据内容 表示层 数据是否加密 会话层 是否建立会话连接 传输层 …

mpls静态lsp实验

实验需求 R1、R2和R3之间已经部署了IGP协议,故192.168.10.0/24与192.168.20.0/24网络之间已经能够互访。现要求通过配置 静态LSP,使得这两个网络之间能基于MPLS进行互访,标签分配如图 组网图 实验思路 1、R1、R2和R3之间已经部署了IGP协议…

泰坦尼克号 - 从灾难中学习机器学习/Titanic - Machine Learning from Disaster(kaggle竞赛)第二集(加载数据)

此次目的: hello大家好,俺是没事爱瞎捣鼓又分享欲爆棚的叶同学!!!准备出几期博客来记录我学习kaggle数据科学入门竞赛的过程,顺便也将其中所学习到的知识分享出来。这是第一集(了解赛题&#x…

宝塔部署Django项目(华为云)

1、登录华为云: 2、点击远程登录: 3、打开宝塔网址(华为云选的是centos) 4、在华为终端复制指令点击运行: 会显示安装完成,出现一个页面记录一下,方便以后登录: 5、复制外网面板地…

【Linux线程】线程的深度解析(线程是什么?线程与进程区别是什么?)

目录 一、前言 二、 什么是线程 💧线程的引入💧 💧线程的基本概念 💧 💧线程的理解 💧 💧进程与线程的关系💧 💧程序如何划分(重拾页表、见一下LWP&…

基于springboot养老院管理系统pf

TOC springboot332基于springboot养老院管理系统pf 第1章 绪论 1.1选题动因 当前的网络技术,软件技术等都具备成熟的理论基础,市场上也出现各种技术开发的软件,这些软件都被用于各个领域,包括生活和工作的领域。随着电脑和笔记…

Python实战项目:天气数据爬取+数据可视化(完整代码)

一、选题的背景 随着人们对天气的关注逐渐增加,天气预报数据的获取与可视化成为了当今的热门话题,天气预报我们每天都会关注,天气情况会影响到我们日常的增减衣物、出行安排等。每天的气温、相对湿度、降水量以及风向风速是关注的焦点。通过…

实战OpenCV之图像显示

基础入门 OpenCV提供的功能非常多,图像显示是最基础也是最直观的一部分。它让我们能够直观地看到算法处理后的效果,对于调试和验证都至关重要。在OpenCV中,图像显示主要依赖于以下四个关键的数据结构和函数。 1、Mat类。这是OpenCV中最基本的…

LeetCode - LCR 146- 螺旋遍历二维数组

LCR 146题 题目描述: 给定一个二维数组 array,请返回「螺旋遍历」该数组的结果。 螺旋遍历:从左上角开始,按照 向右、向下、向左、向上 的顺序 依次 提取元素,然后再进入内部一层重复相同的步骤,直到提取完…