AV1技术学习: Compound Prediction

一、双向 Compound Prediction

AV1支持两个参考帧的预测通过多种复合模式线性组合。复合预测公式为

其中,权重m(x, y) is scaled by 64 以进行整数计算,R1(x, y)和R2(x, y)表示两个参考块中位于(x, y)的像素。P(x, y)将按比例缩小 1/64 以形成最终的预测。 

1. Distance weighted prediction

让 d1 和 d2 分别表示当前帧与其两个参考帧之间的时间距离。权值 m(x, y) 由 d1 和 d2 的相对值决定。假设 d1≤d2,则权重定义为

 当d1≥d2时,分布是对称的。

2. Average predictor

距离加权预测的一种特殊情况,两个参考的权重相等,即 m(x, y) = 32。

3. Difference weighted predictor

加权系数是基于两个参考像素之间的差异逐像素计算。当像素差超过一定阈值时,每个编码块发送一个二进制符号来决定哪个参考块占上风

注意,m(x, y)的上限为[0,64]。

4. Wedge mode

为每个符合条件的块大小预设了一组16个系数数组。将编码块分成两个子区域,并以不同的斜角。M (x, y)在大分区设置为64,在另一个分区设置为0,除了在过渡边缘附近,从64逐渐变为0,在实际边缘处为32。

我们使用下图来演示复合选项及其效果。为了实现其潜在的编码增益,众多的复合模式增加了大量的编码复杂性。尤其对于运动估计过程,因为每个参考块都与自己的运动向量相关联。同时对给定复合模式的两个运动向量进行优化,使得搜索空间呈指数级增长。先前的研究提出了一种联合搜索方法,迭代地固定一个运动向量,搜索另一个运动向量,直到结果收敛,可以显著减少复合模式的运动向量搜索点的数量。

二、单向 Compound Prediction 

AV1 支持的单个参考帧的 Compound Prediction 模式,包括包括重叠块运动补偿和 inter-intra 组合 prediction 模式。

1. Overlapped block motion compensation

重叠块运动补偿(Overlapped block motion compensation)利用直接空间邻居的运动信息来提高其顶部和左侧边界附近像素的预测质量,其中真实的运动轨迹与两侧的运动向量相关
首先扫描上侧相邻块,并找到最多四个与当前块具有相同参考帧的相邻块作为参考块,如下图 (a) 所示,并且相邻块根据扫描顺序所标记。使用每个选定的参考块的运动矢量来生成从上边界向当前块的中心延伸的运动补偿块。其宽度与参考块宽度相同,高度为当前块高度的一半,如下图 (a) 所示。

 中间区域融合结果为

其中 R1(x, y) 是使用当前块的运动向量 mv0 在位置(x, y)处的原始运动补偿像素,Rabove(x, y)是来自重叠参考块的像素。权值m(x, y)遵循一个升余弦函数,如下图所示,其中y = 0,1,…,H/2−1为行索引,H为当前块高度。

  H = 16 时的权重分布如下图所示。

接下来,该方案对左侧相邻块进行处理,提取可用的运动向量,并构建从左边界向中心延伸的重叠参考块,如图 (b) 所示。

 最终预测计算为:

 其中Rleft(x, y)是左侧重叠参考块的像素。权值m(x, y)是列索引x的升余弦函数

 式中x = 0,1 …,W/2−1,W为当前块宽度

2. Compound inter–intra-predictor

该模式结合了帧内预测和 translational interprediction块。其中帧内预测在 DC、垂直、水平和 Smooth 模式中。这种组合可以通过类似于上述复合夹层的楔形掩模或一个预设系数集来实现,该系数集沿其预测方向逐渐减小预测内权重。每个模式预设权重系数的示例如下图所示:

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/378809.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

taocms 3.0.1 本地文件泄露漏洞(CVE-2021-44983)

前言 CVE-2021-44983 是一个影响 taoCMS 3.0.1 的远程代码执行(RCE)漏洞。该漏洞允许攻击者通过上传恶意文件并在服务器上执行任意代码来利用这一安全缺陷。 漏洞描述 taoCMS 是一个内容管理系统(CMS),用于创建和管…

使用 ABBYY FineReader PDF 15 在创建或转换 PDF 时自动生成书签

使用 ABBYY 为 PDF 文件添加书签,可以帮助快速定位文档中的主要内容,也能更方便的梳理出一份文档大纲。 有很多 PDF 文件在创建时并没有编辑书签,这里介绍使用 ABBYY FineReader PDF 15(Win 系统)在 PDF 中自动添加书…

Windows上LabVIEW编译生成可执行程序

LabVIEW项目浏览器(Project Explorer)中的"Build Specifications"就是用来配置项目发布方法的。在"Build Specifications"右键菜单中选取"New",可以看到程序有几种不同的发布方法:Application(EXE)、Installer、.Net Inte…

EasyPhoto - 一键训练并生成人像写真,支持参考图生成 独立版 本地一键整合包下载

EasyPhoto最早是作为AI绘画软件StableDiffusion的一款插件备受大家喜爱,今天分享的是 EasyPhoto 的独立版本一键整合包,无需安装StableDiffusion即可解压即用。 和之前分享的腾讯开源的 PhotoMaker 和 阿里开源的 FaceChain 类似,EasyPhoto操…

数据库系统概论:数据库系统模式

数据库系统在我们的数字世界中扮演着至关重要的角色,无论是个人设备还是企业级应用,数据的有效管理和访问都是必不可少的。而数据库系统的模式结构是确保数据一致性和可访问性的关键组成部分。 数据库系统模式 基本概念 型和值 数据模型中有 型(type…

网络开局 与 Underlay网络自动化

由于出口和核心设备 部署在核心机房,地理位置集中,业务复杂,开局通常需要网络工程师进站调测。 因此核心层及核心以上的设备(包含核心层设备,旁挂独立AC设备和出口设备)推荐采用WEB网管开局方式或命令行开局方式。 核心以下的设备(包含汇聚层设备、接入层设备和AP)由于数量众…

MySQL第一次作业

一、库的建立 mysql> show databases; -------------------- | Database | -------------------- | information_schema | | mydb2_stuinfo | | mydb3_employee | | mydb4_product | | mydbl_test | | mysql | | performance…

【Java项目笔记】01项目介绍

一、技术框架 1.后端服务 Spring Boot为主体框架 Spring MVC为Web框架 MyBatis、MyBatis Plus为持久层框架,负责数据库的读写 阿里云短信服务 2.存储服务 MySql redis缓存数据 MinIO为对象存储,存储非结构化数据(图片、视频、音频&a…

Java中的迭代器(Iterator)

Java中的迭代器(Iterator) 1、 迭代器的基本方法2、 迭代器的使用示例3、注意事项4、克隆与序列化5、结论 💖The Begin💖点点关注,收藏不迷路💖 在Java中,迭代器(Iterator&#xff0…

Kafka 高并发设计之数据压缩与批量消息处理

《Kafka 高性能架构设计 7 大秘诀》专栏第 6 章。 压缩,是一种用时间换空间的 trade-off 思想,用 CPU 的时间去换磁盘或者网络 I/O 传输量,用较小的 CPU 开销来换取更具性价比的磁盘占用和更少的网络 I/O 传输。 Kafka 是一个高吞吐量、可扩展…

240717.LeetCode——2974.最小数字游戏

题目描述 你有一个下标从 0 开始、长度为 偶数 的整数数组 nums ,同时还有一个空数组 arr 。Alice 和 Bob 决定玩一个游戏,游戏中每一轮 Alice 和 Bob 都会各自执行一次操作。游戏规则如下: 每一轮,Alice 先从 nums 中移除一个 …

Spring Security之安全异常处理

前言 在我们的安全框架中,不管是什么框架(包括通过过滤器自定义)都需要处理涉及安全相关的异常,例如:登录失败要跳转到登录页,访问权限不足要返回页面亦或是json。接下来,我们就看看Spring Sec…

llama-index,uncharted and llama2:7b run locally to generate Index

题意:本地运行 llama-index、uncharted 以及 llama2:7b 来生成索引 问题背景: I wanted to use llama-index locally with ollama and llama3:8b to index utf-8 json file. I dont have a gpu. I use uncharted to convert docs into json. Now If it …

抖音短视频seo矩阵系统源码(搭建技术开发分享)

#抖音矩阵系统源码开发 #短视频矩阵系统源码开发 #短视频seo源码开发 一、 抖音短视频seo矩阵系统源码开发,需要掌握以下技术: 网络编程:能够使用Python、Java或其他编程语言进行网络编程,比如使用爬虫技术从抖音平台获取数据。…

大数据基础:Doris重点架构原理

文章目录 Doris重点架构原理 一、Apache Doris介绍 二、Apache Doris使用场景 三、Apache Doris架构原理 四、Apache Doris 特点 Doris重点架构原理 一、Apache Doris介绍 基于 MPP 架构的高性能、实时的分析型数据库,以极速易用的特点被人们所熟知&#xff…

Hadoop-34 HBase 安装部署 单节点配置 hbase-env hbase-site 超详细图文 附带配置文件

点一下关注吧!!!非常感谢!!持续更新!!! 目前已经更新到了: HadoopHDFSMapReduceHiveFlumeSqoopZookeeperHBase 正在 章节内容 上节我们完成了: HBase的由…

三、GPIO口

我们在刚接触C语言时,写的第一个程序必定是hello world,其他的编程语言也是这样类似的代码是告诉我们进入了编程的世界,在单片机中也不例外,不过我们的传统就是点亮第一个LED灯,点亮电阻,电容的兄弟&#x…

【PPT笔记】1-3节 | 默认设置/快捷键/合并形状

文章目录 说明笔记1 默认设置1.1 OFFICE版本选择1.1.1 Office某某数字专属系列1.1.2 Office3651.1.3 产品信息怎么看 1.2 默认设置1.2.1 暗夜模式1.2.2 无限撤回1.2.3 自动保存(Office2013版本及以上)1.2.4 图片压缩1.2.5 字体嵌入1.2.6 多格式导出1.2.7…

Python 在Word表格中插入、删除行或列

Word文档中的表格可以用于组织和展示数据。在实际应用过程中,有时为了调整表格的结构或适应不同的数据展示需求,我们可能会需要插入、删除行或列。以下提供了几种使用Python在Word表格中插入或删除行、列的方法供参考: 文章目录 Python 在Wo…