GAME101-Lecture06学习

前言

上节课主要讲的是三角形的光栅化。重要的思想是要利用像素的中心对三角形可见性的函数进行采样。

这节课主要就是反走样。

课程链接:Lecture 06 Rasterization 2 (Antialiasing and Z-Buffering)_哔哩哔哩_bilibili

反走样引入

image-20240508211643655

通过采样,得到的这个三角形和实际的三角形有很大的区别。这种效果叫做锯齿,学名叫走样(aliasing)

采样产生的问题

artifacts:表示图形学中一切看上去不太对的东西。

采样会产生一系列问题,其本质都是信号(或者说采样的函数)变得太快了,以至于采样的速度跟不上它变化的速度。

  • 锯齿(aliasing)

  • 摩尔纹:将图像的奇数行和奇数列就可以产生

  • 车轮效应:生活中高速行驶的汽车,在视频中看上去的效果可能是倒着转的。人眼在时间中的采样出了问题。

防走样的做法

image-20240508214247976

在采样之前做一个模糊(滤波),可以进行反走样。(而先走样在模糊的话,无法达到效果。)

如图在三角形采样前,做一遍模糊,然后再对这些像素点进行采样。

傅里叶

傅里叶级数展开

image-20240508214953961

任何一个周期函数都可以写成一系列正弦和余弦函数他们的线性组合以及他们的常数项,这就叫做傅里叶级数展开。

傅里叶变换

傅里叶变换和傅里叶级数展开并不是一个东西。

image-20240508215229531

给定任意一个函数f(x),经过一系列操作变成另外一个函数F(x),这个变换过程叫做傅里叶变换。

F(x)通过逆变换也可以变回f(x),叫做逆傅里叶变换。

走样探究

频率

image-20240508214705389

定义f为频率。

用f即可定义波变化有多快,从而也能定义周期T。

傅里叶变换的应用

傅里叶变换可以把一个函数(图形学中将一幅图像看作一个二维函数),从时域(空间和时间都称为时域)变为频域。

image-20240508220729848

我们对左边的图进行一次傅里叶变换,从时域变为频域,就会得到右边的图。

将右边图的中心定义为低频的区域,那么从中心到四周频率会越来越高。不同频率表示的信息多少,我们通过亮度来表示。

右图中,图像的中心是最亮的,而前面我们定义了中心是低频,这就意味着左边的图像中,信息都集中在低频区域。

右图中有一个十字的线。这是做傅里叶变换时会出现的现象。因为在分析一个信号时,会认为它是周期性重复的信号,但是大多数图都是不周期性重复的信号。

  • 可以将左图当作是一个周期,那么这个图的周期性重复就是类似桌面平铺的样子。左图在左右上下边界后就没有画像了,分析的时候看作将这张图左右上下叠了无数个,这就是无数个周期。

  • 此时有了一个问题,大多数图的左右边界是不一样的(即图左右的边缘不一样)。当我们让这幅图和左边重复的图衔接时,衔接处的像素会产生一个剧烈的变化(可以想象成右边界是黑的,但是用来衔接的旁边的左边界是白的,黑到白直接是一个突变),就会产生一个极高的高频。

傅里叶变换能够让我们看到,左边的图像在不同频率长什么样子(即信号在不同频率长什么样,叫做频谱)。

频率中的采样

傅里叶变换就是把函数变成不同的频率的段,然后把不同频率的段显示出来。

image-20240508215406543

  • 更高的频率需要更快的采样

  • 低频信号:充分采样以进行合理的重构

  • 高频信号采样不足:重建错误地似乎是从一个低频信号

如图,绿色曲线表示频率,黑色点表示采样点,蓝色虚线是通过采样点还原的频率。

,如果我们用同样的采样方法来对不同的波进行采样,采样的效果是不一样的。因此,我们需要让函数变化的频率和采样的频率匹配,才能让所有的采样都达到一个想要的效果。

频率中的走样

image-20240508220013124

  • 高频信号采样不足:采样错误地表现为来自低频信号

  • 在给定的采样率下难以区分的两个频率称为“aliases”(走样)

如图,首先让蓝色的函数根据图中白色点的方式进行采样。根据采样的点还原,可以得到黑色的这个函数。

接着假设黑色线是待采样的函数,如果也用白色点的方式进行采样。还原后得到的依旧是这个黑色的这个函数。

同样的一个采样方法,采用两种不同的频率的函数得到的结果,我们无法区分它们,这就叫做走样

滤波

滤波(filtering):把某个特定频段(就是一个规定的范围内的频率)给删除,这个对应的信号是如何变化的,叫做滤波(即去掉一系列频率)

高通滤波

将低频信号全部抹去,只剩下高频的信号的滤波叫高通滤波。

image-20240508223154054

在傅里叶变换的基础上,将低频信号全部抹去,只剩下高频的信号,就是右图。将剩余的高频信号逆处理回去,就是左图。

可以发现,高频的东西其实就是表示图像内容的边界(比如图中的袖口等)。

边界可以理解成是突变比较大的“分水岭”,这个边界左右(或上下)发生了非常剧烈的变化,而图像信息变化快的地方频率就高。

进一步可以认为,高频的地方图片信息变化非常大。

低通滤波

将所有高频信息抹掉,只剩下低频信息的滤波叫低通滤波。

image-20240508224502926

在傅里叶变换的基础上,将所有高频信息抹掉,只剩下低频信息,可以发现所有的“边界”都去掉了,整个图像是一个模糊的样子。

特定频段滤波

image-20240508224613677

将高频和低频的信息都去掉,留下某一段特定频率的信息,此时提取到的是一些不那么明显的“边界”特征。

image-20240508224809092

同样,如果左侧留下的光圈更加外边(更接近高频),那么这个“边界”特征会越明显。

卷积、平均

平均(averag)操作:可以想象成低通滤波,造成模糊的效果。

卷积操作

image-20240508225213647

image-20240508225457436

假设滤波器(filter)是一个窗口,窗口中有若干个各自。将信号与滤波窗口进行点乘操作(第三行的式子),点乘的结果写回窗口的中心值。

其实就是将某个原始的信号取其周围的信号进行加权求和,得到一个新的信号。任意一个数都是周围若干数的平均。

将某一种滤波作用在一个信号上,进行卷积操作(点乘加权平均),得到一个新的信号。这是图形学简化后的定义,不是数学上的定义

(这就是卷积能够提取特征的原因)

卷积定理

image-20240508232754543

对一个图像进行卷积操作,得到新的图像。对应的就是将原本图像对应的信号,乘以一个信号,就会得到一个新的信号,被乘数的那个信号就是卷积,新的信号就是新的图像。

时域的卷积 = 频域的乘积,反之亦然

卷积盒

image-20240510145425636

卷积盒可以看作是一个滤波器,卷积操作就是一个低通滤波器,让图像更加模糊。

写成图中数字加盒子的形式,相当于是一个归一化的操作。

image-20240510150252559

卷积盒的范围变大,对应的频率是变小的,结果更加模糊。

原因个人是这么理解的:

  • 假设在这个box变得超级大,大到以任意一个像素为中心,都能覆盖得了所有得像素。

  • 看前面的卷积操作的计算方式,其实就是以每一个像素为中心,box覆盖到的像素一起取平均。每个像素取平均的值,在box超级大时,就可以认为是同一批数据。

  • 那么卷积操作后,无限大的box导致每个像素长得一摸一样。这就是模糊到了一个程度,整张图看不出任何信息。相当于边界全部没有了。卷积盒box越大,边界越少,图像信息越来越少,图像越来越模糊。

  • 在频域中,如上图box变大后,频域图中间的亮点们变小变淡了。前面我们将亮度高的当作高频,这里就相当于高频越来越少。卷积盒box越大,高频信息越来越少。

频域中的采样

image-20240510153725359

左图是在时域中的三个函数。我们用函数c(冲激函数)乘以函数a,就可以得到函数a上离散的点(函数e)。函数e就是采样结果。

右图是各个函数对应在频域上的函数。时域上函数相乘变成一系列的点,对于到频域上,就是把原始的函数的频谱复制粘贴。(时域的乘积等于频域上的卷积。)

在频域中,采样就是在重复频率或者频率上的内容。

频域中的走样

image-20240510154055787

采样在频域中就是将频谱复制粘贴。

正常情况下,依次的复制粘贴如图中第一个函数的样子。但是如果采样的过快,一段没有复制粘贴完,另一段就又要复制粘贴上来,就会导致频谱之间的间隔越小,信号混在了一起,就是走样。

这里时域和频率的解释是相反的关系,采样的越稀疏(采样的频率越小),对应频谱上就越密集(时域上的信号就会叠在一起),这种情况下就是走样。

防止走样的措施

image-20240510154629224

  • 如何减少混叠误差(走样)?

  • 方案1:提高采样率本质上增加了傅立叶域中样本之间的距离

  • 比如:更高分辨率的显示器、传感器、帧缓冲器..

  • 但是:成本高&可能需要非常高的分辨率

  • 选项2:抗锯齿(防走样)

  • 在重复之前使傅里叶的内容“变窄”

  • 比如:在采样前滤除高频

反走样探究

原理

image-20240510154956339

先做一个模糊,去掉高频,让频谱覆盖的面小一些,这样就能防止频谱重叠。

模糊方法

严格意义上来说,MSAA这些抗锯齿技术都是对反走样的近似,不能完全解决放走样。

MSAA

image-20240510160327658

  • 通过对一个像素内的多个位置进行采样并取其值的平均值,来近似模拟1像素箱形滤波器的效果。

例子展示

image-20240510160909144

假设有一个三角形覆盖了一些像素。

  1. image-20240510160945511

    在每个像素中取NxN样本。

    假如像素内部多一些采样点,比如用2*2的点

  2. image-20240510161049424

    在像素内部取采样点后,查看采样点在三角形内外的情况。

    为方便显示,我们可以让像素内部的采样点在三角形内的越多,颜色越深。

  3. image-20240510161422802

    最终的结果,我们将得到每个实际像素在三角形中的覆盖率。

MSAA是对反走样的第一步模糊进行操作,而下一步的采样操作是隐含在这个过程中的。

注意

MSAA不是通过提高分辨率直接解决走样问题。(增加采样点是近似合理的覆盖率,并没有真的提高分辨率)

在实际运用时,对像素处理的方法并不是像例子取像素中心然后规则的矩形的增加采样点。实际中人们会用其他更加有效的图案,并且有些点会被临近的像素复用。

FXAA

FXAA (Fast Approximate AA)快速近似抗锯齿

图像的后期处理,先得出一张图。通过图像匹配的方式找到图中的锯齿,然后把他换成模糊。(但是注意前面有说过,不能先得到一张有锯齿的图再做模糊)

这个技术中没有涉及到采样,是在图像层面上做的抗锯齿。

TAA

TAA (Temporal AA)

假如场景是静止的,相邻两帧显示的一样,但是相邻两帧一个像素内部不同位置上的点来感知是否在三角形内。

在时间范围内得到的静态的场景图的边界会各不相同。TAA复用上一帧的感知结果,相当于将MSAA的样本分布在时间上。

如果是动态的,就是光线追踪(TAA和光线追踪用的是同一个思想)

超分辨率

一张图将其大小变大(比如512*512变成1024*1024),单纯的拉大会看上去图全都是锯齿。如果不想看到锯齿,就需要一个超分辨率的过程。

本质上是高分辨率的图采样率不够。

DLSS

通过深度学习的方法实现超分辨率的过程(就是猜)

总结

前提:图形学中将一幅图像看成一个二维函数。

频率、频谱

频率用来表示波变化的快慢。

一个函数(图像)经过傅里叶变换后,能够得到其频谱。

  • 函数f通过变换能够变成另一个函数F,f通过逆变换也能够变回F。变换过程就叫做傅里叶变换或逆傅里叶变换。

  • 频谱是图像(信号)在不同频率的样子,是频率的分布曲线。

  • 在频谱中,每间隔一段就取一个数据点,这个取点的过程叫做采样

  • 同样的一个采样方法,采用两种不同的频率的函数得到的结果,我们无法区分它们,这叫做走样

滤波

将某一范围内的特定频率去掉的过程称为滤波

个人理解滤波其实就是一个函数,将图像(信号、函数)与这个滤波函数叠加,就能实现实现滤波的效果。

高通滤波就是能够去掉低频频段的函数(信号)。图像增加高频滤波后,图像边界将变得明显。

同理,低通滤波就是去掉高频频段的函数(信号)。

除此之外还有一些特定频段的滤波。图像增加低频滤波后,图像将变得模糊。

卷积

卷积在图形学中就是加权求平均。

卷积操作就是一个低通滤波器

  • 将某一种滤波作用在一个信号上,进行卷积操作(点乘加权平均),得到一个新的信号。

  • 这是图形学简化后的定义,不是数学上的定义

卷积定理主要是证明了时域的卷积 = 频域的乘积,反之亦然。

  • 从例子上看,就是一个图像进行卷积操作后得到新的图像,在频域中就是一个频谱乘以卷积操作的频域得到一个新的频谱。

卷积盒可以看作是一个滤波器

  • 卷积盒box越大,边界越少,图像信息越来越少,图像越来越模糊。

频域中的定义

采样在频域中就是将频谱复制粘贴。

  • 时域上函数相乘变成一系列的点。

  • 对应到频域上,就是把原始的函数的频谱复制粘贴。

复制粘贴的频谱之间的间隔越小,频谱重叠在了一起(信号混在了一起)就是走样。

采样的越稀疏,采样的频率越小,对应频谱上就越密集(时域上的信号就会叠在一起)。

反走样

在采样之前做一个模糊(滤波)可以达到反走样的效果。

  • 需要模糊的话需要做低通滤波。去掉高频,在频域的体现就是频谱覆盖的面会小,防止频谱重叠。

MSAA、FXAA和TAA都是做模糊一些技术。

  • MSAA是增加像素的采样点,近似合理的覆盖率,从而达到模糊的效果。

  • FXAA则是先采样,形成图像后,再利用图像匹配找到锯齿的部分,模糊处理后替换锯齿部分(但是会违背采样之前做一个模糊的理论,这样达不到很好的效果,优点是很快)

  • TAA则是会复用上一帧的感知结果,相当于将MSAA的样本分布在时间上。

后记

这节课的知识真的多且难,分了两天看才看完。。。

感觉开始慢慢接触专业的知识了,闫老师的课确实很厉害,讲的真的很好。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/324157.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

开源相机管理库Aravis例程学习(七)——chunk-parser

开源相机管理库Aravis例程学习(七)——chunk-parser 简介例程代码函数说明arv_camera_create_chunk_parserarv_camera_set_chunksarv_chunk_parser_get_integer_value 简介 本文针对官方例程中的:05-chunk-parser做简单的讲解。并介绍其中调…

Vue项目npm install certificate has expired报错解决方法

1.Vue项目 npm install 安装依赖突然报错: npm ERR! code CERT_HAS_EXPIRED npm ERR! errno CERT_HAS_EXPIRED npm ERR! request to https://registry.npm.taobao.org/zrender/download/zrender-4.3.0.tgz failed, reason: certificate has expired npm ERR! A com…

Ranger 面试题及答案整理,最新面试题

Ranger 的安全模型是如何设计的? Ranger的安全模型设计主要基于访问控制和安全策略的管理,它通过以下几个关键组件实现: 1、策略管理: Ranger 提供了一个中央管理平台,用于定义、更新和管理安全策略。这些策略根据资…

网络基础-ICMP协议

ICMP(Internet Control Message Protocol, Internet控制消息协议) ICMP协议是IP协议的辅助协议,用于在IP网络上发送控制消息,它通常被用于诊断网络故障、执行网络管理任务以及提供一些错误报告;对于收集各…

Linux 文件

文章目录 文件操作回顾(C/C)系统调用接口 管理文件认识一切皆文件C/C的文件操作函数与系统调用接口的关系……重定向与缓冲区 -- 认识重定向与缓冲区 -- 理解使用重定向缓冲区实现一个简单的Shell(加上重定向)标准输出和标准错误(在重定向下的意义) 磁盘文件磁盘存储文件操作系…

Git泄露(续)

接上一篇补充 git config --global user.name " " git config --global user.email 邮箱地址 配置用户名和邮箱 git commit 使其处于交互区,没有使用 -m,默认用vim 来编辑和提交信息 输入要提交的内容,然后按ESC建回到命令…

idea常用插件

1. 设置背景 安装插件:Background Image Plus设置背景图片: 2. Mybatis Log Plugin 详见:IntelliJ Idea 常用12款插件(提高开发效率),附优秀主题插件_idear codota插件 收费吗-CSDN博客 3. MybatisCodeHe…

HarmonyOS NEXT星河版之美团外卖点餐功能实战(下)

文章目录 一、购物车逻辑1.1 购物车及加减菜1.2 菜品的加减---方案一1.3 菜品的加减---方案二1.4 购物车View完善1.5 清空购物车1.5 购物车数量和价格 二、小结 一、购物车逻辑 1.1 购物车及加减菜 在utils目录下新建CartStore.ets文件,如下: import …

开发Web3 ETF的技术难点

开发Web3 ETF(Exchange-Traded Fund,交易所交易基金)软件时,需要注意以下几个关键问题。开发Web3 ETF软件是一个复杂的过程,涉及到金融、法律和技术多个领域的专业知识。开发团队需要综合考虑上述问题,以确…

数据库调优-数据库优化

数据库优化 如何发现复杂的SQL有问题? 一个个去explain吗?你有没有这样的困惑,开发代码运行顺畅丝滑,上生产了却卡的一逼? 哈哈,相信大家都会遇到这样的问题! sql 复制代码 # 举个栗子&…

数据库基础语法二

一、数据库 1、登陆数据库 2、创建数据库zoo 3、修改数据库zoo字符集为gbk 4、选择当前数据库为zoo 5、查看创建数据库zoo信息 6、删除数据库zoo mysql -uroot -p #登陆数据库 create database zoo; #创建数据库zoo alter database zoo character set gbk collate gbk_…

【C++】CentOS环境搭建-快速升级G++版本

【C】CentOS环境搭建-快速升级G版本 1. 安装CentOS的软件集仓库:2. 安装你想要的devtoolset版本,例如devtoolset-9:3. 启用新版本的编译器:4. 检查G版本: 在CentOS系统中升级G编译器通常涉及使用devtoolset或者SCL&…

【typescript测试 - Jest 配置与使用】

安装 npm install --save-dev types/jestnpm install --save-dev ts-jest配置 tsconfig.json {"compilerOptions": {"types": ["jest"]} }jest.config.js module.exports {preset: ts-jest,testEnvironment: node, };使用 // add.js funct…

Java 各类注解、Bean、作用域、生命周期

这里写目录标题 一、注解和Bean创建时机1. Controller:2.RestController:3.Service:4.Repository:5.Component: 二、作用域1.Singleton:2.Prototype:3.Request:4.Session: 一、注解和Bean创建时机 1. Controller: Bean生成时机: 在应用程序启动时由Spring容器创建。作用域: 默…

Dijkstra求最短路 I:图解 详细代码(图解)

文章目录 题目:Dijkstra求最短路思路伪代码:代码优化优化代码:Java代码 总结 题目:Dijkstra求最短路 给定一个 n个点 m条边的有向图,图中可能存在重边和自环,所有边权均为正值。 请你求出 1号点到 n号点的…

FonePaw Data Recovery for Mac:轻松恢复丢失数据

FonePaw Data Recovery for Mac是一款功能强大的数据恢复软件,专为Mac用户设计,帮助用户轻松恢复因各种原因丢失的数据。该软件支持从硬盘驱动器、存储卡、闪存驱动器等存储介质中恢复丢失或删除的文件,包括照片、视频、文档、电子邮件、音频…

基于Springboot的微乐校园管理系统(有报告)。Javaee项目,springboot项目。

演示视频: 基于Springboot的微乐校园管理系统(有报告)。Javaee项目,springboot项目。 项目介绍: 采用M(model)V(view)C(controller)三层体系结构…

Secnet-智能路由系统 actpt_5g.data 信息泄露漏洞复现

0x01 产品简介 Secnet安网智能AC管理系统是广州安网通信技术有限公司(简称“安网通信”)的无线AP管理系统。 0x02 漏洞概述 Secnet-智能路由系统 actpt_5g.data 接口存在信息泄露漏洞,未经身份验证的远程攻击者可以利用此漏洞获取系统账户…

地球行星UE5和UE4

地球行星,包含多种地球风格,可蓝图控制自转和停止,可材质自转. 支持版本4.21-5.4版本 下载位置:https://mbd.pub/o/bread/ZpWZm5lv b站工坊:https://gf.bilibili.com/item/detail/1105582041 _______________________…

debian testing (预计13版本)wps字体无法正常显示

背 景 本人使用debian办公,原来使用的是debian 12,由于“生命不息,折腾不止“,终于将稳定版的debian 12升级为testing. 结果发现,debian 12能够正常使用的wps存在部分字体无法正常显示,经研究发现,原来是w…