证件照转数字人只需几秒钟,微软实现首个3D扩散模型高质量生成效果,换装改形象一句话搞定 | CVPR 2023...

转载自 微软亚洲研究院
量子位 | 公众号 QbitAI

一张2D证件照,几秒钟就能设计出3D游戏化身!

这是扩散模型在3D领域的最新成果。例如,只需一张法国雕塑家罗丹的旧照,就能分分钟把他“变”进游戏中:

b706e4f921357608f29a4d2e8374b9ad.gif
RODIN模型基于罗丹旧照生成的3D形象

甚至只需要一句话就能修改装扮和形象。告诉AI生成罗丹“穿着红色毛衣戴着眼镜的造型”:

36cfeaf1495fbb6892e01a5f63fa2f22.gif

不喜欢大背头?那就换成“扎着辫子的造型”:

58953234aec7a9c9ef6ff898573082f3.gif

再试试换个发色?这是“棕色头发的时尚潮人造型”,连胡子颜色都搞定了:

077564f49b6ee6d5964bbb6940bc5649.gif

(AI眼中的“时尚潮人”,确实有点潮过头了463b139efa18c83f1324a8ff302042be.png

上面这个最新的3D生成扩散模型“罗丹”RODIN(Roll-out Diffusion Network),来自微软亚洲研究院。

RODIN也是首个利用生成扩散模型在3D训练数据上自动生成3D数字化身(Avatar)的模型,论文目前已被CVPR 2023接收。

一起来看看。

直接用3D数据训练扩散模型

这个3D生成扩散模型“罗丹”RODIN的名字,灵感来源于法国雕塑艺术家奥古斯特·罗丹(Auguste Rodin)。

此前2D生成3D图像模型,通常用2D数据训练生成对抗网络(GAN)或变分自编码器(VAE)得到,但结果往往不尽人意。

研究人员分析,造成这种现象的原因在于这些方法存在一个基础的欠定(ill posed)问题。即由于单视角图片存在几何二义性,仅仅通过大量的2D数据,很难学到高质量3D化身的合理分布,导致生成效果不好。

因此,他们这次尝试直接用3D数据来训练扩散模型,主要解决了三个难题:

  • 首先,如何用扩散模型生成3D模型多视角图。此前扩散模型在3D数据上没有可参考实践方法和可遵循前例。

  • 其次,高质量和大规模3D图像数据集很难获取,且存在隐私版权风险,但网络公开3D图像无法保证多视图一致性。

  • 最后, 2D扩散模型直接拓展成3D生成,所需的内存、存储与计算开销极大。

为了解决这三个难题,研究人员提出了“AI雕塑家”RODIN扩散模型,超越了现有模型的SOTA水平。

RODIN模型采用神经辐射场(NeRF)方法,借鉴英伟达的EG3D工作,将3D空间紧凑地表达为空间三个互相垂直的特征平面(Triplane),并将这些图展开至单个2D特征平面中,再执行3D感知扩散。

具体而言,就是将3D空间在横、纵、垂三个正交平面视图上以二维特征展开,这样不仅可以让RODIN模型使用高效的2D架构进行3D感知扩散,而且将3D图像降维成2D图像也大幅降低了计算复杂度和计算成本。

8e193fc4620d982b8e1c99a8542ea569.png
3D感知卷积高效处理3D特征

上图左边,用三平面(triplane)表达3D空间,此时底部特征平面的特征点对应于另外两个特征平面的两条线;上图右边,则引入3D感知卷积处理展开的2D特征平面,同时考虑到三个平面的三维固有对应关系。

具体而言,实现3D图像的生成需要三个关键要素:

其一,3D感知卷积,确保降维后的三个平面的内在关联。

传统2D扩散中使用的2D卷积神经网络(CNN),并不能很好地处理Triplane特征图。

3D感知卷积并不是简单生成三个2D特征平面,而是在处理这样的3D表达时,考虑了其固有的三维特性,即三个视图平面中其中一个视图的2D特征本质上是3D空间中一条直线的投影,因此与其他两个平面中对应的直线投影特征存在关联性。

为了实现跨平面通信,研究员们在卷积中考虑了这样的3D相关性,因此高效地用2D的方式合成3D细节。

其二,隐空间协奏三平面3D表达生成。

研究员们通过隐向量来协调特征生成,使其在整个三维空间中具有全局一致性,从而获得更高质量的化身并实现语义编辑。

同时,还通过使用训练数据集中的图像训练额外的图像编码器,该编码器可提取语义隐向量作为扩散模型的条件输入。

这样,整体的生成网络可视为自动编码器,用扩散模型作为解码隐空间向量。对于语义可编辑性,研究员们采用了一个冻结的CLIP图像编码器,与文本提示共享隐空间。

其三,层级式合成,生成高保真立体细节。

研究员们利用扩散模型,先生成了一个低分辨率的三视图平面(64×64),然后再通过扩散上采样生成高分辨率的三平面(256×256)。

这样,基础扩散模型集中于整体3D结构生成,而后续上采样模型专注于细节生成。

7a008d228e90016b83a5e84924196243.png
RODIN模型概述

基于Blender生成大量随机数据

训练数据集上,研究员们借助开源的三维渲染软件Blender,通过随机组合画师手动创建的虚拟3D人物图像,再加上从大量头发、衣服、表情和配饰中随机采样,进而创建了10万个合成个体,同时为每个个体渲染出了300个分辨率为256*256的多视图图像。

在文本到3D头像的生成上,研究员们采用了LAION-400M数据集的人像子集,训练从输入模态到3D扩散模型隐空间的映射,最终让RODIN模型只使用一张2D图像或一句文字描述,就能创建出逼真的3D头像。

d666a832bc7549a2220ded08eea2f5d9.gif
给定一张照片生成虚拟形象

不仅能一句话改变形象,如“留卷发和大胡子穿着黑色皮夹克的男性”:

9a3409607dd8ea28a0f81803ec75b259.gif

甚至连性别都能随意更换,“红色衣着非洲发型的女性”:(手动狗头)

aa646592d37d50773e60a24282e86944.gif

研究人员也给出了一个应用Demo示范,创建自己的形象只需要几个按钮:

8dc71eb9c0c0681a6d9476d82c64b401.png
利用文字做3D肖像编辑

更多效果可以戳项目地址查看~

e0ffdadc45d2fff32ba75c555fb72afe.png
更多随机生成的虚拟形象

做出了RODIN后,团队接下来的计划是?

据微软亚洲研究院作者们表示,目前RODIN的作品还主要停留在3D半身人像上,这也与它主要采用人脸数据训练有关,但3D图像生成需求不仅局限于人脸上。

下一步,团队将会考虑尝试用RODIN模型创建更多3D场景,包括花草树木、建筑、汽车家居等,实现“一个模型生成3D万物”的终极目标。

论文地址:
https://arxiv.org/abs/2212.06135

项目页面:
https://3d-avatar-diffusion.microsoft.com

「中国AIGC产业峰会」启动

邀您共襄盛举

「中国AIGC产业峰会」即将在今年3月举办,峰会将邀请AIGC产业相关领域的专家学者,共同探讨生成新世界的过去、现在和未来。

峰会上还将发布《中国AIGC产业全景报告暨AIGC 50》,全面立体描绘我国当前AIGC产业的竞争力图谱。点击链接或下方图片查看大会详情:

被ChatGPT带飞的AIGC如何在中国落地?量子位邀你共同参与中国AIGC产业峰会

a516820d16b22c31de29e1c72348e77d.gif

点这里👇关注我,记得标星哦~

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/33740.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

证件照更换底色(remove.bg包)【Python】

最近正好在办理入职需要用到蓝底的证件照,我目前只有一个白底的,在网上百度很多工具都需要付费,一气之下叫ChatGPT帮我写了一个哈哈哈。 最开始写的不太符合要求,人物旁边都是白色区域(这一段的代码就不上了&#xff…

chatgpt赋能python:Python改变图片背景色:让你的照片更生动

Python改变图片背景色:让你的照片更生动 随着数字摄影技术的进步,人们拍摄照片的数量和质量都得到了大幅提升。但是,有些时候照片的背景色不够理想,可能会影响整体效果。而Python这个流行的编程语言,可以通过图像处理…

安卓新闻客户端

安卓新闻客户端 特别说明:本安卓使用版本较高,因为是课设仓促完成的,现在还有些许BUG,目前还在维护和更新ing~ 完整代码GitHub自行下载导入 GitHub仓库:点击此处 实训报告:点击此处 主界面图 一、需求分析 …

android新闻客户端的实现

制作一个基于聚合新闻数据简单的新闻APP 制作简易新闻App 导航篇[1、使用FragmentViewPager TabLayout自制简易新闻 app主要框架(一)](https://blog.csdn.net/Tobey_r1/article/details/93221486)[2、解析聚合新闻数据,并显示到主界面上&…

高等数学学习笔记——第四十讲——微积分基本公式

1. 问题引入 2. 微积分基本定理(微积分基本公式、牛顿——莱布尼兹公式) 3. 定积分计算示例(利用微积分基本公式) 4. 分段函数的定积分(需分段计算)(引申:具体问题,具体分…

如何利用MATLAB求解积分与微分?

文章目录 前言1 数值微分2 数值积分小结 前言 今天我们要说的就是数值微积分,赶紧看看他和高等数学中的微积分有什么区别吧。本文是科学计算与MATLAB语言专题六第一小节的学习笔记,如果大家有时间的话,可以去听听课,没有的话&…

数学建模学习(22):求解微积分之积分问题详解,超详细!

文章目录 前言不定积分定积分与无穷积分多重积分总结前言 积分是一个很重要的概念,通常分为定积分和不定积分。 我们在这里介绍的就是int函数,调用方式如下: F=int(fun,x) fun是被积函数,x是自变量,当然如果只有一个自变量可以省略。 不定积分 求解如下式子的不定积分:…

[MIT]微积分重点 第五课 积分总览 学习笔记

0.先上本节课目录: 1.函数二是函数一的导数 函数一: H e i g h t y ( x ) Height y(x) Heighty(x) 函数二: S l o p e s ( x ) Slope s(x) Slopes(x) 函数一 -> 函数二: S l o p e s ( x ) d ⁡ y d ⁡ x l i m i t o f …

这可能是关于微积分讲的最好的文章了

最近自己学习深度学习相关的东西,发现需要大量关于微积分的知识作为支撑,于是我在网上找到了这篇关于微积分的好文章,这也是我目前见过的最好的讲解微积分的文章了!要是大学课本这么写,高数怎么可能让那么多同学挂科&a…

用Python学《微积分B》(定积分)

本文主要学习《微积分B》第7章——“定积分的概念和存在条件”,结合课程中的知识进行一些扩展,并用Python辅助求解课后练习题。关于定积分(Definite Integral)的概念,课本中只介绍了“黎曼积分”(Riemann I…

多变量微积分笔记17——通量

在流体运动中,通量是单位时间内流经某单位面积的某属性量,是表示某属性量输送强度的物理量。在大气科学中,包含动量通量、热通量、物质通量和水通量。 本章关于向量和点积的相关知识课参考《线性代数笔记3——向量2(点积&#xff…

以MATLAB的方式实现微积分问题的计算机求解问题及解决方案集锦(二)

前言 关于MATLAB系列的精品专栏大家可参见 MATLAB-30天带你从入门到精通 MATLAB深入理解高级教程(附源码) 喜欢的小伙伴可自行订阅,你的支持就是我不断更新的动力哟! 微积分问题的计算机求解系列 (0001) 试求出以下的曲线积分。 【解】 套用第一类和第二类曲线…

第三单元 用python学习微积分(十九)FTC2(下)和定积分在对数和几何上的应用

本文内容来自于学习麻省理工学院公开课:单变量微积分-定积分在对数和几何上的应用-网易公开课 概率密度_百度百科 概率密度是什么意思_百度知道 正态分布(高斯分布)、Q函数、误差函数、互补误差函数 - htj10 - 博客园 正态分布_百度百科 …

程序员的数学【多元函数微分学】

目录 前言一、多元函数的定义二、偏导数三、高阶偏导数四、梯度五、雅可比矩阵5.1 雅克比矩阵定义5.2 雅克比矩阵示例 六、Hessian矩阵6.1 Hessian矩阵定义6.2 实例演示Hessian矩阵 七、极值判别法则7.1 极值判定条件7.2 实对称矩阵正定负定判定 八、二次型8.1 二次型定义8.2 二…

微积分基础知识note

此部分转自https://blog.csdn.net/zhulf0804/article/details/52238435 方向导数与梯度 在许多问题中,不仅要知道函数在坐标轴方向上的变化率(即偏导数),而且还要设法求得函数在其他特定方向上的变化率。这就是接下来要谈论的方…

用Python学《微积分B》(微积分应用)

微积分是一种非常重要的“数学分析”思想(方法),在许多领域中都有应用,比如:计算平面面积、曲线长度、空间图形的体积、旋转曲面面积和物理学中的“微元法”等。而如何用好“微积分”是这部分学习的重点。要用好微积分…

数学分析(高级微积分)

一、总览 微分学积分学级数论 二、微分学 1. 极限和连续 相关知识:数列的极限、收敛数列之性质、函数极限、函数极限性质、无穷大无穷小、等价无穷下、洛必达法则、函数的连续和间断、极限的求法。 2. 一元/多元函数微分学 相关知识:导数&#xff0…

以MATLAB的方式实现微积分问题的计算机求解问题及解决方案集锦(一)

前言 关于MATLAB系列的精品专栏大家可参见 MATLAB-30天带你从入门到精通 MATLAB深入理解高级教程(附源码) 喜欢的小伙伴可自行订阅,你的支持就是我不断更新的动力哟! 微积分问题的计算机求解系列 (0001) 试求出下面的定积分或无穷积分。 【解】 ① 可以直接求解 >…

高视角!如何认识微积分方法与原理?

编者按>> 恩格斯在《反杜林论》中说:“变数的数学——其中最重要的部分是微积分。”冯诺依曼说:“微积分是近代数学中最伟大的成就,对它的重要性做怎样的估计都不会过分。” 可见微积分在数学中的重要性。通常说的“微积分”由方法和原…

MTLAB 求解微积分(包含导数、极限、积分、级数和、微分方程、数值方法全面求解)

文章目录 1. 导数求解1.1 显函数求导1.2 隐函数求导 2. 极限求解2.1 单变量极限2.2 多变量极限 3. 积分求解3.1 不定积分3.2 定积分计算3.2.1 解析解3.2.2 数值解 4. 级数展开求和4.1 泰勒级数展开4.2 级数求和 5. 求解微分方程5.1 符号解5.2 数值解 1. 导数求解 1.1 显函数求…