一句话生成角色动画 # text2motion

9b683e275eafda1bb5f46a536a11e4df.png

当你和他人谈论人工智能的潜力时,很多人都表露出同样的担心:

害怕被取代

特别在最近几个月,随着生成式人工智能的投资和创新的爆炸性增长,这些不安的感觉更加强烈。

机器学习中相对较新的创新,即扩散模型(diffusion models),使文本到图像的生成变得成熟,也正在人工智能学术界和工业界获取越来越多的关注。续 GAN 之后,大放异彩的扩散模型除了生成图像,还可以生成动作。

比如以色列 Tel Aviv University 在今年 10 月开源的 Human Motion Diffusion Model 项目,人体运动扩散模型,简称 MDM ,就是通过 AI 识别人的骨骼行为模型。

直接上效果~ 08625df6e0f2bb8c96af4e8fffed8cef.png

MDM 的功能就是:利用扩散模型

根据文字直接驱动人体三维模型

做出相应的动作‍

699fc53e1fd84f0a08f296b2f0b547ea.gif8e42755ae61a16dea8fe8eb860e719bb.gif

图片来源:MDM

若能被AI扩充那样骨骼识别-肌肉移动-动画视频的创作方式若能实现, MDM 将会极大辅助影视和游戏等行业的工作流。

MDM 有一个通用设计框架,来支持不同形式的条件反射,目前可以实现从文本到运动、从行动到运动和无条件生成的任务。

在文本到运动的任务中,MDM 的模型生成连贯的动作,在人类 ML3D 和 KIT 基准上实现了最先进的结果。

同时也有用户研究表明,人类评估人员在 42% 的时间里更喜欢我们生成的动作而不是真实的动作。

d97fb5ecbb11a7d9d5799aff77946809.png

从文本到运动

文本到运动是在给定输入文本提示的情况下生成运动的任务。输出运动预计既要实现文本描述,也要从数据分布中获得有效样本(即遵守一般人类能力和物理规则)。此外,对于每个文本提示,MDM 还期望匹配它的运动分布,而不仅仅是一个结果。

67c995f4bd25a5458241e25c154c08db.png

从行动到运动

行动到运动是在给定输入动作类的情况下生成运动的任务,由标量表示。同时,输出的运动也是基于数据集分布反映的自然模型训练。

在此前,无论是游戏还是电影要做特效时,演员需要穿上特制的服装,贴上 marker,在动捕系统的覆盖下完成表演。后期制作时,特效师将采集到的肢体动作和面部表情重定向到虚拟角色中,然后经过不断的后处理让虚拟人的动作尽可能真实。

因此,动作捕捉 + 重定向 + 后处理涉及大量的人工操作,过程十分烧钱。但有了 MDM  这类动作生成模型,就能够快速又真实的生成特定的动作,最关键的是节省不少成本。

c9a6866d3007e82bd41f4e1d5d3a52cd.jpeg

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/57119.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

P1072 [NOIP2009 提高组] Hankson 的趣味题

题目描述 Hanks 博士是 BT(Bio-Tech,生物技术) 领域的知名专家,他的儿子名叫 Hankson。现在,刚刚放学回家的 Hankson 正在思考一个有趣的问题。 今天在课堂上,老师讲解了如何求两个正整数 c1​ 和 c2​ 的最大公约数…

小学奥数与信奥

小学奥数与信奥 题目 3. 把4分拆成几个数相加的形式(0不考虑作为加数),有多少种不同的分拆方式? 把5分拆成几个数相加的形式(0不考虑作为加数),有多少种不同的分拆方式? 把6分拆成几个数相加的形式(0不考虑作为加数)&#xff0c…

站长在线经典Python题:使用Python编程思想解决鸡兔同笼的问题的4种方法

欢迎你来到站长在线的Python题库,鸡兔写完Python教程以后,还是来一个Python的题目吧!想来想去,还是写一个经典的题目为好,作为本栏目的第一个题目。我就想到了比较热门的题目《鸡兔同笼的问题》,本文不是用…

Qt常用的按钮控件编程(五)-- QCommandLinkButton 按钮

文章目录 前言7、QCommandLinkButton按钮7.1 例程功能和程序执行效果7.2 生成项目7.3 添加资源文件7.4 代码编辑7.4.1 修改项目文件 _radiobutton.pro7.4.2 修改 main.cpp7.4.3 修改 widget.h7.4.4 修改 widget.cpp 7.5 切换Kit,获得运行在不同系统中的运行的执行文…

【python】tkinter程序打包成exe可执行文件相关知识点记录

打包流程: 进入带打包的文件夹目录,输入“cmd” 在cmd对话框中输入 pyinstaller -F -w -i 【exe图标位置(ico文件)】【程序入口文件】 pyinstaller -F -w -i i.ico test.py 具体如图,图片摘自python利用pyinstaller打…

chatgpt赋能python:Python如何进行P图——探索Python图像处理库的可能性

Python如何进行P图——探索Python图像处理库的可能性 介绍 随着数字化时代的到来,图像处理已不再是专业领域的专属,许多人也开始接触和学习图像处理。我们常见的图像处理软件有Photoshop和GIMP等,而在Python编程领域中,也有很多…

面向对象程序设计 C++总结笔记(1)

面向对象程序设计 学习方法 理解基本原理掌握程序设计方法加强动手实践 课程目标 理解面向对象程序设计的基本原理,掌握面向对象技术的基本概念和封装性、继承性和多态性,能够具有面向对象程序设计思想。掌握C语言面向对象的基本特性和C语言基础知识&…

深度学习实战5-卷积神经网络(CNN)中文OCR识别项目

文章目录 一、前期工作 导入库图片生成函数导入数据生成数据集函数 二、CNN模型建立 三、训练模型函数 四、训练模型与结果 五、验证 大家好,我是微学AI,今天给大家带来一个利用卷积神经网络(CNN)进行中文OCR识别,…

7个成功的DTC品牌出海营销策略,提高海外客户的忠诚度!

关键词:DTC品牌出海、DTC营销、客户忠诚度 近年来,普通消费者关心的事情发生了巨大变化。 60% 的消费者会特意从品牌而不是第三方零售商处购买。 从大型零售商处购买再成为主流。人们希望与他们关心并感到关心的品牌建立关系。他们希望支持独立企业并找到…

Cat.1热度居高不下,利尔达 NT26E系列模组带来更多新选择

2021年全球Cat.1处于爆发期,出货量达到1.2亿,仅在中国市场上,Cat.1出货量就达到了1.1亿。据近日市场研究公司Counterpoint最新的发布全球蜂窝物联网芯片跟踪报告,2021年第四季度,4G Cat.1出货量同比增长154%。今年的市…

Cat.1模组再添新选择,利尔达推出NT26U提供多元应用思路

Cat.1因模组成熟度高且可复用现有的LTE资源而广受欢迎,它不但成本低,还能在短时间内形成规模效应。随着2G/3G的加速退网,Cat.1作为中低速率应用场景中最适合保障通信能力的网络之一更是水涨船高。 基于展锐的Cat.1模组 作为LTE网络的“低配版…

短信接收流程

Android 短信接收流程 Android S 短信接收流程 Android 12 短信接收流程 指路 -> 短信发送流程 流程图

开题报告PPT怎么制作

毕业设计答辩的首要环节就是前期答辩,也叫作开题汇报答辩,主要内容是对后期设计制作的规划及时间安排,同时还有设计要达到什么目的效果,预测在制作工程中可能遇到的问题并且提出这些问题的解决方案,开题报告汇报时以PP…

springboot+微信小程序的点餐系统(开题报告+论文+答辩PPT+源码)

技术架构 SprongBootMysql微信小程序 简介 本点餐小程序是使用Java/JavaScript编程语言开发的,存储数据方面则用到了MySQL数据库。顾客可以使用小程序扫码功能扫描餐厅桌角的二维码就座,也可以点击排号等位由后台工作人员安排就座;通过首页…

毕业论文学术报告答辩开题报告PPT模板

模板介绍 毕业论文学术报告答辩开题报告PPT模板。一套论文答辩幻灯片模板,内含黑色,红色多种配色,风格设计,动态播放效果,精美实用。 希望下面这份精美的PPT模板能给你带来帮助,温馨提示:本资源使用PPT或…

python图片分享平台毕业设计开题报告

本文给出的python毕业设计开题报告,仅供参考!(具体模板和要求按照自己学校给的要求修改) 选题目的和意义 目的:本课题主要目标是设计并能够实现一个基于web网页的图片分享平台,整个网站项目使用了B/S架构…

高校通用论文开题报告PPT模板

模板介绍 高校通用论文开题报告PPT模板。一套开题报告幻灯片模板,内含青色,红色多种配色,风格设计,动态播放效果,精美实用。 希望下面这份精美的PPT模板能给你带来帮助,温馨提示:本资源使用PPT或PPTX等格…

计算机开题报告万能模板,计算机开题报告ppt模板

PPT内容 这是计算机开题报告ppt模板,包括了课题研究的意义和目的,论文提纲,研究的预期目标及主要特点及创新点,研究方法和途径等内容。 基于NS的无线网络的AODV路由协议仿真测试与性能分析 毕业论文开题报告 指导老师:…

chatglm+tesla m40低成本部署

chatglmtesla m40部署 tesla m40安装BIOS设置驱动下载并安装验证安装并切换WDDM模式 chatglm安装环境安装加载模型CUDA安装Torch安装源码修改 成功结果展示常见问题 本机配置 i5 13600k ,主板是微星760 bomer tesla m40安装 Tesla M40 24G实际上是计算卡,不是显卡&…

Win11 的这 19 个新功能,你都用上了吗?

Windows 11 是 Windows 的新版本,现在正在向受支持的 PC 推出多项新功能和改进。 Windows 11 于 10 月 5 日开始推出,微软也发布了 Windows 11 ISO 镜像。与之前的 Windows 10 更新不同,这个新的操作系统专注于面向消费者的功能和改进&#x…