目标
利用 Live Link Face
+ unrealEngine
+ quixel bridge
方案,实现虚拟形象的建模和控制。为后面的直播等应用搭建基础流程。
安装和配置
unrealEngine (虚幻引擎)
需要从下面的链接先下载 Epic Games launcher
安装好后,再下载并安装 unrealEngine
https://www.unrealengine.com/en-US/download
我下载的是 Unreal Engine 5.0.3
的版本
quixel bridge
如果是 5 之前的版本,可以到官网下载 : https://quixel.com/bridge
5 的话会自己带这个插件不用单独下载了。
metahuman
https://www.unrealengine.com/en-US/metahuman
要申请 “参加抢先体验”
提交申请以后会到这个界面 :
看到下图就 OK 了
从这里往后等待的时间会比较长,首先点击 Launch latest MetaHuman Creator
然后不到一分钟左右到这里,这里要等待好几分钟,视你的网络情况而定
你看到这个界面后就进来了:
你是可以自己创建角色的,当然也可以用预置好的这些,我用一个预置的角色演示:
启动虚幻引擎
因为网络问题等了好久才启动成功
然后创建一个项目,选游戏和空白模版就可以了
软件第一次启动后,你想用 bridge 导入时会发现有错误提示,需要再安装一个 web browser
插件才能用 bridge ,具体是这里的第二个:
接着登录 bridge,找到你之前创建的角色,把它导入到 虚幻引擎的工程中
这里找到我们刚才编辑的角色
经过慢长的等待,终于可以导入角色了
会提示要启用插件,点击启用后重启软件。
重启过程中漫长的等待,然后软件 终于打开了。
在漫长的等待中你会经过 N 次这个:
导入角色
选 BP 开头的文件
Live Link Face
iphone x 以上手机安装 live link face 应用 ,手机用线连接到电脑。
然后左上角设置→Live Link→ 点击添加目标,输入 PC 的 IP ,端口用默认的。
遗憾的是虚幻5 各种尝试后都无法显示出 iphone 我的型号是 iphoneXR ,试了 iphoneXS也不行,也折腾了网络,还是不行,于是还是改用低版本 4.27 也还是没连上,实在太费时间就放弃了。所以 4 和 5 我都没连通,哎。
好处是 4.27 有一直官方的免费 demo 可以下载使用,叫 “faceAR” ,从虚幻商城下载,直接拿来用,比较快,也不用自己通过 metahuman 建模型了
效果
虽然我由于各种原因没有连通,但思路就是这样的,最终的效果就是你对着手机做动作,它就可以实时同步到虚拟人那端了,来看看成功的效果:
如果是直播的话,可以把虚拟显示结果直接利用 OBS
推流到直播平台。
注意
-
安装过程中如遇到网络问题,请使用科学上网。 -
建议使用性能较好的电脑,否则等待时间过长,CPU 在安装和使用过程中经常会 100% ,也没法用。 -
如遇到 “正在编辑着色器” 、“正在准备着色器” 一类的提示,没什么更好的办法加速,请耐心等待。 -
虚幻 5 是不错,但非常卡,我的设备是 macbook Pro i7 6 核 32G 内存,CPU 直接 100%了。所以我觉得 5 还是得 m1 芯片才顶得住。
应用
-
直播 -
游戏 -
AR -
元宇宙
想像空间很大,直播应该已经有人做了,youtube 有个叫 CodeMiko
可以看下。
CodeMiko 背后其实是一个真实的人,她通过动作捕捉技术,实现与虚拟人的语言和动作同步。
国内也已经有人在做了,可能将来从各大短视频平台能陆续看到这类虚拟主播了
有没有人买账?
不用担心,买账的比你想像的多。
所以,一直说炒概念的元宇宙离我们真的很远吗?
参考
-
https://www.bilibili.com/video/BV1GB4y1M7iH?spm_id_from=333.337.search-card.all.click&vd_source=6fb7f58b736bb5913c33073b42979450 -
https://www.youtube.com/watch?v=OH4lXi0HAKo -
https://www.bilibili.com/read/cv15994528/ -
https://www.bilibili.com/video/BV1LV411r7Sk/?spm_id_from=333.788.recommend_more_video.1&vd_source=6fb7f58b736bb5913c33073b42979450
本文由 mdnice 多平台发布