论文出处
https://arxiv.org/abs/2211.12194
使用方法
1. 打开项目的colab链接
https://colab.research.google.com/github/Winfredy/SadTalker/blob/main/quick_demo.ipynb#scrollTo=fAjwGmKKYl_I
在examples/source_image文件夹中添加希望动起来说话的图片,这里添加的是航天之父戚发轫,respect。
2. 再用ttsmaker文字转语音工具,将戚先生在剧本中要说的话转为语音,链接如下
https://ttsmaker.com/zh-cn
3. 生成wav文件后,上传到colab中的/examples/driven_audio文件夹,并在代码部分进行名称替换
4. 接下来只需要按步骤运行demo,就能在result文件夹下生成想要的动起来的mp4文件了,我的视频大约1分半,用了约10分钟生成,生成效果如下(已经按第6步视频增强)。
4718_1711785136
5.生成的视频分辨率不够高,但相比之前自己使用的DID生成的数字人,真实度高了不少,DID生成的嘴巴明显是从另外找了一个,属于一眼假,DID链接如下D-ID | The #1 Choice for AI Generated Video Creation Platform
这次不用DID的另一个原因是生成的视频有水印了。
6.最后可以看到生成的视频较为模糊,用了一个手机上的app叫wink来视频增强