图+文,生成视频
当通过 ChatGPT 生成连贯的 prompt 时,除了连环画,我们理所当然还可能畅想更激进的场景——生成动画视频。目前 AIGC 社区确实在生成视频方面有一定的尝试。比如 Deforum 可以通过多条 prompt,配合具体的切换时间点,镜头切换角度设置,生成一些简单的动画视频:https://replicate.com/deforum-art/deforum-stable-diffusion。但由于目前文生图 AI 的细节控制还不够稳定,直接从 prompt 生成视频的效果,距离人们的期望还很远。
不过,利用 ChatGPT 的文本生成能力,我们有另一种 AI 视频剪辑技术,可以快速实现另一个维度的视频生成:利用互联网上已有的图片和视频素材,通过标签关键字的查询能力,将 ChatGPT 生成的解说词,和不同视频素材一一对应,并完成不同视频素材之间的拼接、字幕的插入,得到一段 AI 解说视频。国内比较主流的视频搜索拼接产品有:脸萌剪映的图文成片、腾讯智影的文章转视频、百度百家号的文字成片等。
我们以剪映 App 的图文成片为例,试试通过 ChatGPT 制作一个短视频。
首先,我们通过 prompt,交给 ChatGPT 生成一段视频解说词。为了方便对照,我们沿用之前三国程序员的笑话,让 ChatGPT 自行改写:
扩写成一段可以做视频的文案,加一些环境描写,内容更具体。
复制 ChatGPT 生成的文本,然后安装并打开手机上的剪映 App,在顶部点击"图文成片",进入内容编辑器。把 ChatGPT 生成的文案内容,粘贴到正文区域。文本输入框限定了最多 3000 字,不过一般来说 ChatGPT 单次生成的字数到不了这么多,所以不用担心。然后底部选择由 AI 智能匹配素材,点击"生成视频":
稍微等待一段时间,剪映完成视频的初稿生成,包括画面素材的匹配和拼接、文字字幕和配音等,下一步进入视频剪辑器:
剪辑器中,我们可以快速根据标签选择 AI 配音的音色,还可以做更具体的抽帧,素材替换等高级修改。不过就本次场景而言,剪映 AI 匹配的素材算是比较满意了,如上图所示,介绍到 404 页面时,还根据"程序员"主题词,匹配到了 GitHub 的 404 页面。
相信随着图片和视频检索算法能力的提升,多模态 AI 由文本生成视频的能力也会持续进步,Chat To Video 就在不远的将来。