生成式 AI 在泛娱乐行业的应用场景实践 – 助力风格化视频内容创作

6d78244c93669055d0ee5ba690e36cf1.gif

感谢大家阅读《生成式 AI 行业解决方案指南》系列博客,全系列分为 4 篇,将为大家系统地介绍生成式 AI 解决方案指南及其在电商、游戏、泛娱乐行业中的典型场景及应用实践。目录如下:

  • 《生成式 AI 行业解决方案指南与部署指南》

  • 《生成式 AI 在电商行业的应用场景实践 – 赋能营销物料高效生产》

  • 《生成式 AI 在游戏行业的应用场景实践 – 加速游戏美术内容生产》

  • 《生成式 AI 在泛娱乐行业的应用场景实践 – 助力风格化视频内容创作》(本篇)

背景介绍

从 2022 年以来生成式 AI 发展迅猛,特别是在文生图领域,在扩散模型为主、其他模型的加持下,新的文生图、图生图技术层出不穷。在媒体与娱乐领域已经被广泛应用,主要的场景有:1. 分镜头剧本插图;2. 漫画创作;3. 概念图生成。并随着技术的进步,形成比较完善的工具链。

尽管扩散模型和其应用在生成图片方面的能力出众,但是视频生成领域发展依然是滞后的。其原因主要有:没有高质量的训练集;没有很好描述视频的方式;生成式视频模型的训练需要极高的算力。

所以现在主流的利用扩散模型生成视频的方式是: 利用模版视频,拆解为视频帧图片,利用各种插件逐帧按照提示词和图片特征进行风格化,最后组合成风格化视频。

在本篇文章中,我们基于生成式 AI 行业解决方案指南,针对泛娱乐行业的风格化视频生成,介绍生成式 AI 的使用和参数配置,以及配合传统工具,以协助内容创作,达到一定的创意效果。

生成式 AI 在泛娱乐行业中视频创作

在泛娱乐行业,短视频是最流行的一种内容表达形式,其特点是制作成本较低,传播率高。传统的生成短视频的方式既有 UGC 模式,也有 PGC 模式,虽然他们的制作周期和制作成本远低于传统媒体,但是还是脱离不了“策划-剧本-台词-选角-排练-正式演出-录制-校验-剪辑-后期-审核-发布”这些基本的步骤。综合来说,一个 5 分钟左右的短视频制作平均时长大概 2-3 天左右。生成式 AI 的出现可以大大提高制作效率,缩短制作周期,甚至可以简化制作步骤。 

现在有生成风格化图片和生成风格化视频的生成方式,根据一些现有的图片和视频,或者初期拍摄的视频直接进入后期步骤。进行风格化是现在短视频生成的一种尝试,虽然现在这类视频依然有闪烁跳跃等问题,通过社区的不断进步,效果正越来越好。当然这类视频本身因为自由度较高,创意属性强,本身就具有较强的话题性和传播度。

主流的风格化视频的生产的方法是利用连续风格化图片作为序列帧串联起来的视频。包括:

1)通过原视频提取每一帧,逐帧通过提示词进行图生图,最后将图片重新组装起来生成风格化视频;

2)生成数张创意图片,作为关键帧,相似图片作为过渡帧,组装成风格化视频。

这两种风格化视频,都可以通过 Stable Diffusion WebUI 的插件来实现。但是这两种风格化视频生产方式依然具有一定需要解决的问题,各自分别是:

1) 模版视频拍摄依然需要一定投入,包括编排,表演,以及原始视频的版权问题等;

2 )风格化视频的主题难以定义。

本文给出了两种风格化视频的组合生成方式,可以充分利用目前风格化视频的插件,又可以部分解决风格化视频生产的上述问题:

  1. 利用 3D 模型的动态画面作为蓝本,生成风格化视频的方法

  2. 利用短暂的普通视频作为起点(或者中间节点)生成具有一定主题的风格化视频的方法

架构与工作原理

本篇以生成式 AI 行业解决方案指南为基础,其工作原理如下图:

70faf008a89094d69d432c7b8e9d092b.jpeg

生成式 AI 行业解决方案指南,将前端 Stable Diffusion WebUI 部署在容器服务 Amazon ECS 上,后端使用无服务器服务 Amazon Lambda 进行处理,前后端通过 Amazon API Gateway 调用进行通信。模型训练及部署均通过 Amazon SageMaker 进行。同时使用 Amazon S3、Amazon EFS、Amazon DynamoDB 分别进行模型数据、临时文件、使用数据的存储。快速部署流程可参考该系列博客的第一篇,本篇不再赘述。

3D 模型为蓝本生产风格化视频

首先我们先了解一下由原视频转换为风格化视频的基本原理,如下图所示:

15ba437fd5539400dc35cccc63aeea9f.jpeg

参考步骤为:

  1. 原始视频拆解为视频帧序列

  2. 针对每一帧通过 Stable Diffusion 进行风格化,并用 ControlNet 对人物轮廓和姿态进行控制

  3. 将生成的新的序列帧重新组合成为视频

从视频生成视频的角度,原视频只是用于风格化视频的轮廓或者动作,使用真人或者实景拍摄的原视频成本还是比较高的;我们不妨使用一些低成本的 3D 模型,比如只有轮廓,没有贴图,调色器,面数很低的模型,作为蓝本进行视频生成。这里采用一个例子:生成一个具有 cyberpunk 风的女孩跳桑巴舞,和一般的视频风格化不同,这个例子中舞蹈动作比较复杂,并且没有版权的原视频作为模版,那么我们可以采用具体步骤如下:

1. 将低成本人物模型导入 Blender 或者 Unity3D,并生成桑巴舞蹈动画。这里我们选择从 mixamo.com 网站上下载一个人物跳舞的模型组件,并转换为原视频如下:

a84e2eaa02a219bbc978dc0be97b4b64.gif

搭建基础 WebUI 环境并导入模型,按照根据生成式 AI 解决方案指南部署后,操作即可:

32180f9dd44c6eb27e5edd0d32cebd2d.jpeg

2. 导入视频,并输入提示词

使用提示词

Hyper realistic painting of a beautiful girl in a cyberpunk plugsuit, hyper detaled ,anime trending on artstation with mask (masterpiece:1.4), (best quality:1.2), (ultra highres:1.2) ,(8k resolution:1.0)

反向提示词

text, letters, logo, brand, close up, cropped, out of frame, worst quality, low quality, jpeg artifacts, ugly, duplicate, morbid, mutilated, extra fingers, mutated hands, poorly drawn hands, poorly drawn face, mutation, deformed, blurry, dehydrated, bad anatomy, bad proportions, extra limbs, cloned face, disfigured, gross proportions, malformed limbs, missing arms, missing legs, extra arms, extra legs, fused fingers, too many fingers, long neck

3. 进行视频风格化生成,打开 Mov2Mov 插件,这里的参数推荐如下:

Sample steps=20-30,
Generate movie mode=XVID,
CFG scale=7-10,
Denoising strength=0.2-0.3,
Movie frames=30,
Maxframe=60-90,
Controlnet 选择enabled,
Control weight 0.2-0.25。

点击生成后,得到的视频和原视频比较如下:

251d4cc2f2ab367b4976df71439c3776.gif

f0c5c7747291e004f6a89ae83f3e77cf.gif

20d0514201f989d53311e80d41541833.gif

具有主题的风格化视频

Stable Diffusion 社区具有丰富的风格化视频生成插件,其中 Deforum 是热度最高的插件之一,其原理是确定时间轴上的关键帧使用明确 Prompt 生成的创意图片,关键帧之间的过渡视频帧采用渐进的方式,并配合一定的 2D,3D 空间旋转,产生独特的效果,这种方式的提示词一般都是剧本的形式,原理如图所示:

f3885c85d68da948521cb8ed12fe5c20.jpeg

从风格化视频或者创意视频的角度,通过一定剧本转换为 prompt,再经过 Deforum 的串联,能达到表达一定主题的创意视频的效果,从制作角度这里还是有两个难点:

  1. 凭空写剧本很难将现实主题和创意视频进行关联;

  2. 创意视频/风格化视频效果本身还是由创意图片连接而成,很难把控其效果,并且视频生成消耗算力远大于图片生成,造成废片会导致算力浪费。

所以这里我们不妨在用简单的现实视频与创意视频交叉呼应的方式进行创作,这里的现实视频可能只需 2-3 秒的手机拍摄视频,并作为起始视频即可。这里采用一个例子:笔者参观某省级博物馆叙利亚文物展,突发感慨,想制作一个几十秒的风格化短视频,表达自己观看文物时感受的千年时代变迁,我们可以采用具体步骤如下:

1. 拍摄一段 3-5 分钟的自拍视频,表示初始主题,作为初始视频。由于目标是创意视频要发在社交媒体上,需要适配手机的尺寸,所以视频分辨率为 540*960

2. 准备 Web UI 的基本环境,包括模型和插件

3. 设置初始视频的某帧为初始帧,我们这里截取最后一帧为初始帧, 图像分辨率为 540*960,并在 Deforum 里设置初始帧,在 init tab 里选择 Use init,并填入文件地址

f84d9f7cede31942991a732c7c0d19fb.jpeg

4. 设置提示词,并设置旋转参数。这里有参数列表和推荐值如下表

864b9f7baef03088b86c97281b528e45.png

5. 编排适当的风格化提示词,并生成视频,这里提示词必须按照 JSON 格式,在这个规则的基础上,编排视频的情节

提示词如下:

{
“0”: “A Warrior in desolate landscape in Syria, with cracked earth, under a dark and stormy sky, Picasso style”,
“50”: ”  sunshine from the earth, ancient relics and mysterious symbols in Syria, Picasso style “,
“150”: “Egypt style building in Syria , Picasso style “,
“200”: “Rome style city with people from different races and cultures mingle and trade in the streets, markets in Syria, Picasso style “,
“250”: ” war between nations east and west of Syria,  the kings are seeking to preserve the balance of nature and magic, the other wanting to exploit it for power and profit, Picasso style “,
“300”: “gun smoke and flowers ,generals speech, Picasso style  “,
“450”: “bomb explosion on the sky, fires ,flames and smoke, blood and ashes , Picasso style -neg magnificent”,
“500”: “fate of people in the nation, peaceful hope, Picasso style”
}

反向提示词:

NSFW, worst quality, low quality, ugly, duplicate, morbid, mutilated, extra fingers, mutated hands, poorly drawn hands, poorly drawn face, mutation, deformed, blurry, dehydrated, bad anatomy, bad proportions, extra limbs, cloned face, disfigured, gross proportions, malformed limbs, missing arms, missing legs, extra arms, extra legs, fused fingers, too many fingers, long neck

6. 通过剪辑软件将现实视频与创意视频首尾呼应进行连接,得到完整视频,参考如下:

总结

在本文中,我们大致介绍了泛娱乐行业的视频内容制作场景中,通过不同插件和工具的配合,可以达到生成风格化视频和创意视频的目标。当然这只是冰山一角,在泛娱乐行业应用中,我们通过不断跟踪新的插件和模型,可以根据技术上的迭代达到泛娱乐内容的不断创新,同时和一些标准的媒体制作工具相结合,通过步骤的不断优化,达到可以高效生产创意内容的目的。

参考资料

1. 生成式 AI 行业解决方案指南:

https://aws.amazon.com/cn/campaigns/aigc/

2. 生成式 AI 行业解决方案指南 Workshop:

https://catalog.us-east-1.prod.workshops.aws/workshops/bae25a1f-1a1d-4f3e-996e-6402a9ab8faa

3. Stable-diffusion-webui:

https://github.com/AUTOMATIC1111/stable-diffusion-webui

4. Hugging Face:

https://huggingface.co/

本篇作者

3cdef00920e38cace3b177f3027bc00b.jpeg

明琦

亚马逊云科技行业解决方案架构师,主要负责媒体行业相关技术方案,并致力于泛娱乐行业中创新技术和客户体验相关解决方案的构建和推广,包括,虚拟现实,混合现实,生成式 AI,数字人等方向,具有多年的架构设计和产品开发经验。

a2083992d513a02363f951e78349a4d7.jpeg

白鹤

教授级高级工程师,亚马逊云科技媒体行业资深解决方案架构师,重点从事融合媒体系统、内容制作平台、超高清编码云原生能力等方面架构设计工作,在围绕媒体数字化转型的多个领域有丰富的实践经验。

6ce66ca10b750d3dcfe15440272ab45a.jpeg

汤哲

亚马逊云科技行业解决方案架构师,负责基于 Amazon Website Service 的云计算方案的咨询与架构设计,同时致力于亚马逊云服务知识体系的传播与普及。在软件开发、安全防护等领域有实践经验,目前关注电商、直播领域。

b0b0b6c3b1da8d345f58ba0edb261db1.gif

00cb5bf1f713102fb4066c393a2d9b9b.gif

听说,点完下面4个按钮

就不会碰到bug了!

aa0cc73952ec849b22fa855b2f462538.gif

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/90781.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

spark的使用

spark的使用 spark是一款分布式的计算框架,用于调度成百上千的服务器集群。 安装pyspark # os.environ[PYSPARK_PYTHON]解析器路径 pyspark_python配置解析器路径 import os os.environ[PYSPARK_PYTHON]"D:/dev/python/python3.11.4/python.exe"pip inst…

SQLyog中导入CSV文件入库到MySQL中

1.在数据库中新建一个表,设置列名(与待导入文件一致),字段可以多出几个都可以 2.右键表名,导入- - >导入使用本地加载的CSV数据 选择使用加载本地CVS数据 3.指定好转义字符,将终止设置为,号(英文状态下…

SciencePub学术| 智能计量类重点SCIE征稿中

SciencePub学术 刊源推荐: 智能计量类重点SCIE征稿中!信息如下,录满为止: 一、期刊概况: 智能计量类重点SCIE 【期刊简介】IF:2.0-2.5,JCR3区,中科院4区; 【版面类型】正刊&#…

多维时序 | MATLAB实现ZOA-CNN-BiGRU-Attention多变量时间序列预测

多维时序 | MATLAB实现ZOA-CNN-BiGRU-Attention多变量时间序列预测 目录 多维时序 | MATLAB实现ZOA-CNN-BiGRU-Attention多变量时间序列预测预测效果基本介绍模型描述程序设计参考资料 预测效果 基本介绍 1.Matlab基于ZOA-CNN-BiGRU-Attention斑马优化卷积双向门控循环单元网络…

【CSS】禁用元素鼠标事件(例如实现元素禁用效果)

文章目录 基本用法 基本用法 pointer-events 属性指定在什么情况下 (如果有) 某个特定的图形元素可以成为鼠标事件。实际运用中可以通过对auto 和none动态控制,来动态实现元素的禁用效果。 属性描述auto与pointer-events属性未指定时的表现效果相同,对…

vue3 setup+Taro3 调用原生小程序自定义年月日时分多列选择器,NutUI改造

vue3 setupTaro3 调用原生小程序自定义年月日时分多列选择器&#xff0c;NutUI改造 NutUI 有日期时间选择器&#xff0c;但是滑动效果太差&#xff0c;卡顿明显。换成 原生小程序 很顺畅 上代码&#xff1a; <template><view><pickermode"multiSelector&…

lodash常用方法笔记

_.fromPairs(pairs) 与_.toPairs正好相反&#xff1b;这个方法返回一个由键值对pairs构成的对象。 _.fromPairs([[fred, 30], [barney, 40]]); // > { fred: 30, barney: 40 }Object.fromEntries()有同样的功能&#xff0c;只是在高版本浏览器才支持&#xff1a; _toPai…

zabbix监控tomcat

一、zabbix监控Tomcat1.1 zbx-agent配置1.1.1 关闭防火墙&#xff0c;将安装 Tomcat 所需软件包传到/opt目录下1.1.2 安装JDK1.1.3 设置JDK环境变量1.1.4 安装启动Tomcat1.1.5 配置 JMX 1.2 zbx-server配置1.2.1 安装zabbix&#xff08;省略&#xff0c;可看上一篇博客&#xf…

汇编知识点之80x86指令系统

指令系统主要考虑以下几个方面&#xff1a; ①对PSW影响  影响/不影响/不定义 ②B/W  字节还是字操作 ③寻址方式 ④功能 ⑤格式 一、数据传送指令 1.通用数据传送指令 (1) MOV DST,SRC    &#xff1c;–>  (DST)<–(SRC) 注&#xff1a;1.二者不能同时为段…

ardupilot参数的mavlink实现

专业名词释义&#xff0c;参数缩写 gimbal 云台&#xff0c;万向接头 failsafe 故障保护 Collective&#xff1a; 总距 Swashplate &#xff1a; 倾斜盘 SW&#xff1a; Swashplate 倾斜盘 RSC&#xff1a; Rotor Speed Control RC&#xff1a; Radio Channel 无线通道 DDFP&am…

创建一个 React+Typescript 项目

接下来 我们来一起探索一下用TypeScript 来编写react 这也是一个非常好的趋势&#xff0c;目前也非常多人使用 那么 我们就先从创建项目开始 首先 我们先找一个 或者 之前创建一个目录 用来放我们的项目 然后 在这个目录下直接输入 例如 这里 我想创建一个叫 tsReApp 的项目…

docker部署springboot

基础知识 什么是docker 官网&#xff1a; Docker Docs: How to build, share, and run applications | Docker Documentation Docker 是一个基于go语言开发的开源的应用容器引擎&#xff0c;让开发者可以打包他们的应用以及依赖包到一个可移植的容器中&#xff0c;然后发布到…

指针---进阶篇(二)

指针---进阶篇&#xff08;二&#xff09; 前言一、函数指针1.抛砖引玉2.如何判断函数指针&#xff1f;&#xff08;方法总结&#xff09; 二、函数指针数组1.什么是函数指针数组&#xff1f;2.讲解函数指针数组3.模拟计算器&#xff1a;讲解函数指针数组 三、指向函数指针数组…

组态王-实现语音播报告警点位信息及语音通知-语音播报器|声光报警器|工业报警方案|语音报警器|工业报警器|语音播报模块

需求简介 本文将介绍组态王如何对产生的告警实现声光语音播报&#xff0c;根据不同的告警点位&#xff0c;朗读具体的告警内容。 本文使用大连英仕博科技有限公司生产的博灵语音通知终端A4与北京亚控开发的组态王进行联动。 本文章分2部分讲解 第一部分为demo调用演示第二部…

调试 SELinux

semanage port -a -t http_port_t -p tcp 82 题目&#xff1a; 非标准端口 82 上运行的 WEB 服务器在提供内容时遇到问题。根据需要调试并解决问题&#xff0c; 并使其满足以下条件&#xff1a; 系统上的 web 服务器能够提供/var/www/html 中所有现在有的 html 文件&#xff…

无涯教程-Perl - getpwnam函数

描述 此函数基于EXPR指定的用户名,从/etc/passwd文件提取的列表context中返回字段列表。通常这样使用- ($name,$passwd,$uid,$gid,$quota,$comment,$gcos,$dir,$shell) getpwnam($user); 在标量context中,返回数字用户ID。如果尝试访问整个/etc/passwd文件,则应使用getpwent…

Python 3 使用Hadoop 3之MapReduce总结

MapReduce 运行原理 MapReduce简介 MapReduce是一种分布式计算模型&#xff0c;由Google提出&#xff0c;主要用于搜索领域&#xff0c;解决海量数据的计算问题。 MapReduce分成两个部分&#xff1a;Map&#xff08;映射&#xff09;和Reduce&#xff08;归纳&#xff09;。…

idea常见错误大全之:解决全局搜索失效+搜索条件失效(条件为空)+F8失灵

问题一&#xff1a;全局搜索快捷键ctrlshiftf 突然失灵了&#xff0c;键盘敲烂了 都没反应&#xff0c;这是为什么呢&#xff1f; 肯定不是idea本身的原因&#xff0c;那么就是其它外在因素影响到了idea的快捷键&#xff0c;那么其它的快捷键为什么没失效呢&#xff0c;原因只有…

IDEA简单拷贝一份新项目记录

IDEA简单拷贝项目记录 拷贝后改项目名&#xff0c;然后iml 配置文件改项目名&#xff0c;然后 .idea 中的compiler.xml 里面的name标签改项目名。 就可以了

ubuntu中安装python

最简单方便的是 apt 使用第三方的 ppa 源&#xff0c;然后直接 apt 安装 python3.9 安装 software-properties-common 获取add-apt-repository命令&#xff1a;apt install -y software-properties-common添加第三方的 ppa 源&#xff1a;add-apt-repository ppa:deadsnakes/p…