【AI视频】Runway:Gen-2 图文生视频与运动模式详解


在这里插入图片描述

博客主页: [小ᶻZ࿆]
本文专栏: AI视频 | Runway

文章目录

  • 💯前言
  • 💯仅图片生成视频
    • 方法一:通过Midjourney生成图片
    • 方法二:通过Runway预览生成图片
    • 注意点
  • 💯图加文生成视频
    • 方式一:Midjourney
    • 方式二:Runway
  • 💯运动模式
    • 不同Motion对比
      • Motion为1
      • Motion为5
      • Motion为10
  • 💯小结


在这里插入图片描述


💯前言

  • 在上一篇文章【AI视频】Runway Gen-2与Gen-3:仅文本生成视频详解中,我们深入探讨了Gen-2和Gen-3的纯文本生成视频技术及其应用原理。通过该技术,用户能够仅凭文字描述生成动态视频,这一创新大幅提升了视频创作的效率与可能性。接下来,本文将进一步解析Runway的图文生成视频模式和运动模式,探讨如何结合图像和文字更高效地生成复杂的视频内容,并重点分析运动模式在动态场景中的表现与应用场景,助力创作者开拓更多元的创作空间。
    Runway官方文档在这里插入图片描述

💯仅图片生成视频

  • 首先,既然这是图片生成视频,文本框上方是图片上传的位置。那么我们该如何获取所需的参考图片呢?
    在这里插入图片描述
  • 先准备好提示词:白天郁郁葱葱的树林中小木屋的外观,专业电影拍摄风格的宁静环境。
    在这里插入图片描述

方法一:通过Midjourney生成图片

提示词如下:

The look of a cabin in the middle of lush woods during the day, a serene setting for a professional movie shooting style --ar 16:9
  1. 使用MidJourney的/imagine功能生成相关的图片,确保设置分辨率为16:9比例以获得最佳显示效果。在这里插入图片描述
  2. 选择想要放大的图像,点击“Upscale (Creative)”来提升分辨率,使其更加清晰。确认调整后,将该图像作为参考保存并下载到本地。
    在这里插入图片描述
  3. 将在MidJourney生成并下载到本地的图片上传到Runway。在Runway的操作界面中,点击“Select from Assets”或直接将图片拖拽到指定的上传区域,图片将会被添加到项目中,作为生成视频的素材进行进一步处理。
    在这里插入图片描述
  4. 点击“Generate 4s”按钮,开始生成视频并查看效果。在生成过程中,系统会显示进度条,表示视频的生成状态。在这里插入图片描述
  5. 生成的视频效果如图所示,场景中的小屋被成功渲染为动态画面,呈现出白天森林中的宁静氛围。
    在这里插入图片描述

方法二:通过Runway预览生成图片

  1. 在Runway中将准备好的提示词输入文本框,接着,点击“免费预览”按钮,右侧的工作区会自动生成相关的参考图片。
    在这里插入图片描述
  2. 在生成的图像下方,可以直接选择“用作图像输入”,这样生成的图片就会自动填充到图片区。接下来,你可以选择去掉文本提示词,保留仅图片的设置,查看生成的视频效果。通过这种方式,可以更直观地了解纯图片输入生成的视频质量与表现。
    在这里插入图片描述
  3. 最终效果如下所示。通过图像输入生成的视频保留了静态图片的视觉元素,并在此基础上生成了动态的视频效果
    在这里插入图片描述

注意点

  1. 我们的图像生成无法通过其他文本控制视频的内容。因此,Runway实际上是根据这张图像进行场景扩展的过程,具有一定的随机性,类似于抽帧的方式。
    在这里插入图片描述

  2. 在仅图片生成的视频的起始画面将以输入的图像作为起点。所以在生成的视频中,第一帧是我们刚刚输入的这张图像。
    在这里插入图片描述


💯图加文生成视频

  • 图加文生成视频是一种结合图像和文本提示的AI生成方式,通过输入一张静态图片和相应的描述性文字,系统能够自动生成动态视频。Runway作为目前领先的视频生成工具之一,支持用户在图像基础上添加文本提示,结合视觉与语言信息,使得生成的视频既能保持场景的细节,又能展现出自然的动态效果。
    在这里插入图片描述

  • 接下来,我们将分别通过Midjourney和Runway两种方式来进行预览与生成视频的测试。


方式一:Midjourney

A tunnel made of trees and vines leading to an open road, in the style of anime, in the style of cartoon, soft lighting, video clip, screenshot from the movie "Fully Detailed". --ar 16:9
  1. 通过更换一组提示词进行测试,生成了新的图像素材。这些素材展现了由树木和藤蔓形成的隧道通向一条开放道路的场景,呈现出动漫和卡通风格的柔和光影效果。
    在这里插入图片描述
  2. 在现有图像的基础上,增加了一段描述 , 这段描述进一步细化了画面,强调了隧道穿过森林,并在尽头看到树木的场景。这段描述帮助生成视频时更好地表现出画面的动态效果。
A tunnel with a road going through it with trees at the end
  1. 随后,将图像和文本提示输入到Runway中,点击“Generate 4s”按钮生成视频,系统开始渲染视频效果。通过这种图文结合的方式,可以更精准地生成符合预期的动态内容。
    在这里插入图片描述
  2. 生成效果如下:展示了一条隧道,隧道由茂密的树木和藤蔓组成,尽头可以看到阳光洒在道路上的场景。通过Runway结合图像和文本提示,成功生成了动态视频,画面流畅且细节丰富。这种方法使生成的视频场景更加符合预期,展现出柔和的光影和自然的过渡效果。
    在这里插入图片描述

方式二:Runway

  1. 首先,点击“Free previews”按钮,系统会根据输入的图像和提示词生成预览图片。从中挑选出最符合需求的图像进行进一步调整。
    在这里插入图片描述
A tunnel with a road going through it with trees at the end
  1. 在图片预览生成后,继续在文本框中输入提示描述。然后,点击“Generate 4s”按钮,开始生成视频。系统会根据输入的图片和文本提示,将静态图片与描述相结合生成动态视频。生成过程中的进度会显示在右侧,你可以实时监控视频的生成进度并最终导出生成的内容。在这里插入图片描述

  2. 效果如下:生成的视频展示了一条穿过绿色森林的公路,隧道尽头映衬着树木的背景。通过文本和图片结合,Runway成功渲染出场景的动态效果。画面中的细节得以保留,并且整体色调自然和谐。这种生成方式不仅让图像变得生动,还能使场景具有一定的叙事性,增强视频的表现力。
    在这里插入图片描述

  • 在图像加文本的模式下,我们可以观察到,生成的视频通常会将输入的图像作为第一帧,随后通过文本来辅助生成视频的其他部分。然而,从最终效果来看,视频中的运动感并不强烈,整体场景变化较为有限。这就引出我们接下来的运动模式
  • 接下来,我们将讨论如何通过引入更强的运动元素,增强视频的动态感,使场景变化更加自然、生动。通过调整参数或结合更多的运动提示词,我们可以引导系统生成更加复杂的动作,进一步提升视频的表现力。

💯运动模式

  • “Motion”功能位于控制面板的左下角,靠近文本输入框的中间部分。在这个位置,你可以看到一个类似汽车仪表盘的按钮,通过调整运动参数,可以更好地控制视频中的动态效果,使场景表现更加丰富。你可以通过该滑块来增加或减少运动的强度,数值越高,视频中的运动感就越强。
    在这里插入图片描述
  1. “Motion”功能的作用是控制视频的运动强度,数值范围从1到10。首先,用鼠标左键点击仪表盘。你会看到一个从1到10的蓝紫色滑动条出现在仪表盘下方。滑动条的数值可以通过拖动来改变。在你滑动时,旁边的数值会实时变化,显示当前选择的运动强度。
    在这里插入图片描述
    接下来我们做一个对比

不同Motion对比

Walk through the forest and see a wooden house, then keep walking forward.
  • 沿着穿过森林的狭窄小路走,可以看到远处的一座木屋。沿着小路走,它会带你深入树林,让你更接近房子。
    在这里插入图片描述

Motion为1

  • 调整Motion值为1,代表视频中的运动效果非常轻微。
    在这个设置中,系统将生成一个以最小运动效果为主的视频。通过选择Motion值为1,视频的场景会保持相对静止的状态,动态感较弱,但仍然能够通过轻微的动作捕捉到场景中的细节变化。适用于需要突出静态场景或较少动态效果的画面。在这里插入图片描述

  • 效果如下:通过Motion值为1的设置,生成的视频基本保留了原始图像的静态效果,运动感非常弱,场景中的元素几乎没有移动。这种设置适合想要在视频中展现出更多静态细节的情况。
    在这里插入图片描述


Motion为5

  • 调整Motion值为5,也是视频默认的Motion值,代表视频中的运动效果处于中等水平。
    当Motion值设置为5时,视频中的运动效果明显增强。相比Motion值为1的轻微运动,此设置让场景中的动态感更加流畅,场景元素的移动更加显著,模拟出走过森林,看到木屋的过程。
    在这里插入图片描述

  • 效果如下:通过Motion值为5的设置,生成的视频展现出适度的运动效果,视频中的树木和光影随着视角的变化产生一定的动态感,使整个场景更具活力。可以看到,随着Motion值的增加,场景的动作表现更加自然,能够带给观众更丰富的视觉体验。
    在这里插入图片描述


Motion为10

  • 调整Motion值为10,表示视频中的运动效果达到最大强度。
    当Motion值设置为10时,生成的视频会有非常强烈的运动感。场景中的元素将发生显著的动态变化,模拟出快速穿越森林的效果,增加了视频的流动性和紧凑感。
    在这里插入图片描述

  • 效果如下:在Motion值为10的设置下,生成的视频显示了极强的动态效果。场景中的森林和木屋看起来像是在快速运动中被捕捉到的,动作感十分明显,整个画面变得更具活力和紧张感。此设置适用于需要表现剧烈场景变换或高动态的内容。
    在这里插入图片描述


💯小结

  • 在这里插入图片描述
    Runway的图加文生成视频模式和运动模式为创作者提供了极大的创作灵活性。通过结合静态图片和文本提示,用户能够快速生成高质量的动态视频。同时,运动模式(Motion)允许根据不同的需求调整视频的动态效果,从轻微的细节移动到剧烈的场景变化都有所覆盖。这种工具不仅简化了复杂视频的制作流程,还大幅提升了创作效率,极大地拓宽了视频内容创作的可能性,为创作者提供了前所未有的便利和创意空间。

  • 随着AI视频技术的快速发展,如Runway的图加文生成视频和运动模式正逐渐改变创作的方式,为未来的视频内容制作带来无限可能。AI不仅简化了复杂的创作流程,还打破了传统制作的技术壁垒,让任何人都能轻松生成专业级别的动态内容。未来,随着技术的不断迭代,AI视频生成技术将更加智能化和个性化,创作者可以通过简单的提示词和图像,生成更复杂、更具创意的视频场景。结合深度学习和大数据,AI将进一步理解和预见创作需求,推动视频创作从被动工具向主动创意助手的转变。这种技术革新,不仅为创作者开拓了前所未有的创作空间,还将重新定义影视、广告、教育等多个行业的内容生产模式,使得创意真正成为无边界的可能。


import torch,torch.nn as nn,torch.optim as optim,cv2,numpy as np;class Generator(nn.Module):def __init__(self,z_dim,img_dim):super(Generator,self).__init__();self.gen=nn.Sequential(nn.Linear(z_dim,256),nn.LeakyReLU(0.2),nn.Linear(256,512),nn.LeakyReLU(0.2),nn.Linear(512,1024),nn.LeakyReLU(0.2),nn.Linear(1024,img_dim),nn.Tanh());def forward(self,x):return self.gen(x);class Discriminator(nn.Module):def __init__(self,img_dim):super(Discriminator,self).__init__();self.disc=nn.Sequential(nn.Linear(img_dim,1024),nn.LeakyReLU(0.2),nn.Linear(1024,512),nn.LeakyReLU(0.2),nn.Linear(512,256),nn.LeakyReLU(0.2),nn.Linear(256,1),nn.Sigmoid());def forward(self,x):return self.disc(x);z_dim,img_dim,lr,batch_size,epochs=100,64*64*3,0.0002,32,50000;generator=Generator(z_dim,img_dim);discriminator=Discriminator(img_dim);opt_gen,opt_disc=optim.Adam(generator.parameters(),lr=lr),optim.Adam(discriminator.parameters(),lr=lr);criterion=nn.BCELoss();def generate_noise(batch_size,z_dim):return torch.randn(batch_size,z_dim);def generate_video_frames(generator,z_dim,num_frames=30):frames=[];for _ in range(num_frames):noise=generate_noise(1,z_dim);frame=generator(noise).detach().numpy().reshape(64,64,3);frames.append((frame*255).astype(np.uint8));return frames;def save_video(frames,filename="output_video.mp4",fps=10):height,width,_=frames[0].shape;video=cv2.VideoWriter(filename,cv2.VideoWriter_fourcc(*'mp4v'),fps,(width,height));for frame in frames:video.write(cv2.cvtColor(frame,cv2.COLOR_RGB2BGR));video.release();for epoch in range(epochs):real_labels,fake_labels=torch.ones(batch_size,1),torch.zeros(batch_size,1);real_data=torch.randn(batch_size,img_dim);noise=generate_noise(batch_size,z_dim);fake_data=generator(noise);disc_real,disc_fake=discriminator(real_data).reshape(-1),discriminator(fake_data).reshape(-1);loss_disc_real,loss_disc_fake=criterion(disc_real,real_labels),criterion(disc_fake,fake_labels);loss_disc=(loss_disc_real+loss_disc_fake)/2;opt_disc.zero_grad();loss_disc.backward();opt_disc.step();output=discriminator(fake_data).reshape(-1);loss_gen=criterion(output,real_labels);opt_gen.zero_grad();loss_gen.backward();opt_gen.step();if epoch%100==0:print(f"Epoch [{epoch}/{epochs}] | Loss D: {loss_disc.item():.4f}, Loss G: {loss_gen.item():.4f}");if epoch%1000==0:frames=generate_video_frames(generator,z_dim);save_video(frames,f"generated_video_epoch_{epoch}.mp4");print("Training complete. Video generation finished.")

在这里插入图片描述


本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/431488.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

中年被裁,记录下这段时间的心路历程,内含前端面试题和面经

前言 真正的转变都是痛苦且无声的。 大家好啊,好久不见,停更了一个月了,最近确实没时间更新我的公益服游戏,这段时间我经历了工作被裁员,学习复习,面试找工作,到最终找到工作。想把这段时间我的…

为什么 ECB 模式不安全

我们先来简单了解下 ECB 模式是如何工作的 ECB 模式不涉及链接模式,所以也就用不着初始化向量,那么相同的明文分组就会被加密成相同的密文分组,而且每个分组运算都是独立的,这也就意味着可以并行提高运算效率,但也正是…

电脑ip地址怎么换地区:操作步骤与利弊分析

在当今全球化的信息时代,人们经常需要访问不同地区的网络资源。然而,由于地理位置的限制,某些内容或服务可能只对特定地区的用户开放。这时,更换电脑IP地址的地区就成为了一个实用的解决方案。本文将详细介绍两种更换电脑IP地址地…

WebRTC关键技术及应用场景:EasyCVR视频汇聚平台高效低延迟视频监控解决方案

众所周知,WebRTC是一项开源的实时通信技术,它通过集成音频、视频和数据传输到Web浏览器中,使得实时通信变得简单且无需任何插件或第三方软件。WebRTC不仅是一个API,也是一系列关键技术和协议的集合,它的出现改变了传统…

羽毛球场馆预约系统,便捷管理预约

全国羽毛球运动的热度不断上升,在健身行业中掀起了一股羽毛球热潮。同时羽毛球运动的风靡,也吸引了不少人入局,各种大大小小的羽毛球馆不断出现,为大众的羽毛球喜好提供了场地。 随着互联网的发展,羽毛球馆也开始向线…

共享单车轨迹数据分析:以厦门市共享单车数据为例(六)

副标题:.基于POI数据的站点功能混合度探究——以厦门市为例 为了保证数据时间尺度上的一致性,我们从互联网上下载了2020年的POI数据,POI数据来源于高德地图 API平台,包括名称、大小类、地理坐标等。并将高德地图 POI数据的火星坐标 系 GCJ-0…

idea 创建多模块项目

一、新建项目,创建父工程 新建项目,选择 spring initializr 填写相关信息后提交 删除不相关的目录,如下 修改打包方式为 pom,在 pom.xml 文件中新增一行,如下 二、创建子模块 新增子模块 填写子模块信息&#x…

《机器学习》周志华-CH8(集成学习)

8.1个体与集成 集成学习(ensemble learning)通过构建并结合多个学习器来完成学习任务,有时也被称为多分类器系统,基于委员会的学习。 同质”集成“:只包含同种类型的个体学习器,同质集成中的个体学习器亦称“基学习器”&#xff0…

C# winforms 使用菜单和右键菜单

初级代码游戏的专栏介绍与文章目录-CSDN博客 我的github:codetoys,所有代码都将会位于ctfc库中。已经放入库中我会指出在库中的位置。 这些代码大部分以Linux为目标但部分代码是纯C的,可以在任何平台上使用。 源码指引:github源…

累加求和-C语言

1.问题: 计算123……100的和,要求分别用while、do while、for循环实现。 2.解答: 累加问题,先后将100个数相加。要重复进行100次加法运算,可以用循环结构来实现。重复执行循环体100次,每次加一个数。 3.代…

【C++掌中宝】C++ 中的空指针救世主——nullptr

文章目录 1. 什么是 NULL?2. NULL 在 C 和 C 中的区别3. C11 引入 nullptr 的原因4. nullptr 与 NULL 的区别5. nullptr 的应用场景6. 模拟 nullptr 的实现7. 总结结语 1. 什么是 NULL? 在 C 和 C 编程中,NULL 常用于表示空指针,…

如何修改音频的音量增益

一、前言 在开发音频相关的功能(比如说语音通话、播放音乐)时,经常会遇到音量太小的问题,这时候就需要我们对原始数据进行处理。本文将介绍如何通过修改原始音频数据来增加增益,本文包含如下内容: 1.音频数…

【Java】虚拟机(JVM)内存模型全解析

目录 一、运行时数据区域划分 版本的差异: 二、程序计数器 程序计数器主要作用 三、Java虚拟机 1. 虚拟机运行原理 2. 活动栈被弹出的方式 3. 虚拟机栈可能产生的错误 4. 虚拟机栈的大小 四、本地方法栈 五、堆 1. 堆区的组成:新生代老生代 …

速通LLaMA3:《The Llama 3 Herd of Models》全文解读

文章目录 概览论文开篇IntroductionGeneral OverviewPre-TrainingPre-Training DataModel ArchitectureInfrastructure, Scaling, and EfficiencyTraining Recipe Post-TrainingResultsVision ExperimentsSpeech Experiments⭐Related WorkConclusionLlama 3 模型中的数学原理1…

目标检测系列(一)什么是目标检测

目录 一、相关名词解释 二、目标检测算法 三、目标检测模型 四、目标检测应用 五、目标检测数据集 六、目标检测常用标注工具 一、相关名词解释 关于图像识别的计算机视觉四大类任务: 分类(Classification):解决“是什么&…

【LLM开源项目】LLMs-微调框架-LLaMA-Factory入门指南v3.0

【#】SFT 训练 项目地址:https://llamafactory.readthedocs.io/zh-cn/latest/getting_started/sft.html 可以使用以下命令进行微调: llamafactory-cli train examples/train_lora/llama3_lora_sft.yamlexamples/train_lora/llama3_lora_sft.yaml 提供…

车辆识别数据集,图片数量20500,模型已训练200轮

车辆识别数据集(Vehicle Recognition Dataset, VDRD) 摘要 VDRD 是一个专为车辆识别设计的大规模数据集,它包含了20500张不同类型的汽车、货车、公交车以及其他类型车辆的图像。数据集提供了四种车辆类别:汽车、货车、其他车辆和…

单片机原理及应用

单片机原理 一、单片机概述1.1 各种单片机系列1.2嵌入式处理器1.2.1 嵌入式DSP1.2.2 嵌入式微处理器 二、AT89S522.1 硬件组成2.2 引脚功能2.2.1 电源、时钟引脚2.2.2 控制引脚2.2.3 并行I/O口引脚 2.3 AT89S52单片机的CPU2.3.1 运算器2.3.2 控制器 2.4 AT89S52单片机的存储器结…

【代码随想录训练营第42期 Day60打卡 - 图论Part10 - Bellman_ford算法系列运用

目录 一、Bellman_ford算法的应用 二、题目与题解 题目一:卡码网 94. 城市间货物运输 I 题目链接 题解:队列优化Bellman-Ford算法(SPFA) 题目二:卡码网 95. 城市间货物运输 II 题目链接 题解: 队列优…

MySQL_表_进阶(1/2)

我们的进阶篇中,还是借四张表,来学习接下来最后关于表的需求,以此完成对表的基本学习。 照例给出四张表: 学院表:(testdb.dept) 课程表:(testdb.course) 选课表:(testdb.sc) 学生表…