title:斯坦福大学提出电影剧本可视化工具ScriptViz：能够根据剧本中的文本和对话自动检索相关的电影画面，帮助剧作家更好地构思和调整剧情
斯坦福大学的研究者们开发了一个电影剧本可视化工具ScriptViz工具，ScriptViz的工作原理可以简单地理解为一个智能助手，它帮助剧作家将文字变成生动的画面。
比如，如果剧作家写了一个在沙漠中的对话场景，ScriptViz会找到一些电影中在沙漠拍摄的镜头，并将这些镜头展示给剧作家。这样，剧作家就可以看到他们想要的场景是怎样的，并根据这些画面来调整和丰富他们的剧本。这种方法让剧作家在创作时不仅依赖想象，还能看到实际的视觉效果，从而更好地表达他们的故事。
下面来看一个例子：
一位编剧写了主角“戴夫”，他脾气暴躁，被困在沙漠中。她脑子里有几句话，如上图所示。她想在创作之初就为一天中的时间和其他角色的性别选择一个合适的设置。通过将这些设置为变体属性，她看到了三行不同的可视化效果，并更喜欢第三行。她看到的夜景更好地反映了角色们疲惫一整天的糟糕处境。背景中的枯树加强了这种紧张感，也通过在底部添加细节（粗体红色文字）改变了她的剧本。这些添加通过增强戴夫的个性创造了一个更好的主角。
｜Stanford｜ACM UIST 2024｜⭐️⭐️
用户界面
ScriptViz 界面由四个组件组成。用户输入AMPAS标准的脚本(A)，添加SQL格式的属性控制(B)组件，然后单击提交按钮(C)。 ScriptViz 提供来自不同电影场景的可视化输出 (D)，其中每个场景都包含一个既定的镜头概述以及脚本中每一行对话的图像。
相关链接
论文地址：http://arxiv.org/abs/2410.03224v1
项目主页：https://virtualfilmstudio.github.io/projects/scriptviz
论文阅读
ScriptViz：基于大型电影数据库的辅助剧本创作的可视化工具
摘要
编剧通常依靠心理可视化来创作生动的故事，他们利用想象力去观察、感受和体验他们正在写的场景。除了心理可视化之外，他们还经常参考电影中现有的图像或场景，并分析视觉元素以创造特定的情绪或氛围。
本文提出了ScriptViz，为编剧过程提供基于大型电影数据库的外部可视化。它根据剧本的文本和对话从大型电影数据库中动态检索参考视觉效果。该工具提供了两种对视觉元素的控制，使编剧能够
-
准确地看到他们想要的固定视觉元素
-
看到不确定元素的变化。
15位编剧的用户评估表明，ScriptViz 能够为编剧提供一致但多样的视觉可能性，与他们的剧本紧密结合并帮助他们创作。
方法
ScriptViz 建立在 MovieNet 之上，这是一个包含 1、100 部电影的数据库，这些电影在不同级别上进行了注释，具有各种属性，例如电影级属标签、场景级位置标签、镜头级电影风格标签和帧级角色边界框注释。一个关键步骤是对数据库进行预处理并提高每个属性的可识别性。使用时，ScriptViz根据用户的输入检索场景。它基于对视觉属性的两种类型的控制，使作者能够通过固定的视觉元素准确地看到他们想要的内容，并看到不确定元素的变化。然后它检索每个脚本对话序列的图像。
数据库预处理过程中提高各属性可识别性的方法。左图显示，我们计算设置标签和视觉帧之间的CLIP视觉文本相似度，以获得每帧设置标签的可识别性分数，并检测正面以获得每帧中每个字符的可识别性分数。右图显示我们的预处理方法可以成功检索建立镜头和角色的清晰帧。
unsetunset实验unsetunset
编剧在卧室里写了一场“遗嘱讨论”场景，哈里森先生是一位 80 多岁的老人，睿智，举止温暖善良，而詹姆斯则是一位年轻人，哈里森先生的儿子或孙子，体贴而细心。在使用 ScriptViz 之前，编剧脑子里已经有了一些基本的对话，如图 6 顶部所示。通过指定固定位置属性“卧室”和角色属性“2 个男性角色，其中 Character1Age>70 且 Character2Age=Variable” ，ScriptViz 返回结果如图 6 所示，其中第一行 James 的年龄为 30 岁，第二行为 10 岁，第三行为 50 岁。在所有这些可视化中，编剧选择了第三种，因为它更符合詹姆斯深思熟虑、细心的性格。根据第三个老人与年轻人交谈的形象、他们的面部表情和邀请的气氛，编剧放慢了对话的节奏，用较长的句子和诸如“我的孩子”和“充足的时间”之类的词。这种缓慢的节奏更能体现出哈里森先生温暖善良的性格编剧用较长的句子和诸如“我的孩子”和“充足的时间”之类的词语减慢了对话的节奏。这种缓慢的节奏更能体现出哈里森先生温暖善良的性格编剧用较长的句子和诸如“我的孩子”和“充足的时间”之类的词语减慢了对话的节奏。这种缓慢的节奏更能体现出哈里森先生温暖善良的性格
编剧编写了爱丽丝和鲍勃夫妇之间的争论场景。最初，她将场景设定在夜间的一家“餐厅”。她想写鲍勃，他的特点是自信且有点自以为是，正如他与爱丽丝的互动所表明的那样。然而，她对这场冲突的气氛仍然不满意。然后她意识到，由于爱丽丝和鲍勃已经互相认识，因此在更亲密或更随意的环境（例如家里）中引发冲突可能更合适。她把它改成了夜间的“餐厅”。于是，她将第一句的对话从“点菜”改为“做饭”比喻鲍勃入侵爱丽丝的厨房。在第三句话中，爱丽丝直接通过强调“厨房”来表达她的不高兴情绪。
编剧首先在约翰和斯黛拉的“客厅”中创造一段对话，以营造约翰在工作中面临的紧张局势。将地点更改为移动的“汽车”后，约翰变得更加忙碌，他的注意力分散在道路和谈话上，这给他的处境增添了更多的紧张感。因此，约翰的讲话断断续续地较短。在汽车场景中，约翰和斯特拉呈线性排列，约翰专注于驾驶，斯特拉作为乘客。这会产生一种分离感。
