SALSA使用探索

之前做项目时想实现人物说话的效果，因为我们的语音是AI合成的，有很多片段，如果能根据语音生成嘴部的动画，那将极大便利我们的工作。后面是找到了SALSA的这款插件，并摸索出使用方法。

1 插件介绍

官方网站：https://crazyminnowstudio.com/

这是一个能做2D纸片人和3D人物模型嘴部和眼睛动画的插件，由两人组成的独立工作室(疯狂米诺工作室)开发。

插件全名为SALSA With RandomEyes，2014年上架Asset Store，目前是已下架，替换为新版本，名为SALSA LipSync Suite。那么我们为什么不用新版本呢？问的好，因为…找不到能白嫖的资源，咳咳。

2 插件使用

最开始看官网的英文文档看不下去，就直接把插件导进来自己研究了，下面是使用探索的过程。

2.1 导入插件

插件不大，20多M，里面包含官方示例模型。

蓝奏云下载链接：https://guichai.lanzout.com/ipKZSyjd1pc（仅供学习用途，请购买正版）

2.2 官方示例

2.2.1 BlendShape

找到里面 Examples 中的 Models 文件夹，里面有3个模型文件夹，我们用 Ethan 里面的这个人形模型。

（顺便吐槽一句，官方的其他几个示例模型太难看了喂，找个美工做点好看的示例模型不行嘛，销量肯定能增一增啊喂）

模型拖到场景里，选择 char_ethan_body 这个子物体，看到 Skin Mesh Rendered 组件下有一个 BlendShapes，展开它。

这是个网格变形器，里面能看到不少可以调的参数。我们随便拉动一个，能看到人物脸部会发生相应变化。
这里重要的是前三个 (saySmall/sayMedium/sayLarge)，它是控制人物嘴型的。

2.2.2 Salsa 3D (嘴部动画)

给这个带BlendShape的物体加上 Salsa 3D 脚本。此时Audio Source组件也会被自动加上，因为这个脚本运行是依赖声音的。

看到第三个参数 Audio Clip 为空，我们可以点击右侧圆形图标随便 加一段音频。

然后可以点击 Auto-link Shapes，此时三个嘴型 (SaySmall/SayMedium/SayLarge) 会被自动匹配上，这个对应的就是前面讲的BlendShapes里面的那三个参数。

运行游戏，可以看到人物开始说话了。由此可以知道，插件是通过控制着三个嘴型来实现嘴部的动画效果的。

(脚本后面还有一些参数，可以对说话动画进行修改，各位自行调试看效果，这里就不讲了)

2.2.3 RandomEyes3D (眼部动画)

眼部动画也是类似的。添加 RandomEyes3D 脚本，看到下面 Look Up/Down/Left/Right 这些参数了吧，就是控制人物眼球转动的。然后还有一个 Blink，控制的是眨眼。

这里我不点Auto-Link，因为所有效果都加上，人的眼睛会左右上下的动，看起来实在太睿智。

所以我就只做个眨眼效果，把 Blink 改下。其实还应该把其他的设为 None，可惜没有这个选项。

运行游戏，能看到人物眼睛随机时间间隔进行眨动。

3 人物建模

3.1 思路

插件的原理是根据音频的波形形状，混合三种不同的初始嘴型产生相应的嘴型，那我们的人物模型必须包含这三个初始嘴型 (BlendShape)。

将示例人物模型导入3D max中，能看到BlendShape 对应max中 变形器 这个修改器，我们可以就此入手。

第一种思路，也是最合乎情理的思路，就是给现成的人物面部绑骨。绑好骨骼后，通过控制下颌骨实现人物嘴部开合，并调节嘴唇周围肌肉的形状，就能做出这3个嘴型，最后加到变形器里就可以了。

但因为我不会人物面部的绑骨，所以找到第二种方法。

第二种思路，通过Character Creator人物模型制作软件，生成我们初始的人物模型。这个软件生成的模型是附带全身骨骼的，不需要我们绑骨。其次，软件生成的模型也生成了变形器，能控制嘴部的肌肉。

我们可以直接通过这个带骨骼和变形器的人物模型来进行操作，省去前面的麻烦。

3.2 过程

3.2.1 CC生成裸模

使用 Character Creator 的 Headshot 插件，可以根据照片直接生成模型，非常方便。导入照片等插件运行完，我们细调一下脸部，再调整一下身高大小就可以导出了。

3.2.2 MD制作衣物

在CC中其实是有衣服模型的，但比较少，没有我们想要的。使用 Marvelous Designer 可以制作服饰，我们需要一件短袖加长裤，软件里面刚好自带了这个模板，就直接套用了。

3.2.3 MAX制作嘴型

鞋子模型网上随便找一个，在 3ds Max 给人加上。使用 蒙皮包裹修改器 把衣服的绑定问题解决。后面就是嘴型制作，主要是通过下颌骨骼与生成模型中自带的变形器完成。那么做好后就可以导入Unity里使用了。

3.2.4 详细流程

具体的操作如下，这是当时写的开发文档。导入Unity后还有些要处理的问题，后面部分没截了，反正应该没人真的想做吧。