数据手套原理介绍
数据手套是指通过在手套内置传感器,采集手部运动数据的硬件设备,通常用于模拟仿真、虚拟现实(VR)交互、动画制作等领域。现在市面上主流的数据手套从传感器技术角度主要分为惯性、光纤以及光学三大类。
纯光学的数据手套一般在手套关节上布置红外反光小球,通过外置的多个红外摄像头拍摄捕捉进行定位,该类数据手套常与光学全身动捕系统配套使用,但是由于手部动作容易被遮挡且手指上红外定位点过小更容易丢失,所以对相机的分辨率帧率要求较高,成本也同样较高。
光纤数据手套采用光纤传感器,精度较高稳定性和数据可重复性也不错,但是售价太过高昂,一般用于科研用途少量采购,如头部品牌cyberglove、5DT等,常出现于各类科研论文中。另外光纤传感器在手指上的布置更加复杂,每只手需要18甚至22个光纤传感器横向/纵向交叉分布,这也增加了其进行校准的难度。由于用户的手型差距,如果不进行严格的校准,其表现出来的效果和理想效果会有很大差距。
惯性数据手套的优点是成本低,没有遮挡问题,使用前不需要搭建室内定位场地,基本可以做到开箱即用。惯性传感器所广为诟病的缺点就是其漂移(drifting)问题,但实际上在地磁传感器的加入以及合适的滤波算法优化下是可以做到零漂移的,只是由于地磁传感器容易被环境中其他硬磁/软磁物体干扰,导致数据偏差。要知道地磁场强度一般在50uT,而一些常见的磁性干扰源如音箱、电脑主机机箱、手机等,其表面磁场强度高达几百uT。但是好在磁场强度随距离增加三次方衰减,所以只要稍微远离这些磁性干扰,传感器的数据可信度就是没有问题的。另外必须要注意的是,人手部关节虽然多,但是都是满足一定的人体运动动力学的规律,关节之间有一定约束的,所以根据这些约束条件对传感器数据进行优化会得到更准确的数据。
上述几种类型的数据手套在其合适的应用场合下,精度和效果应该都是没有问题的,主要还是针对不同场景选择适合的数据手套即可。例如你是已经使用或购买了光学全身动捕系统的影视制作公司,那么可以选用同一厂家配套的数据手套,这样在制作流程配合度上会比较好。同理,如果是使用惯性全身动捕系统,那么就使用惯性的手套,以避免硬件方案成本的重复投入。而如果你是希望将数据手套应用于虚拟现实(VR)应用中,用于替代手柄,那么推荐使用惯性数据手套,成本低使用简单,内容开发难度低。
应用场景介绍
以我们团队研发的VRTRIXTM 数据手套为例,被广泛应用于如下领域:
- 影视制作与动作捕捉:数据手套广泛应用于影视工业上,主要用于对手部精细动画的生成,提高动画师工作效率,VRTRIXTM 数据手套可以轻松与各种主流光学全身动作捕捉系统进行对接,提供专业的动作捕捉支持。
- 虚拟现实与人机交互: VRTRIXTM 数据手套提供虚拟现实交互解决方案,可以在虚拟现实场景下,高精度低延迟的渲染出手部3D动作,提供主流游戏引擎(Unity3D以及UE4)的支持,并开源提供示例demo交互场景,让开发者更容易上手进行二次开发。
- 工业仿真与机器人:利用VRTRIXTM 数据手套,可以开发出工业模拟仿真的高复杂度系统,将原本高成本、高风险、高环境要求的工业培训置于低成本、安全可控的虚拟场景之中。除了应用于教学和培训,数据手套还可以用来进行一些机器人/无人机科研项目的研发,例如可以通过捕捉人手数据实现机械手的遥操作等功能。
- 医疗康复与仿真: VRTRIXTM 数据手套可以用于一些医疗操作中数据的采集和分析,也可以用于病人手部的康复程度评估。例如可以将康复过程中患者的手指、手臂的动作状态以三维模型的方式实时呈现,在康复训练的同时收集数据,可以帮助医师对康复效果进行评估,并定制下一步康复方案。
- 虚拟偶像直播:VRTRIXTM 数据手套可以与全身动捕系统结合,用于驱动虚拟偶像全身骨骼运动,可以将真人表演者的肢体动作,手部动作以及面部表情等一一精准低延迟的还原展现在虚拟主播上,并通过直播的形式实时推流到用户端设备上。
VRTRIX 数据手套介绍
VRTRIXTM 数据手套通过遍布全手的高性能9轴MEMS惯性传感器实时采集各指头关节运动数据,并通过反向动力学还原骨骼运动,可以在虚拟现实的场景中实现对真实手部运动的重现,并进行精细的手部运动还原和交互。每只手套上根据不同的型号,分别分布有6个/7个/11个传感器,可以实时高精度低延迟输出全手所有关节的运动姿态。
VRTRIXTM 数据手套提供主流游戏引擎插件(包括Unity3D 以及UE4),以供开发者在Unity3D 以及UE4平台下接入数据手套硬件进行驱动。支持模型动作实时渲染,手势识别,虚拟现实支持,虚拟现实环境下的交互以及与全身动捕的整合。开发者可以通过插件SDK中开放的API接口和场景示例工程,与原有虚拟现实项目进行整合,或者与全身动捕设备进行整合。
VRTRIXTM 数据手套支持通过插件在MotionBuilder中对手套数据进行实时观看,录制以及回放,支持通过插件在MotionBuilder界面下将手部骨骼数据与模型进行骨骼朝向和骨骼长度的匹配,对手部骨骼数据解算算法进行微调,实现MotionBuilder平台下与全身动捕系统的对接。
VRTRIXTM 数据手套支持通过C++ API提供的动态链接库对手套数据进行访问,读取手套实时数据流,获取手部各关节姿态,硬件信息例如电池电量以及信号强度等,同时可以控制手套掌心震动模块。
下面附上产品演示效果:
VRTRIXGloveDemo
VRTRIX数据手套PRO演示视频