随着无人机作业自主性、智能化、多任务等方面要求的提高，无人机从单机作业发展到集群作业，针对无人机集群协同算法开发过程中如何将集群协同算法从仿真环境迁移至真实环境且保证算法可靠性，一直是无人系统方向研究的重点。

数字孪生仿真以多维多空间多尺度模型将物理实体以数字化呈现，以多源异构的数据为纽带，将物理实体与虚拟空间运行实时连接、实时映射、实时刷新，以保证一致性。最终目的是借助虚拟空间的仿真、可视化等手段，基于数字孪生技术进一步提升物理实体验证能力。

01国内外发展现状

【国外发展现状】

美国国防部最早提出利用数字孪生技术，用于航空航天飞行器的健康维护与保障。首先在数字空间建立真实飞机的模型，并通过传感器实现与飞机真实状态完全同步，这样每次飞行后，根据结构现有情况和过往载荷，及时分析评估是否需要维修，能否承受下次的任务载荷等。2011年，美国空军研究实验室与NASA合作提出构建未来飞行器的数字孪生体，并将数字孪生定义为一种面向飞行器或系统的高度集成的多物理场、多概率、多尺度的仿真模型之后，才在相关研究领域真正引起关注，并在近些年得到飞速发展。

【 国内发展现状 】

在国内，刘青等学者对数字孪生的研究所进行的综述，认为2017年是数字孪生发展的转折点。2017年之前，对于数字孪生的认识还处于模糊阶段，故相关研究主要集中于概念的讨论，同时也探索了几种理论实现模型。到了2017年以后，研究数量大幅度增加，国内也有相当数量的学者参与研究，在对概念进行扩展、完善外，更探索出多种应用框架、新的模型和方式。进而国内数字孪生的研究逐渐向落地产品与实物验证过渡。

2020年，“新基建”首次写入政府工作报告，在对于该项热点的讨论中，“数字孪生”被不少代表和委员提及。2020年4月，国家发改委印发《关于推进“上云用数赋智”行动，培育新经济发展实施方案》中，方案提出要围绕解决企业数字化转型所面临的数字基础设施、通用软件和应用场景等难题，支持数字孪生等数字化转型共性技术、关键技术研发应用，引导各方参与提出数字孪生的解决方案。数字孪生技术受关注程度和云计算、AI、5G等一样，上升到国家高度。2020年9月11日，工信部副部长强调，要前瞻部署一批5G、人工智能、数字孪生等新技术应用标准。与此同时，随着数字孪生价值的不断上升，使用什么样的平台进行数字孪生系统的开发成为备受关注的热点问题。

02飞思虚实结合仿真开发平台

飞思实验室针客户数字孪生仿真应用开发不同需求和不同应用场景，特别研发了飞思虚实结合仿真开发平台。飞思虚实结合仿真开发平台基于飞思仿真开发平台构建精准的虚拟三维空间模型与无人机动力学模型，通过多种定位方式（室内动捕、UWB、RTK），建立虚实融合的无人系统集群协同感知验证平台，验证无人系统集群协同感知相关技术。通过将真实的数据导入仿真系统，提高仿真系统精度。将真实实验结果反馈到仿真环境中，不断改进仿真环境的模型和参数，逐步提高仿真环境的真实性，提高仿真结果的可信度，并降低从仿真环境迁移到真实环境的难度。

飞思虚实结合仿真开发平台应用如下图所示虚实结合的仿真构架，将仿真节点分为两类：实体节点和虚拟节点。其中，实体节点具有较高的模型精度，且将飞控系统、机载视觉计算机、组网通信链路等硬件实体直接接入仿真闭环，形成半物理仿真系统，实现更高精度和可信度的模拟实验效果；而虚拟节点基于专家知识、物理模型、物理空间等多维数据，进行建模和分析，构建物理实体的高保真数字孪生模型，在保证基本仿真精度需求的情况下，采用了简化的运动和控制模型，可以实现大规模无人机集群节点的快速模拟。因此，实体飞机节点精度高，但是占用硬件和计算资源多，在整体集群仿真中少量部署；而虚拟飞机节点精度稍低，但是占用资源少成本低，可在集群仿真中大量部署。通过合理配置实体飞机节点和虚拟飞机节点的数量，可以实现在成本与精度的平衡，实现大规模集群仿真较好的算法验证效果，同时，结合人工智能技术，通过数据融合分析、虚实交互反馈和决策迭代优化等手段，实现物理实体空间与数字虚拟空间的交互共融和智能化操作，提供无人系统集群智能方向的数字孪生解决方案。

仿真平台

（1）无人系统模型设计模块 

本模块模拟真实的无人载具系统，包含无人载具的动力学模型、运动学模型与底层控制模型。建立统一建模框架，在整个建模框架中，首先对机身系统进行高精度建模，然后在仿真计算机中实现，最后连接控制系统软件或硬件，构成软件在环仿真或硬件在环仿真闭环。

无人载具系统统一建模框架

（2）典型场景搭建模块 

典型场景模块使用地形的数字高程数据和真实遥感卫星影像来实时构造三维场景，提供城区、山地等多种地形的模拟，提供白天、夜晚等多种观察模式下的飞行环境，提供雨、雪、雾、多云、晴等天气效果选择。能够模拟飞机起飞、着陆过程，能够接收指定的位置和角度,实现相应视景的实时切换。

高逼真三维场景示例

（3）视觉感知模块

视觉感知模块主要实现无人系统的环境感知、视觉处理等功能。通过网络通讯节点接收视觉模块发送的无人系统视觉传感器数据，利用图像算法或人工智能完成视觉导航或态势感知。其控制架构图如下：

（4）分布式网络通讯模块

本系统采用分布式组网架构，不同的仿真模型可以运行在同一台电脑或者不同的电脑上。系统支持局域网内多台电脑上的多个软/硬件在环仿真系统组网，形成整体的集群仿真系统，实现大规模集群仿真的集中显示与控制。

多机视觉处理框架

（5）二次开发模块

1）提供接口协议，可自行构建无人系统模型

2）提供接口协议，可基于 Pixhawk /PX4 和MATLAB/Simulink进行飞控二次开发

3）提供典型场景模块设计SDK，能够自定义场景。对场景内的环境、设施及行人进行自定义。

INJECTION OF FAULTS

故障注入

提供系统故障注入接口，可实现的故障类型如下：

模型故障：提供Simulink模型和外部触发接口，可自行加入任意故障

通信故障：所有通信链路经过统一接口转发，可模拟延迟、丢包等

环境故障：支持障碍物等在三维引擎中生成

系统故障注入示意图

协同算法验证

可通过MATLAB/Simulink建立动力学模型和控制模型，在仿真环境下验证集群协同算法质量和有效性，如下图为8架无人机飞8字模型：

云仿真

飞思虚实结合仿真开发平台为满足客户大规模集群协同算法开发，可基于云平台技术部署实现，可无缝扩展，支持超大规模的模拟仿真应用。

硬件层为整个系统的硬件支持层，由于在云平台上构建，因此，向上提供的主要为虚拟化的资源，从而隐藏物理资源的复杂性，方便各类上层服务按需使用。

实飞平台

集群实飞平台可以在多种定位系统环境下（光学定位、UWB 定位、RTK 定位等）实现无人系统集群控制。本平台支持集群通信技术，在统一控制接口下实现无人载具的按照规划路线运动，验证多机、多车编队和协同控制等算法的有效性。

集群实飞单元总体架构

智能无人机

智能无人机使用高强度碳纤维和3D打印技术相结合设计制造。载重大，飞行时间长。内部采用激光定高和光流定点，性能优秀，飞行稳定，使用简单，一键起降。主要可应用于协同编队、分布式集群控制、室内slam导航、视觉跟随、目标识别、人工智能开发等领域。

具备如下功能和特点：

支持机载分布式集群控制算法开发；

具有光流增稳、激光定高功能；

支持基于模型设计开发；

支持ROS二次开发；

支持matlab二次开发；

支持光学定位系统、UWB、GPS导航定位；

当该款无人机搭载机载计算机（支持运行视觉识别slam相关算法）、双目相机等视觉类机载传感器，可形成一个智能体视觉slam开发平台，能够支持辅助室内飞行的相关研究。

协同算法实飞验证

通过实飞来验证集群协同算法的有效性，进而反馈到仿真，实飞和仿真之间相互促进，进而优化集群协同算法。

（1）集中式无人机集群控制实例：

无人机集群控制实例由以下9部分组成：

①　飞行器状态获取模块：通过此模块可以接受optitrack发送的droneyee位置和姿态信息。

②　飞行器路径生成器：此模块产生给飞行器期望的位置和偏航角，若需要执行其他的飞行任务，可以在此模块中修改期望的轨迹。

③　飞行器控制器：此控制器的输入是期望的位置，输出是期望的速度和偏航角速率。

④　控制指令发送模块：将③控制器的输出发送给droneyee飞行器。

⑤　绘图模块：绘制飞行器在飞行过程中的三维运动轨迹。

⑥　绘图模块：绘制飞行器的路径，调试的时候使用，用于判断生成的轨迹是否正确合理。

⑦　数据logger模块：将飞行器飞行过程中的实际状态和期望状态保存到MATLAB工作空间中，可用于分析飞行状态。

⑧　电量查看模块：可以看到每个飞行器的剩余电量百分比。

⑨　实时控制模块：此MATLAB模型的运行速度快于实时时间，加入这个实时模块保持MATLAB运行速度与实际时间一致。实飞例程如图：

（2）分布式集群协同控制

该系统主要依赖于多种定位系统，定位系统的高精度，能够对集群协同控制提供有效的支持和保障。通过高精度定位、自组网通信、信息融合处理等技术相结合可实现分布式集群控制。该系统逻辑关系如下图所示：

系统逻辑关系图

实飞验证如图：