具身智能(Embodied AI)是指机器人能够通过其物理形态与环境的交互,进行感知、学习、决策和执行,从而完成复杂任务的能力。具身智能强调机器人不仅要具备感知环境和分析数据的能力,还要能够通过身体的行为和物理互动来适应环境变化,做出实时响应。
具身智能的特性包括自主性、适应性、学习能力和环境互动能力。在工业能源领域,智能巡检机器人需要面对多样化的设备、复杂的环境和不可预测的状况,因此,具身智能特性使得机器人能够应对这些挑战,通过自主巡航、实时避障、故障检测与预测、环境变化的应对等功能,提升巡检任务的效率和准确性。本文将从具身智能技术在巡检及操作任务上以及在导航上的应用两方面进行分
具身智能技术在巡检及操作任务上的应用
机器人在进行巡检任务时,以超维第三代室内轮式巡检机器人为例:
机器人在进行操作任务时,以超维第二代操作机器人为例:
痛点问题:
痛点1:针对新客户的不熟悉的现场,需重新训练每一个模型,并重新部署,交付成本高。
痛点2:老客户升级设备,或更换操作部件,仍需要重新训练每一个小模型,维护成本高。
痛点3:巡检机器人摄像头更换或图像的分辨率改变,模型都存在识别率降低或不识别的风险,仍需重新训练每一个模型。
基于小模型的方案算力需求小,好部署,但鲁棒性差,维护成本高,适合在数据不足时的开发。
得益于超维机器人在工业和能源领域多年数据积累,在开源的通用检测大模型GLEE的基础上,公司二次开发了应用于工业和能源场景的图像处理大模型。
根据操作业务及机械臂自动手眼标定需求,我们独立设计了3d深度估计的decode模块,实现了模型对深度的估计.GLEE并未包含图像的匹配模块。我们根据模型所提取的图像特征输出,设计了独立GNN(Graph Neural Network)模块,同时考虑图像上关键点的特征和位置信息,实现了图像匹配功能。以下为我们采用大模型后,各个任务指标的对比:
具身智能技术在导航上的应用
机器人在执行巡检和操作任务时,对导航的精度要求很高,一般要求误差在±5cm内,姿态误差在±3°内。
目前常用的感知定位方案( 建图过程):
SLAM导航痛点:
痛点1:在缺乏特征的场景下,相机和激光雷达的信息用传统的方法很难提取到有效的特征。例如在空旷的场景,例如田野,大的较为空旷的变电站,或室内特征相同的走廊通道,室外的林荫道等。
痛点2:
在极端天气下,如雨雪,大雾等天气,激光雷达和相机的工作受限,无法准确定位。
痛点3:
在环境变化的场景下,如设备升级改造,场地施工等情况下,原有的建图与目前的激光雷达和相机的感知结果不匹配,机器人导航定位就会丢失位置,无法导航。
痛点4:
在光照变化在环境变化的场景下,如设备升级改造,场地施工等情况下,原有的建图与目前的激光雷达和相机的感知结果不匹配,机器人导航定位就会丢失位置,无法导航。比较剧烈的情况下,利用传统机器视觉无法提取的图像特征信息,从而降低了感知定位的精度。
基于超维机器人开发的视觉大模型,采用自研的图像匹配模块,有效提高了处理图像信息的鲁棒性。目前能有效保证机器人在白天和黑夜有灯光情况下的巡检任务的精度需求。
采用图优化神经网络(GNN)开发了3d点云的匹配方案,当场景变化时,在线更新地图。
核心技术
超维机器人目前重点研发方向:
高压开关柜带电操作机器人
核心技术:
1、基于5G信号辅助的室内定位;
2 、结合视觉、听觉、触觉等传感器的数据,基于服务器端的大模型,实现端到端的环境感知,自主导航,决策规划及操作控制。
3、利用异常检测及预测模型,机器人可监视和预测自身状态,及时发现潜在故障,进行预警。
应用场景:变电站高压开闭室
研发成果与应用实例:湖北国网操作机器人科技项目、国神朔黄铁路操作机器人项目、大唐操作机器人项目等。
未来重点研发方向:具身智能操作机器人
核心技术:
1、感知与交互技术:多模态感知,自然语言及手势识别等交互;
2、决策与规划技术:通常基于深度学习等算法,能够处理复杂的任务和问题,并具备一定的泛化能力
3、运动控制技术:通过运动控制算法、驱动电机,实现对机器人的精准控制和稳定运动。
应用场景:
工业、能源等高危复杂场景
工作计划
巡检任务方面:研发统一视觉和语音信息的大模型,实现巡检任务,(包括巡检,语音识别和智能问答任务)的全流程的端到端模型,减少模型对算力的需求,降低部署成本,同时提高语音识别的准确率。
导航定位方面:研究整体的基于激光雷达,imu和视觉的端到端的神经网络导航模型,提高在不同极端天气下模型的鲁棒性。特斯拉的FSD模型有重要的参考左右,但其定位精度为10cm,需在它的基础上融合雷达,imu和gps信号,实现定位精度3cm内的需求。