超维机器人在工业与能源领域的具身智能探索和应用

具身智能(Embodied AI)是指机器人能够通过其物理形态与环境的交互,进行感知、学习、决策和执行,从而完成复杂任务的能力。具身智能强调机器人不仅要具备感知环境和分析数据的能力,还要能够通过身体的行为和物理互动来适应环境变化,做出实时响应。

具身智能的特性包括自主性、适应性、学习能力和环境互动能力。在工业能源领域,智能巡检机器人需要面对多样化的设备、复杂的环境和不可预测的状况,因此,具身智能特性使得机器人能够应对这些挑战,通过自主巡航、实时避障、故障检测与预测、环境变化的应对等功能,提升巡检任务的效率和准确性。本文将从具身智能技术在巡检及操作任务上以及在导航上的应用两方面进行分

具身智能技术在巡检及操作任务上的应用

机器人在进行巡检任务时,以超维第三代室内轮式巡检机器人为例:

机器人在进行操作任务时,以超维第二代操作机器人为例:

痛点问题:

痛点1:针对新客户的不熟悉的现场,需重新训练每一个模型,并重新部署,交付成本高。

痛点2:老客户升级设备,或更换操作部件,仍需要重新训练每一个小模型,维护成本高。

痛点3:巡检机器人摄像头更换或图像的分辨率改变,模型都存在识别率降低或不识别的风险,仍需重新训练每一个模型。

基于小模型的方案算力需求小,好部署,但鲁棒性差,维护成本高,适合在数据不足时的开发。

得益于超维机器人在工业和能源领域多年数据积累,在开源的通用检测大模型GLEE的基础上,公司二次开发了应用于工业和能源场景的图像处理大模型。

根据操作业务及机械臂自动手眼标定需求,我们独立设计了3d深度估计的decode模块,实现了模型对深度的估计.GLEE并未包含图像的匹配模块。我们根据模型所提取的图像特征输出,设计了独立GNN(Graph Neural Network)模块,同时考虑图像上关键点的特征和位置信息,实现了图像匹配功能。以下为我们采用大模型后,各个任务指标的对比:

具身智能技术在导航上的应用

机器人在执行巡检和操作任务时,对导航的精度要求很高,一般要求误差在±5cm内,姿态误差在±3°内。

目前常用的感知定位方案( 建图过程):

SLAM导航痛点:

痛点1:在缺乏特征的场景下,相机和激光雷达的信息用传统的方法很难提取到有效的特征。例如在空旷的场景,例如田野,大的较为空旷的变电站,或室内特征相同的走廊通道,室外的林荫道等。

痛点2:

在极端天气下,如雨雪,大雾等天气,激光雷达和相机的工作受限,无法准确定位。

痛点3:

在环境变化的场景下,如设备升级改造,场地施工等情况下,原有的建图与目前的激光雷达和相机的感知结果不匹配,机器人导航定位就会丢失位置,无法导航。

痛点4:

在光照变化在环境变化的场景下,如设备升级改造,场地施工等情况下,原有的建图与目前的激光雷达和相机的感知结果不匹配,机器人导航定位就会丢失位置,无法导航。比较剧烈的情况下,利用传统机器视觉无法提取的图像特征信息,从而降低了感知定位的精度。

基于超维机器人开发的视觉大模型,采用自研的图像匹配模块,有效提高了处理图像信息的鲁棒性。目前能有效保证机器人在白天和黑夜有灯光情况下的巡检任务的精度需求。

采用图优化神经网络(GNN)开发了3d点云的匹配方案,当场景变化时,在线更新地图。

核心技术

超维机器人目前重点研发方向:

高压开关柜带电操作机器人

核心技术:

1、基于5G信号辅助的室内定位;

2 、结合视觉、听觉、触觉等传感器的数据,基于服务器端的大模型,实现端到端的环境感知,自主导航,决策规划及操作控制。

3、利用异常检测及预测模型,机器人可监视和预测自身状态,及时发现潜在故障,进行预警。

应用场景:变电站高压开闭室

研发成果与应用实例:湖北国网操作机器人科技项目、国神朔黄铁路操作机器人项目、大唐操作机器人项目等。

未来重点研发方向:具身智能操作机器人

核心技术:

1、感知与交互技术:多模态感知,自然语言及手势识别等交互;

2、决策与规划技术:通常基于深度学习等算法,能够处理复杂的任务和问题,并具备一定的泛化能力

3、运动控制技术:通过运动控制算法、驱动电机,实现对机器人的精准控制和稳定运动。

应用场景:

工业、能源等高危复杂场景

工作计划

巡检任务方面:研发统一视觉和语音信息的大模型,实现巡检任务,(包括巡检,语音识别和智能问答任务)的全流程的端到端模型,减少模型对算力的需求,降低部署成本,同时提高语音识别的准确率。

导航定位方面:研究整体的基于激光雷达,imu和视觉的端到端的神经网络导航模型,提高在不同极端天气下模型的鲁棒性。特斯拉的FSD模型有重要的参考左右,但其定位精度为10cm,需在它的基础上融合雷达,imu和gps信号,实现定位精度3cm内的需求。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/407154.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Cesium 视频纹理

Cesium 视频纹理 话不多说&#xff0c;直接上代码 <video id"video_dom"><source src"./video.mp4" type"video/mp4" /></video>var videoElement document.getElementById("video_dom");videoElement.play();vie…

145. 二叉树的后序遍历(递归法)

目录 一&#xff1a;题目&#xff1a; 二&#xff1a;代码&#xff1a; 三&#xff1a;结果&#xff1a; 一&#xff1a;题目&#xff1a; 给你一棵二叉树的根节点 root &#xff0c;返回其节点值的 后序遍历 。 二&#xff1a;代码&#xff1a; /*** Definition for a bin…

多进程和多线程基础概念LINUX

进程和程序的区别 程序是静态的&#xff0c;它是保存在磁盘上的指令的有序集合&#xff0c;没有任何执行的概念进程是一个动态的概念&#xff0c;它是程序执行的过程&#xff0c;包括了动态创建、调度和销毁的整个过程 并行&#xff1a;在 cpu 多核的支持下&#xff0c;实现物…

Linux--网络层 IP协议

目录 0.往期文章 1.IP基本概念 2. IP协议报头格式 3.网段划分 两种网段划分的方式 为什么要进行网段划分 4.特殊的IP 地址 5.IP 地址的数量限制 6.私有 IP 地址和公网 IP 地址*** NAT技术 认识公网 运营商扮演的角色 7.路由 8.16位标识&#xff0c;3为标志和13位…

SpringCloud之一注册中心(Eureka)

一、Eureka概述 Eureka是Netflix公司开源的一个服务注册与发现的中间组件。 在微服务架构系统之中&#xff0c;我们经常提三个角色&#xff1a;注册中心 (Register)、服务提供者(Provider)、服务消费者(Consumer)。 1.注册中心&#xff1a;服务提供者可以将服务发布到注册中心…

ClkLog常见问题-埋点集成篇Sec. 1

本篇主要解答ClkLog使用过程中【埋点集成】阶段的常见问题。 1.【指标项数据统计】 问&#xff1a;数据概览无法看到数据。 答&#xff1a;如果数据概览所有指标项都没有数据&#xff0c;则需要先检查埋点数据是否接收成功&#xff1b;如果只是会话相关数据&#xff08;访问次数…

《基于 Spark 的平替药品智能推荐方法》

&#x1f4e2; 大家好&#xff0c;我是 【战神刘玉栋】&#xff0c;有10多年的研发经验&#xff0c;致力于前后端技术栈的知识沉淀和传播。 &#x1f497; &#x1f33b; CSDN入驻不久&#xff0c;希望大家多多支持&#xff0c;后续会继续提升文章质量&#xff0c;绝不滥竽充数…

大型物流运输无人机技术详解

随着科技的不断进步和电子商务的蓬勃发展&#xff0c;大型物流运输无人机作为未来物流体系的重要组成部分&#xff0c;正逐步从概念走向实际应用。这类无人机以其超大的载重能力、高效的运输效率和广泛的覆盖范围&#xff0c;为解决远距离、大批量货物运输难题提供了创新方案。…

电机知识汇总

系列文章目录 1.元件基础 2.电路设计 3.PCB设计 4.元件焊接 5.板子调试 6.程序设计 7.算法学习 8.编写exe 9.检测标准 10.项目举例 11.职业规划 文章目录 前言1、电机发展史2、电机入门①、书籍②、视频③、开发文档④、博客 3、什么是步进电机4、基本结构和工作原理4、负载…

深入探讨量子计算领域在发展过程中所遇到的难题及其解决方案。

一、引言 量子计算作为未来科技的重要方向&#xff0c;其潜力巨大&#xff0c;但同时也面临着诸多技术挑战。这些挑战不仅制约了量子计算的进一步发展&#xff0c;也考验着科学家和工程师们的智慧和毅力。本文将探讨量子计算面临的主要技术挑战&#xff0c;并分析其可能的解决…

【前缀和算法】--- 一维和二维前缀和模板

Welcome to 9ilks Code World (๑•́ ₃ •̀๑) 个人主页: 9ilk (๑•́ ₃ •̀๑) 文章专栏&#xff1a; 算法Journey 本文开始,博主开始讲解有关前缀和的算法&#xff0c;本篇博客我们先来了解一下有关前缀和的两个模板。 &#x1f3e0; 一维前缀和模板 &…

【YashanDB知识库】共享集群YAC换IP

【标题】共享集群YAC换IP 【需求分类】安装部署&#xff0c;配置变更 【关键字】安装部署&#xff0c;更换IP&#xff0c;运维&#xff0c;配置变更&#xff0c;高可用&#xff0c;YAC 【需求描述】客户需要将已经部署的YAC集群更换IP&#xff0c;从测试网段切换生产网段 【…

【通信协议】I2C总线(一主多从)

目录 I2C简介 硬件电路 软件模拟初始化 基本单元 起始信号 停止信号 发送一个字节 接收一个字节 发送应答 接收应答 I2C基本单元代码 MyI2C.h MyI2C.c 完整数据帧 主机发送数据到指定从机 主机接收从机数据 主机发送后接收数据 学习资料分享 本博客使用软件模…

ARM工作模式

ARM ARM架构ARM七个工作模式寄存器异常向量表存储格式&#xff08;内存大小端&#xff09;汇编指令 ARM架构 RAM&#xff1a;随机访问存储器 ROM&#xff1a;只读访问存储器 AHB&#xff1a;先进高速总线 APB&#xff1a;先进外设总线 USB&#xff1a;统一串行总线 norflash&am…

Mac电脑遇到DNS解析失败,ip可以访问,域名无法访问

当Mac电脑遇到DNS解析失败的问题时&#xff0c;可以尝试以下几个解决方法‌&#xff1a; 1.检查网络连接‌&#xff1a;确保Mac已连接到可用的网络&#xff0c;并且网络连接正常。可以尝试重新连接Wi-Fi或使用有线连接来排除网络问题。 2.清除DNS缓存‌&#xff1a;打开终端应…

《通义千问AI落地—中》:前端实现

一、前言 本文源自微博客且已获授权,请尊重版权. 书接上文&#xff0c;上文中&#xff0c;我们介绍了通义千问AI落地的后端接口。那么&#xff0c;接下来我们将继续介绍前端如何调用接口以及最后的效果&#xff1b;首先看效果&#xff1a; 上述就是落地到本微博客以后的页面效果…

Java常用的网络IO模型与限流算法总结

什么是IO(Input/Output)? IO&#xff08;输入/输出&#xff09;指的是计算机系统中数据的输入和输出操作。它涉及从外部设备&#xff08;如硬盘、网络、键盘、鼠标&#xff09;读取数据&#xff08;输入&#xff09;和将数据发送到这些设备&#xff08;输出&#xff09;。IO操…

WPF如何获取DataGrid的选中行

在DataGrid中加入这一行 <MouseBindingCommand"{Binding OpenWindowCommand}"CommandParameter"{Binding ElementNameNewPlanDataGrid, PathSelectedItem}"Gesture"LeftDoubleClick" /> </DataGrid.InputBindings> 然后ViewModel中…

[每周一更]-(第111期):从零开始:如何在 CentOS 上源码编译安装 PHP 7.4

文章目录 系统信息&#xff1a;0、安装版本&#xff1a;1、下载/解压2、安装依赖3、配置autoconf4、配置参数5、编译和安装6、验证安装的插件6.1、配置php.ini6.2、配置opcache 7、错误7.1 Failed to connect to 2a03:2880:f10e:83:face:b00c:0:25de: Network is unreachable7.…

2024年最新Flink教程,从基础到就业,大家一起学习--Flink运行架构底层源码详解+实战

本文涉及到大量的底层原理知识&#xff0c;包括运行机制图解都非常详细&#xff0c;还有一些实战案例&#xff0c;所以导致本篇文章会比较长&#xff0c;内容比较多&#xff0c;由于内容太多&#xff0c;很多目录可能展示不出来&#xff0c;需要去细心的查看&#xff0c;非常适…