创新实践分享:基于边缘智能+扣子的智能取物机器人解决方案

在 2024 年全国大学生物联网设计竞赛中,火山引擎作为支持企业,不仅参与了赛道的命题设计,还为参赛队伍提供了相关的硬件和软件支持。以边缘智能和扣子的联合应用为核心,参赛者们在这场竞赛中展现出了卓越的创新性和实用性,将边缘智能与扣子的技术巧妙地应用于机器人、家庭陪护、智慧康养、智慧座舱等多个领域 ,为未来行业应用结合大模型的 AIoT 解决方案探索出更多可能性。

本文将聚焦机器人领域,详细介绍“少年先疯”队伍,基于火山引擎边缘智能及扣子,打造的家庭助老助残智能取物机器人解决方案 。

多样化需求驱动家庭机器人智能化升级

据智研咨询报告显示,2021 年,我国 65 岁及以上人数增长至 20059 万人,增速达 5.22%。随着社会老龄化加剧,养老问题日益凸显,而护理人员由于工作负担重、薪水偏低等问题,已经出现了供不应求的局面。因此,家庭服务机器人的研究与应用是社会发展的必然趋势,对提高人民生活质量、缓解我国人口老龄化社会问题具有重要意义。德国国际机器人联合会发表的《世界机器人报告》中指出,消费者需求最强劲的是家用机器人领域,2022 年售出近 490 万台机器人。

然而,当前服务机器人的智能化程度还不能满足室内场景下人机交互需求。主要存在的问题包括:

  • 家庭劳动机器化需求: 在日益智能化和自动化的时代,家庭中仍有许多繁重的体力劳动需要手动完成,如搬运重物、清理大型杂物等。这些任务不仅耗时耗力,还可能对家庭成员,尤其是老年人和身体虚弱者,带来身体上的负担和安全隐患。

  • 家庭服务机器人功能单一: 现有的家庭服务机器人多为专用型,功能单一,如打扫、陪伴、安防等。为了全面满足家庭的多样化需求,通常需要购置多个不同类型的机器人,这不仅增加了购买成本,也提高了管理和维护的复杂性。此外,由于各机器人之间缺乏协同能力,用户体验往往不尽如人意。

  • 定位和导航精度低: 在复杂的室内环境中,家庭服务机器人面临着定位与导航精度的重大挑战。传统的定位技术在复杂环境中表现不佳,导致机器人在执行任务时无法准确识别自身位置或规划最优路径,影响任务执行效率和用户体验。

如何赋予机器人精准的取物、搬运能力?如何让机器人在生活层面真正实现养老助残?来自湖北工业大学的“少年先疯”队伍,通过运用火山引擎边缘智能与扣子的能力,打造家庭助老助残智能取物机器人。在先进智能机器人技术的基础上,通过深度学习,实现了目标识别、自主导航、主动避障、机械臂精准操作等智能化功能,将人工智能与物品搬运技术深度融合,构建高效的自动化物品搬运解决方案。

在实际运用中,家庭助老助残智能取物机器人不仅能整理玩具、清理垃圾,显著提升生活便利性,还能针对特定需求,如帮助老人拾取高处书籍、遥控器或地面小物件,并通过先进的识别技术安全递送,减轻老人身体负担。此外,机器人还具备家庭巡视功能,可以完成自主导航,检查老人安全状况,让家人更放心。

基于边缘智能 + 扣子的智能取物机器人设计方案

整体方案介绍

家庭助老助残智能取物机器人集成了家庭语音助手和安防功能,同时配备了自主导航与机械臂抓取技术,它能精确响应用户指令,自主导航至指定位置,准确抓取目标物体并将其递送至用户手中。

智能取物机器人解决方案,主要包括以下5个主要能力:

  • 自由度机械臂 利用高精度伺服电机和多自由度关节设计,实现对复杂空间中物体的灵活抓取和放置,提高取物效率和准确性。

  • 视觉识别系统 : 利用深度学习算法和高分辨率摄像头,进行物体识别和位置检测,确保机器人能够精准定位并抓取目标物品。

  • 语音控制: 集成自然语言处理技术,支持用户通过语音命令控制机器人,实现更加便捷的人机交互。

  • 安全保护机制: 配备传感器,实时监测机器人运行状态和环境变化,避免碰撞和意外情况,提高使用安全性。

  • 自学习算法: 利用机器学习技术,根据用户的使用习惯和需求,不断优化机器人动作策略,提高操作效率和用户满意度。

其中,通过火山引擎边缘智能帮助智能取物机器人接入和管理机器人大脑,连接主板所有设备信息,集成机器人搭载的摄像头,并实现了对设备数据的直观展示与记录,助力整体方案顺利运行,此外,通过火山引擎边缘智能和扣子的联合应用,还帮助机器人实现了定时巡逻、室内跌倒检测、监控预警 等能力。

边缘智能 + 扣子创新应用

“少年先疯”队伍将火山引擎边缘智能平台上的摔倒检测模型,集成到机器人的主板上,边缘智能的数据流处理模块负责收集模型检测的输出结果,这些结果将被开发者创建的虚拟设备捕获并存储。

此外,在扣子平台上设置了定时器触发机制,确保机器人在指定时间自动执行室内巡航任务。在此期间,扣子平台上的“检测屋内是否有人摔倒”工作流持续运作,通过 API 工具实时获取边缘智能平台中虚拟设备的最新数据。如果检测到虚拟设备的数据为“True”,表明室内有人摔倒,此时工作流将触发机器人发出语音警报,并将警报信息同步上传至边缘智能平台。

在监控功能方面,一旦检测到有人跌倒,机器人将立即发出警报,并将警报信息同步上传至火山引擎边缘智能平台,以此提醒监护人采取相应措施。

为实现整体效果,在基础设施层面,火山引擎边缘智能与扣子帮助机器人实现了:

  • 在一体机管理层面, 通过火山引擎边缘智能平台,接入了机器人的大脑——NVIDIA orin nano 开发板,实现对主板运行状态等信息进行监控。

  • 在设备管理层, 采用 MQTT 协议,将连接主板的所有设备信息,通过已部署的 MQTT 服务器托管至火山边缘智能平台,实现数据的直观展示与记录功能。同时,利用火山边缘智能平台兼容的官方 USB-Camera,将机器人搭载的摄像头集成至平台,为与扣子系统的后续联动打下坚实基础。

  • 在边缘推理方面, 火山边缘智能平台支持将机器学习模型直接部署至主板。通过将边缘智能提供的行人检测模型集成至主板,并通过已集成的摄像头设备监测室内行人流量,以判断是否存在非法入侵。模型推理的输出结果为在扣子系统中通过工作流实现 。

  • 在联合应用方面, 通过 URL 调用火山引擎联动扣子的插件,实现在扣子中对火山引擎中边缘智能平台上纳管的所有资源进行访问。通过利用工作流强大的多模块协同能力,实现了复杂的业务逻辑,如自动检测房屋内是否有行人闯入等,进一步丰富了机器人的功能。

在模型部署层面,智能取物机器人采用了火山引擎边缘智能平台的深度学习模型一键部署功能,轻松实现了稳定且精确的深度学习模型在机器人上的部署。同时,机器人还利用了边缘智能平台的数据处理能力,通过便捷的低代码工具对模型推理结果进行加工,使得扣子平台能够通过API工具轻松调用和获取这些数据。

用户可以在边缘智能平台上轻松部署原本需要大量时间和资源训练的深度学习模型,在扣子轻松定制模型推理结果的应用方式。这种便利不仅在家庭服务机器人中得到了有效实践,随着平台未来更多的互动和 API 工具的开发,边缘智能平台结合扣子的模式将开启更广阔的想象和创新空间。

解决方案效果展示

智能取物机器人拥有 4 种主要服务模式:

1.精准定位与靶向抓取模式。当用户对目标有清晰的需求时,下达明确指令,引导机器人精确抵达指定坐标并执行特定物体抓取。机器人遵循定位系统锁定目标,路径规划算法指引行进,抵达后执行物体识别与机械臂精准操控,确保任务顺利完成。

​​​​​​​2.导航、感知、抓取模式。 在此模式下,无需预设抓取对象,机器人先导航至用户指示的地点,抵达后,利用视觉及传感器技术对环境进行扫描,辨识潜在抓取目标。随后机器人将识别结果反馈给用户,用户可根据实际需求作出选择。此模式适用于用户对环境物体不熟悉或需即时决策的场景。

​​​​​​​3.垃圾清理模式。 机器人前往特定地点,如垃圾桶或指定清理区,进行垃圾处理。这个模式下,机器人先导航至垃圾集中区,利用视觉及传感器技术辨识垃圾位置与类别。确认后,机器人精准执行垃圾抓取,并将其运送至垃圾桶或处理点。

​​​​​​​4.巡航监察模式。 激活巡航模式后,机器人沿预定路线从起点启程,顺序巡视各个设定检查点,并最终闭环返回。途中,机器人在每个检查点停留执行规定的检测或任务。面对障碍物,机器人将展现出色的避障灵活性和路径规划效率。

END

随着技术的进步,智能取物机器人将朝着更智能化、个性化、人性化的方向发展,家庭看护行业的智能机器人将具备情感交互能力,更好地满足老人的心理需求,实现真正的家庭陪伴,让养老服务更加高效、温馨。未来,边缘智能与扣子的深度融合将为智慧家庭看护行业带来更多可能性。

资料来源:创新实践分享:基于边缘智能+扣子的智能取物机器人解决方案 - 文章 - 开发者社区 - 火山引擎

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/34364.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Python----数据可视化(Pyecharts一:介绍安装,全局配置,系列配置)

一、PyEcharts介绍 1.1、概况 Echarts 是一个由百度开源的数据可视化,凭借着良好的交互性,精巧的图表设计,得到了众多开发者的认可。而 Python 是一门富有表达力的语言,很适合用于数据处理。当数据分析遇上数据可视化时&#xff…

Cursor初体验:excel转成CANoe的vsysvar文件

今天公司大佬先锋们给培训了cursor的使用,还给注册了官方账号!跃跃欲试,但是测试任务好重,结合第三方工具开发也是没有头绪。 但巧的是,刚好下午有同事有个需求,想要把一个几千行的excel转成canoe的系统变…

【3DGS】SuperSplat本地运行+修改监听端口+导入ply模型+修剪模型+在线渲染3DGS网站推荐

SuperSplat官网代码:https://github.com/playcanvas/supersplat 本地安装和运行 Clone the repository: git clone https://github.com/playcanvas/supersplat.git cd supersplat Install dependencies: npm install Build SuperSplat and start a local web ser…

MySQL中的B+树索引经验总结

一、什么是B树 B树是一种二叉树,由二叉查找树,平衡二叉树,B树演化而来。 请看上图 B树的特点: 1)非叶子节点不存放数据,只存放键值,数据都存放在叶子节点中。 2)叶子节点都在同一…

C# NX二次开发:在多个体的模型中如何实现拉伸操作布尔减

大家好,今天接着上一篇拉伸文章去讲。 UF_MODL_create_extruded1 (view source) uf_list_p_tobjectsInputList of objects to be extruded.char *taper_angleInputTaper angle (in degrees).char *limit [ 2 ]InputLimit of extrusion. This is declared as: char …

【深度学习】多源物料融合算法(一):量纲对齐常见方法

目录 一、引言 二、量纲对齐常见方法 2.1 Z-score标准化Sigmoid归一化 2.2 Min-Max 归一化 2.3 Rank Transformation 2.4 Log Transformation 2.5 Robust Scaling 3、总结 一、引言 类似抖音、快手、小红书等产品的信息流推荐业务,主要通过信息流广告、信…

前端高级CSS用法

前端高级CSS用法 在前端开发中,CSS(层叠样式表)不仅是用来控制网页的外观和布局,更是实现复杂交互和动态效果的关键技术之一。随着前端技术的不断发展,CSS的用法也日益丰富和高级。本文将深入探讨前端高级CSS的用法&a…

How to install a package in offline scenario in Ubuntu 24.04

概述 做过信创项目的兄弟们在工作上每天可能面对很多需要解决的问题,不过,有一类问题可能是大家经常遇的,比方说,有时候我们不得不硬着头皮在离线生产环境中安装某些软件包,相信很多兄弟被这种细碎的小事搞得焦头烂额…

C++类与对象——拷贝构造与运算符重载

拷贝构造函数和赋值运算符重载就是C类默认六个函数之二。 拷贝构造函数: 如果⼀个构造函数的第⼀个参数是自身类类型的引用,且任何额外的参数都有默认值,则此构造函数 也叫做拷贝构造函数,也就是说拷贝构造是⼀个特殊的构造函数…

数学建模 第一节

目录​​​​​​ 前言 一 优化模型的类型 二 线性规划1 线性规划2 三 0-1规划 总结 前言 数学建模主要是将问题转化为模型,然后再以编程的形式输出出来 算法都知道,数学建模也需要用到算法,但是不是主要以编程形式展示,而是…

计算机网络——DNS

一、什么是DNS? DNS(Domain Name System,域名系统) 是互联网的核心服务,负责将人类可读的域名(如 www.baidu.com)转换为机器可识别的 IP地址(如 14.119.104.254)。它像一…

【软考-架构】5.2、传输介质-通信方式-IP地址-子网划分

✨资料&文章更新✨ GitHub地址:https://github.com/tyronczt/system_architect 文章目录 传输介质网线光纤无线信道 通信方式和交换方式会考:交换方式 💯考试真题第一题第二题 IP地址表示子网划分💯考试真题第一题第二题 传输…

基于SpringBoot+Vue的毕业论文管理系统+LW示例参考

1.项目介绍 系统角色:管理员、指导教师、评阅教师、学生功能模块:用户管理、毕业论文管理、课题信息管理、选题申请管理、课题任务管理、基础数据管理、公告信息管理、评阅教师管理、指导教师管理等技术选型:SpringBoot,Vue等测试…

文件系统 linux ─── 第19课

前面博客讲解的是内存级文件管理,接下来介绍磁盘级文件管理 文件系统分为两部分 内存级文件系统 : OS加载进程 ,进程打开文件, OS为文件创建struct file 和文件描述符表 ,将进程与打开的文件相连, struct file 内还函数有指针表, 屏蔽了底层操作的差异,struct file中还有内核级…

第十次CCF-CSP认证(含C++源码)

第十次CCF-CSP认证 分蛋糕满分题解 学生排队满分题解 Markdown语法题目解读满分代码 结语 分蛋糕 题目链接 满分题解 基本思路:我们需要保证除了最后一个小朋友之外的所有人,分得的蛋糕都大于等于给定的K值,为什么是大于等于,是…

MyBatis框架操作数据库一>xml和动态Sql

目录 配置连接字符串和MyBatis:数据库的连接配置:XML的配置: XML编写Sql:model层:mapper层: 动态Sql:if 标签和trim标签:where标签:Set标签:Foreach标签: Mybatis的开发有两种方式:: 注解和XML&…

编写Dockerfile制作tomcat镜像,生成镜像名为tomcat:v1,并推送到私有仓库。

1.具体要求如下: 基于rockylinux:8基础镜像; 指定作者为openlab; 安装tomcat服务,暴露8080端口; 设置服务自启动。 总结步骤:基于rockylinux:8,安装Java环境,安装Tomcat&a…

医院手术麻醉信息系统是如何为医院提质增效的?

近年来,随着HIS系统、LIS系统、PACS系统、EMR系统等信息系统的出现,医疗信息化已成为医疗领域推广的重点,显著提高了医院业务的运营效率。手术麻醉系统作为医院信息系统的一部分,由两个子部分组成:监测设备数据采集系统…

ios打包需要的证书及步骤

官网:https://developer.apple.com/account 避免他人登录apple账号的方法:就是让他们发测试设备的udid,手动注册到账号下,然后再给他们导p12证书和描述文件 iOS App Development iOS 开发版本签名(仅限 iOS App&#x…

C#特性和反射

1。特性概念理解? 特性(Attribute)是用于在【运行时】传递程序中各种元素(比如类、属性、方法、结构、枚举、组件等)行为信息的声明性标签。您可以通过使用特性向程序添加声明性信息。一个声明性标签是通过放置在它所…