基于大模型的智慧零售教育科研平台——技术方案

一、概述

1.1背景

        随着数字经济的快速发展和全社会数字化水平的升级,人工智能的积极作用越来越凸显,人工智能与各个行业的深度融合已成为促进传统产业转型升级的重要方式之一。ChatGPT的出现掀起了又一波人工智能发展热潮,人工智能行业发展势头强劲,市场规模持续上升,正逐步进入效率化生产阶段,为用户带来了更加个性化的服务和产品

        近年来,中国人工智能行业受到各级政府的高度重视和国家产业政策的重点支持,国家陆续出台了多项政策,鼓励人工智能行业发展与创新,《关于支持建设新一代人工智能示范应用场景的通知》《关于加快场景创新以人工智能高水平应用促进经济高质量发展的指导意见》《新型数据中心发展三年行动计划(2021-2023年)》等产业政策为我国人工智能产业发展提供了长期保障。而人工智能结合机器人,成为产业发展风向标,使机器人具有“智慧”,服务日常生活,成为机器人产业发展的流行趋势。

        2023年1月《“机器人+”应用行动实施方案》指出,当前,机器人产业蓬勃发展,正极大改变着人类生产和生活方式,为经济社会发展注入强劲动能。预计到2025年,制造业机器人密度较2020年实现翻番,服务机器人、特种机器人行业应用深度和广度显著提升,机器人促进经济社会高质量发展的能力明显增强。

        在智慧零售领域,大模型技术具有数据处理能力强、预测准确度高、智能化水平高等显著优势。通过构建庞大的数据集和复杂的算法模型,大模型能够实现对市场趋势的准确预测以及商品库存的智能管理,同时能够根据消费者的购物历史和偏好,提供定制化的购物体验,从而提高销售额和顾客满意度。

1.2简介

        以大模型技术与机器人技术在“智慧零售”这一垂直领域应用的实际需求为应用背景,模拟在无人零售店等新型零售模式场景中,大模型通过分析消费者行为数据,提供个性化的商品推荐;通过图生文技术和自然语言处理技术,提高交互效率和便捷性;通过智能机械臂完成对商品的识别、定位与抓取,通过图像识别技术实现商品识别和结算,提高购物体验,最终实现协助零售商户智能识别客户需求。功能如下:

  1. 智慧视觉辨识:利用大模型的强大计算能力和视觉识别技术,系统能够实现对货架上商品的高精度识别,确保每一个商品都能被精确地辨识和分类。
  2. 环境感知物体跟踪:结合大模型与深度学习算法,本功能可实时检测并追踪货架上商品的位置和状态,为智能物流和库存管理提供实时数据。
  3. 互动式语音交互:通过大模型集成的自然语言处理能力,平台可通过自然且友好的语音交互与用户沟通,提供即时信息反馈和导购服务。
  4. 洞察消费者辅助决策:利用大模型根据顾客行为、面部表情分析,生成消费者洞察报告,帮助零售商理解顾客需求,优化商品组合。
  5. 智能精准操控:以大模型技术为支撑,智能机械臂能够自动精准地识别目标商品,并完成复杂的抓取与搬运任务,展现了先进的自动化操作能力。
  6. 智能化结算分析:此功能集结大模型的数据分析和图像识别技术,能够在短时间内完成对结算区商品的自动识别和计价,提供一站式智能结算解决方案。​​​​​​​

 图1 .基于大模型的智慧零售教育科研平台

1.3特点

1.3.1

        基于大模型的智慧零售教育科研平台集主控与执行机构与一体,主控中采用目前主流的大模型与图文生成技术,通过自然语言处理,实现对外部环境的感知与分析;执行机构使用超轻量仿人机械臂,基于目标检测技术,通过机械臂运动规划等功能,完成任务执行与环境交互功能。基于大模型的智慧零售教育科研平台同时具备商业应用、教学实训及科研实验的特性,是融合应用与科教一体的平台,因此其支持各类型高校专业实训、课程设计、毕业设计等实训环节的教学,也满足各科研院所基础实验测试及二次开发需求,实训平台主要有以下优势:

  • 多功能性:基于大模型的智慧零售教育科研平台可以执行多种任务,包括语音交互、视觉抓取等。
  • 智能化技术支持:基于大模型的智慧零售教育科研平台集成了人工智能技术,例如机器视觉、深度学习及大模型等前沿技术,能够实现环境感知和自主决策,提升实验的智能化水平,并且对于前沿的人工智能技术具备良好的适配性,各类最新智能算法及AI解决方案能够轻松在平台上验证,对于高层次人才培养和深度科研探索有坚实的基础支撑。
  • 灵活性:平台结构设计灵活,可以在不同工作场景下自由移动和操作,适用于多种实验和项目需求。
  • 自动化程度高:基于大模型的智慧零售教育科研平台具备自动化控制功能,能够通过编程实现自动化操作和任务执行,提高实验效率和精度。
  • 跨学科应用:基于大模型的智慧零售教育科研平台涵盖了人工智能、控制工程、计算机等多个学科领域的知识和技术,可以为跨学科的实验和项目提供支持。
  • 实践创新教学:基于大模型的智慧零售教育科研平台为学生提供了实践创新的平台,可以进行项目设计、编程控制、系统集成等实践操作,培养学生的创新能力和实践技能。
  • 设备迭代更新:基于大模型的智慧零售教育科研平台采用模块化组成思想,每个组成部分都能够单独运行使用,因此后续升级与适配十分方便,用户无需整套返厂更新,使用配套器件即可更新硬件与软件。
  • 教学资料配套:基于大模型的智慧零售教育科研平台教学科研平台配套各类型教学资料,包括实训文档、开发文档、实训讲解视频、二次开发实践视频以及实践讲师现场教学等全面的教学支撑,为客户群体提供人性化与定制化的使用与开发服务。
  • 实训平台生态圈:基于大模型的智慧零售教育科研平台教学科研平台提供全方位的生态圈,用户可自行定制与替换各部件,以便完成特定的场景需求,并且基于大模型的智慧零售教育科研平台教学科研平台拥有独立的产品生态论坛,用户可以随时在论坛查找相关生态产品资料以及开发资料,极大地减少客户二次开发应用难度及周期。

1.3.2竞赛支持

        “中国机器人及人工智能大赛(CAAI)”是国内首个提出在机器人及人工智能领域,将关键技术的研发与应用有机结合的比赛。自1999年至2023年,中国机器人及人工智能大赛已成功举办了25届,已有600多所高校参与,累计超27万高校学生参赛是目前国内规模最大,影响力最强,专业水平最高的机器人竞赛。参赛院校及师生均可享受A类赛事奖励政策,其涉及计算机、电子、机械、信息、无人机、人工智能等方面,是多学科知识的本融合型大赛。产品能全面支撑师生参与CAAI的基于大模型的智慧零售赛项。

        智慧零售竞赛场景设置如下图所示,货架上摆放有矿泉水、可乐、薯片、牛奶等日常零售柜商品,直线导轨台放置在货架前方,机械臂固定在直线导轨台上,可水平移动。具体尺寸、商品类型、商品价格以后续赛事群公布为准。

1.4资源

        基于大模型的智慧零售教育科研平台配套全面的实训内容与资料,为教育客户群体提供涵盖机器人工程、人工智能、自动化、计算机、通信工程、电子信息等专业的课程教学与实训实验资源,并且提供产品论坛,用户可在论坛中交流与查找相关资料,产品的更新资料也会同步至论坛中,方便用户查收。

1.4.1课程

        基于大模型的智慧零售教育科研平台提供系统性的教学实验实训内容,包括实训文档及实训视频,深入浅出的讲解基于大模型的智慧零售教育科研平台相关原理与开发流程,以下是部分课程资源概览:

主题

课程

内容(简述)

课时

中控系统教学实训

Linux系统基础

  1. Linux系统说明;
  2. Linux系统安装;
  3. 常用Linux命令说明;

4

Python基础

  1. Python语言说明;
  2. Python环境搭建;
  3. Python基础语法;
  4. Python数据类型;
  5. Python函数说明;
  6. Python中Socket网络编程;

4

ROS操作系统

  1. ROS简介及ROS总体框架;
  2. ROS安装及测试;
  3. ROS中话题topic、服务Service、消息等介绍;
  4. 基于C++编写各节点;
  5. Launch文件说明及使用;
  6. TF变换说明;
  7. Rqt、RVIZ、Gazebo、Cvbridge工具介绍;

16

物联网平台

  1. 物联网简介及设备说明;
  2. 物联网通讯协议说明;
  3. 物联网传感器数据包获取及解读;

8

主题

课程

内容(简述)

课时

视觉系统教学实训

视觉传感器认知

  1. 视觉传感器简介及分类;
  2. 视觉传感器优缺点分析;
  3. 视觉传感器应用场景分析;

4

深度相机技术应用

  1. 深度相机简介及基础使用;
  2. 深度相机获取三维坐标;

4

深度学习及视觉识别技术

  1. 深度学习简介;
  2. YOLO5框架介绍及使用;
  3. 物体识别应用;
  4. 输出识别物体的坐标信息;

8

视觉识别二维码及颜色

  1. Opencv简介及环境安装;
  2. 基于Opencv的颜色识别实践;
  3. 基于Opencv的二维码识别实践;

6

手眼标定

  1. 手眼标定的意义;
  2. 使用Python实现基于六轴机械臂的手眼标定;

2

主题

课程

内容(简述)

课时

操作机构系统教学实训

执行机构本体

1.六轴机械臂简介及本体认知;

2.六轴机械臂通讯方法;

3.六轴机械臂示教器使用基础;

4.六轴机械臂示教器编程;

8

机械臂仿真系统

1.ROS机器人操作系统简介及认知;

2.RVIZ中显示机械臂模型;

3.使用Moveit工具编程;

4.Moveit控制Gazebo中的仿真机械臂;

5.Moveit仿真避障规划;

16

执行机构二次开发

1.JSON协议应用;

2.机械臂API应用;

3.机械臂透传移动控制;

4.在线编程及拖动轨迹文件编程;

16

执行机构集成技术

1.机械臂控制器对外接口应用;

2.机械臂末端对外接口应用;

3.机械臂集成2指夹爪及五指灵巧手应用;

4.机械臂集成真空吸盘应用;

8

主题

课程

内容(简述)

课时

智慧零售竞赛套件应用实训内容

机器人组成原理

1.机器人系统理论介绍;

2.机械臂运动规划详解及应用;

4

ROS机器人

操作系统

1.ROS通信原理;

2.moveit轨迹规划实践应用;

3.Gazebo仿真实践;

4

视觉抓取

  1. 3D视觉识别定位原理;
  2. 深度学习物体识别原理;
  3. 视觉抓取;

8

二次开发实训

  1. 语音语义识别实践;
  2. 人机交互实践;
  3. 具身智能应用实践;
  4. 大模型应用实践

8

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/337544.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Linux 深入讲解自动化构建工具

各位大佬好 ,这里是阿川的博客 , 祝您变得更强 个人主页:在线OJ的阿川 大佬的支持和鼓励,将是我成长路上最大的动力 阿川水平有限,如有错误,欢迎大佬指正 Linux一系列的文章(质量分均在93分…

Python魔法之旅-魔法方法(07)

目录 一、概述 1、定义 2、作用 二、应用场景 1、构造和析构 2、操作符重载 3、字符串和表示 4、容器管理 5、可调用对象 6、上下文管理 7、属性访问和描述符 8、迭代器和生成器 9、数值类型 10、复制和序列化 11、自定义元类行为 12、自定义类行为 13、类型检…

3、css3 手写nav导航条(互相学习)

效果例图&#xff1a; 1、首先呈现的是html代码&#xff1a; <!DOCTYPE html> <html lang"zh"> <head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-scale1.0"><…

西藏大学计科改考11408!西藏大学计算机考研考情分析!

西藏大学&#xff08;Tibet University&#xff09;&#xff0c;简称藏大&#xff0c;是西藏自治区所属的综合性大学&#xff0c;是列入教育部直属高校序列的教育部与西藏自治区人民政府合建高校&#xff0c;国家“211工程”重点建设大学&#xff0c;国家“双一流”世界一流学科…

【Linux 网络】网络基础(三)(其他重要协议或技术:DNS、ICMP、NAT)

一、DNS&#xff08;Domain Name System&#xff09; DNS 是一整套从域名映射到 IP 的系统。 1、DNS 背景 TCP/IP 中使用 IP 地址和端口号来确定网络上的一台主机的一个程序&#xff0c;但是 IP 地址不方便记忆。于是人们发明了一种叫主机名的东西&#xff0c;是一个字符串&…

法线方程实现最小二乘拟合(Matlab)

一、问题描述 利用法线方程实现最小二乘拟合。 二、实验目的 掌握法线方程方法的原理&#xff0c;能够利用法线方程完成去一组离散数据点的拟合。 三、实验内容及要求 对于下面的不一致系统&#xff0c;构造法线方程&#xff0c;计算最小二乘以及2-范数误差。 [ 3 − 1 2 …

【SQL学习进阶】从入门到高级应用(九)

文章目录 子查询什么是子查询where后面使用子查询from后面使用子查询select后面使用子查询exists、not existsin和exists区别 union&union alllimit &#x1f308;你好呀&#xff01;我是 山顶风景独好 &#x1f495;欢迎来到我的博客&#xff0c;很高兴能够在这里和您见面…

计算机网络——如何保证 TCP 传输的可靠性

TCP 是传输层上的协议&#xff0c;它是可靠的&#xff0c;面向连接的。 概括 1. 设置传输格式&#xff0c;包括分为 TCP 段、使用校验和、使用序列号 2. 数据丢失之后的重传&#xff0c;超时重传、快速重传、SACK 选择确认、D-SACK 重复选择确认 3. 流量控制&#xff0c;控…

研发效能DevOps: Ubuntu 部署 JFrog 制品库

目录 一、实验 1.环境 2.Ubuntu 部署 JFrog 制品库 3.Ubuntu 部署 postgresql数据库 4.Ubuntu 部署 Xray 5. 使用JFrog 增删项目 二、问题 1.Ubuntu 如何通过apt方式部署 JFrog 制品库 2.Ubuntu 如何通过docker方式部署 JFrog 制品库 3.安装jdk报错 4.安装JFrog Ar…

Jenkins常用插件与应用详解

&#x1f345; 视频学习&#xff1a;文末有免费的配套视频可观看 &#x1f345; 点击文末小卡片&#xff0c;免费获取软件测试全套资料&#xff0c;资料在手&#xff0c;涨薪更快 Jenkins是一个平台我们通过安装插件来解决我们想要完成的任务 1、Jenkins常用插件 Allure&#…

如何用ChatGPT上热门:完整使用教程与写作技巧

1. ChatGPT概述修订 ChatGPT是一款基于深度神经网络的语言生成技术&#xff0c;能够协助用户创造出各类高品质的文字材料&#xff0c;适宜广泛的应用场景&#xff0c;如编撰文章、文学创作及社交媒体内容生成。 2. 利用ChatGPT生成热门内容的基本步骤 为了有效利用ChatGPT创作…

python实现——综合类型数据挖掘任务(无监督的分类任务)

综合类型数据挖掘任务 航空公司客户价值分析。航空公司客户价值分析。航空公司客户价值分析。航空公司已积累了大量的会员档案信息和其乘坐航班记录&#xff08;air_data.csv&#xff09;&#xff0c;以2014年3月31日为结束时间抽取两年内有乘机记录的所有客户的详细数据。利用…

苍穹外卖数据可视化

文章目录 1、用户统计2、订单统计3、销量排名Top10 1、用户统计 所谓用户统计&#xff0c;实际上统计的是用户的数量。通过折线图来展示&#xff0c;上面这根蓝色线代表的是用户总量&#xff0c;下边这根绿色线代表的是新增用户数量&#xff0c;是具体到每一天。所以说用户统计…

关系数据库:关系运算

文章目录 关系运算并&#xff08;Union&#xff09;差&#xff08;Difference&#xff09;交&#xff08;Intersection&#xff09;笛卡尔积&#xff08;Extended Cartesian Product&#xff09;投影&#xff08;projection&#xff09;选择&#xff08;Selection&#xff09;除…

鹤城杯 2021 流量分析

看分组也知道考http流量 是布尔盲注 过滤器筛选http流量 将流量包过滤分离 http tshark -r timu.pcapng -Y "http" -T json > 1.json这个时候取 http.request.uri 进一步分离 http.request.uri字段是我们需要的数据 tshark -r timu.pcapng -Y "http&quo…

C++ 混合运算的类型转换

一 混合运算和隐式转换 257 整型2 浮点5 行吗&#xff1f;成吗&#xff1f;中不中&#xff1f; C 中允许相关的数据类型进行混合运算。 相关类型。 尽管在程序中的数据类型不同&#xff0c;但逻辑上进行这种运算是合理的相关类型在混合运算时会自动进行类型转换&#xff0c;再…

【会议征稿】2024年无人驾驶与智能传感技术国际学术会议(ADIST 2024)

2024年无人驾驶与智能传感技术国际学术会议&#xff08;ADIST 2024&#xff09;将于2024年6月28-30日在珠海召开。ADIST 2024旨在搭建学术资源共享平台&#xff0c;加强中外学术合作&#xff0c;促进自动驾驶和智能传感技术的发展&#xff0c;促进全球研究人员、开发人员、工程…

免费实现网站HTTPS访问

HTTPS&#xff08;Hypertext Transfer Protocol Secure&#xff09;是一种基于SSL协议的HTTP安全协议&#xff0c;旨在为客户端&#xff08;浏览器&#xff09;与服务器之间的通信提供加密通道&#xff0c;确保数据在传输过程中的保密性、完整性和身份验证。与传统的HTTP相比&a…

《云原生监控》-prometheus监测技术方案

部署环境 A主机: 系统: CentOS 7 应用: Docker( Prometheus Grafana Alertmanager CAdvisor ) 主机( Node Exporter Consul Confd ) B主机: 系统: CentOS 7 应用: Docker( CAdvisor ) 主机( Node Exporter ) 总体图 下载&#xff1a; Confd链接(0.16.0)…