基于Spring Boot的智能分析平台

项目介绍：

智能分析平台实现了用户导入需要分析的原始数据集后，利用AI自动生成可视化图表和分析结论，改善了传统BI系统需要用户具备相关数据分析技能的问题。该项目使用到的技术是SSM+Spring Boot、redis、rabbitMq、mysql等。在项目中，使用第三方AI助手平台编写一段系统预设prompt来生成指定的json，全局指定助手的职责、输入内容和回复格式。在项目中，由于AIGC是一个消耗资源和成本的重操作，所以使用了redisson提供的rateLimiter实现对单用户使用AI生成图表功能的限流，以保护系统。在AI生成内容时，处于服务能力的考虑，可能会出现第三方接口处理和返回时长较长，就引入异步化来提高用户体验，使用自定义线程池（JUC并发包中的ThreadPoolExcutor）+任务队列来管理线程、协调任务的执行。最后本项目使用RabbitMq把任务提交改为向消息队列发送消息来解决异步化是通过本地线程池实现带来的限制，实现应用解耦。测试得出，若应用程序中断，消息未确认，还会重发消息用以消费。

界面展示：

需求分析：

1.智能分析：用户输入目标和原始数据，自动生成图表和结论

2.图表管理

3.图表生成的异步化（消息队列）

4.对接AI能力

技术栈：

Spring Boot+Mysql+Mybatis Plus+消息队列（RabbitMQ）+AI能力

数据库表设计

1.用户表

-- 用户表
create table if not exists user
(id           bigint auto_increment comment 'id' primary key,userAccount  varchar(256)                           not null comment '账号',userPassword varchar(512)                           not null comment '密码',userName     varchar(256)                           null comment '用户昵称',userAvatar   varchar(1024)                          null comment '用户头像',userRole     varchar(256) default 'user'            not null comment '用户角色：user/admin',createTime   datetime     default CURRENT_TIMESTAMP not null comment '创建时间',updateTime   datetime     default CURRENT_TIMESTAMP not null on update CURRENT_TIMESTAMP comment '更新时间',isDelete     tinyint      default 0                 not null comment '是否删除',index idx_userAccount (userAccount)
) comment '用户' collate = utf8mb4_unicode_ci;

2.图表信息表

-- 图表表
create table if not exists chart
(id           bigint auto_increment comment 'id' primary key,goal				 text  null comment '分析目标','name'          varchar(128) null comment '图表名称',chartData    text  null comment '图表数据',chartType	   varchar(128) null comment '图表类型',genChart		 text	 null comment '生成的图表数据',genResult		 text	 null comment '生成的分析结论',status       varchar(128) not null default 'wait' comment 'wait,running,succeed,failed',execMessage  text   null comment '执行信息',userId       bigint null comment '创建用户 id',createTime   datetime     default CURRENT_TIMESTAMP not null comment '创建时间',updateTime   datetime     default CURRENT_TIMESTAMP not null on update CURRENT_TIMESTAMP comment '更新时间',isDelete     tinyint      default 0                 not null comment '是否删除'
) comment '图表信息表' collate = utf8mb4_unicode_ci;

调用AI：

系统预设（提前告诉他职责、功能、回复格式要求）+分析目标+压缩后的数据

系统预设例子：你是一个数据分析师，接下来我会告诉你我的分析目标和原始数据，请帮我分析并告诉我结论。

Prompt 预设：

你是一个数据分析师和前端开发专家，接下来我会按照以下固定格式给你提供内容：
分析需求：
{数据分析的需求或者目标}
原始数据：
{csv格式的原始数据，用,作为分隔符}
请根据这两部分内容，按照以下指定格式生成内容（此外不要输出任何多余的开头、结尾、注释）
【【【【【
{前端 Echarts V5 的 option 配置对象js代码，合理地将数据进行可视化，不要生成任何多余的内容，比如注释}
【【【【【
{明确的数据分析结论、越详细越好，不要生成多余的注释}

业务流程开发：

生成图表：AI无法直接生成现成的图表、但是AI可以生成图标代码--->可以把代码利用前端的组件库（Echarts）在网页展示

后端接口开发：

根据用户的输入，最后返回图表信息和结论文本

1.构造用户请求：用户消息、csv数据、图表类型

2.调用SDK，得到AI响应结果

3.从AI响应结果中，取出需要的信息

4.保存图表到数据库

项目优化：

1.校验文件传入：解决用户上传一个超大的文件

2.限流：解决用户频繁点击提交，导致服务器资源被占满，其他用户无法使用，控制成本，限制用户调用总次数

限流的相关知识点-CSDN博客

3.异步化：解决调用的服务处理能力有限，或者接口的处理时间较长。当用户要进行耗时很长的操作时，点击提交后，不需要在界面等待，而是把这个任务保存到数据库中记录下来。当任务提交成功时，如果我们的程序还有多余的线程空闲，可以立刻执行这个任务，若没有空闲的，则放入到等待队列中。当任务提交失败时，若没有空闲线程，任务队列满了的情况下，会拒绝这个任务或者保存到数据库中记录失败的任务，并且在程序空闲的时候，可以把这个任务拉出来在执行。

4.自定义线程池：解决线程管理复杂、任务存取复杂问题。使用线程池帮助轻松管理线程、协助调取任务的执行过程。

(1).自定义线程池：

@Configuration
public class ThreadPoolExecutorConfig {@Beanpublic ThreadPoolExecutor threadPoolExecutor() {ThreadFactory threadFactory = new ThreadFactory() {private int count = 1;@Overridepublic Thread newThread(@NotNull Runnable r) {Thread thread = new Thread(r);thread.setName("线程" + count);count++;return thread;}};ThreadPoolExecutor threadPoolExecutor = new ThreadPoolExecutor(2, 4, 100, TimeUnit.SECONDS,new ArrayBlockingQueue<>(4), threadFactory);return threadPoolExecutor;}
}

(2).提交任务到线程池：

CompletableFuture.runAsync(() -> {System.out.println("任务执行中：" + name + "，执行人：" + Thread.currentThread().getName());try {Thread.sleep(60000);} catch (InterruptedException e) {e.printStackTrace();}
}, threadPoolExecutor);

5.消息队列：本项目的异步通过本地的线程池实现，可能会出现数据持久化、可扩展行、应用耦合较高情况，使用分布式消息队列可以解决上述问题。使用消息队列后，如果程序中断了，消息没有确认，还会重发

本项目使用的是RabbitMQ

实现步骤:

  1. 创建交换机和队列

  2. 将线程池中的执行代码移到消费者类中

  3. 根据消费者的需求来确认消息的格式（chartId）

  4. 将提交线程池改造为发送消息到队列

(1).引入依赖：使用的版本需要和自己的springboot版本一致

 <!-- https://mvnrepository.com/artifact/org.springframework.boot/spring-boot-starter-amqp --><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-amqp</artifactId><version>2.7.2</version></dependency>

(2).在yml中引入配置

spring:rabbitmq:host: localhostport: 5672password: guestusername: guest

(3).创建交换机和队列

public class BiInitMain {public static void main(String[] args) {try {ConnectionFactory factory = new ConnectionFactory();factory.setHost("localhost");Connection connection = factory.newConnection();Channel channel = connection.createChannel();//交换机名称String EXCHANGE_NAME=BiMqConstant.BI_EXCHANGE_NAME;channel.exchangeDeclare(EXCHANGE_NAME, "direct");// 创建队列，随机分配一个队列名称String queueName = BiMqConstant.BI_QUEUE_NAME;channel.queueDeclare(queueName, true, false, false, null);channel.queueBind(queueName, EXCHANGE_NAME, BiMqConstant.BI_ROUTING_KEY);}catch(Exception e){}}
}

(4).生产者代码

@Component
public class BiMessageProducer {/*** 发送消息*/@Resourcepublic RabbitTemplate rabbitTemplate;public void sendMessage(String message){rabbitTemplate.convertAndSend(BiMqConstant.BI_EXCHANGE_NAME,BiMqConstant.BI_ROUTING_KEY,message);}
}

(5).消费者代码：


@Component
@Slf4j
public class BiMessageConsumer {@Resourceprivate ChartService chartService;@Resourceprivate AiManager aiManager;//指定程序监听的消息队列和确认机制@SneakyThrows@RabbitListener(queues = {BiMqConstant.BI_QUEUE_NAME},ackMode = "MANUAL")public void receiveMessage(String message, Channel channel, @Header(AmqpHeaders.DELIVERY_TAG) Long deliverTag){if(StringUtils.isBlank(message)){//如果失败，消息拒接channel.basicNack(deliverTag,false,false);throw new BusinessException(ErrorCode.SYSTEM_ERROR,"消息为空");}long chartId=Long.parseLong(message);Chart chart=chartService.getById(chartId);if(chart==null){channel.basicNack(deliverTag,false,false);throw new BusinessException(ErrorCode.NOT_FOUND_ERROR,"图表为空");}// 先修改图表任务状态为 “执行中”。等执行成功后，修改为 “已完成”、保存执行结果；执行失败后，状态修改为 “失败”，记录任务失败信息。Chart updateChart = new Chart();updateChart.setId(chart.getId());updateChart.setStatus("running");boolean b = chartService.updateById(updateChart);if (!b) {channel.basicNack(deliverTag,false,false);handleChartUpdateError(chart.getId(), "更新图表执行中状态失败");return;}// 调用 AIString result = aiManager.doChat(CommonConstant.BI_MODEL_ID, buildUserInput(chart));String[] splits = result.split("【【【【【");if (splits.length < 3) {channel.basicNack(deliverTag,false,false);handleChartUpdateError(chart.getId(), "AI 生成错误");return;}String genChart = splits[1].trim();String genResult = splits[2].trim();Chart updateChartResult = new Chart();updateChartResult.setId(chart.getId());updateChartResult.setGenChart(genChart);updateChartResult.setGenResult(genResult);// todo 建议定义状态为枚举值updateChartResult.setStatus("succeed");boolean updateResult = chartService.updateById(updateChartResult);if (!updateResult) {channel.basicNack(deliverTag,false,false);handleChartUpdateError(chart.getId(), "更新图表成功状态失败");}//消息确认channel.basicAck(deliverTag,false);}/*** 构造用户输入* @param chart* @return*/private String buildUserInput(Chart chart){String goal=chart.getGoal();String chartType= chart.getChartType();String csvData=chart.getChartData();//构造用户输入StringBuilder userInput = new StringBuilder();userInput.append("分析需求:").append("\n");//拼接分析目标String userGoal=goal;if(StringUtils.isNotBlank(chartType)){userGoal+=",请使用"+chartType;}userInput.append(userGoal).append("\n");userInput.append("原始数据:").append("\n");userInput.append(csvData).append("\n");return userInput.toString();}private void handleChartUpdateError(long chartId,String execMessage){Chart updateChartResult=new Chart();updateChartResult.setId(chartId);updateChartResult.setStatus("failed");updateChartResult.setExecMessage("execMessage");boolean updateResult = chartService.updateById(updateChartResult);if(!updateResult){log.error("更新图表失败状态失败" + chartId + "," + execMessage);}}}

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/351223.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

中职C语言程序设计课程教学解决方案

中职C语言程序设计课程教学解决方案

前言 在当今信息时代&#xff0c;计算思维被视为核心素养和关键能力&#xff0c;而程序设计课程作为其培养的载体显得尤为重要。然而&#xff0c;中职教育中的C语言程序设计课程仍然面临传统教学模式的局限&#xff0c;缺乏对学生计算思维的引导&#xff0c;这不仅影响了学生的…
阅读更多...
vue3+electron搭建桌面软件

vue3+electron搭建桌面软件

vue3electron开发桌面软件 最近有个小项目, 客户希望像打开 网易云音乐 那么简单的运行起来系统. 前端用 Vue 会比较快一些, 因此决定使用 electron 结合 Vue3 的方式来完成该项目. 然而, 在实施过程中发现没有完整的博客能够记录从创建到打包的流程, 摸索一番之后, 随即梳理…
阅读更多...
Content type ‘application/x-www-form-urlencoded；charset=UTF-8‘ not supported

Content type ‘application/x-www-form-urlencoded；charset=UTF-8‘ not supported

Content type application/x-www-form-urlencoded;charsetUTF-8 not supported 问题背景新增页面代码改造 问题背景 这里有一个需求&#xff0c;前端页面需要往后端传参&#xff0c;参数包括主表数据字段以及子表数据字段&#xff0c;由于主表与子表为一对多关系&#xff0c;在…
阅读更多...
DenseNet完成Cifer10任务的效果验证

DenseNet完成Cifer10任务的效果验证

本文章是针对论文《2017-CVPR-DenseNet-Densely-Connected Convolutional Networks》中实验的复现&#xff0c;使用了几乎相同的超参数 目录 一、论文中的实验 1.准确率 2.参数效率 3.不同网络结构之间的比较 二、超参数: 三、复现的实验结果&#xff1a; 1.DenseNet20…
阅读更多...
购物车店铺列表查询流程

购物车店铺列表查询流程

购物车店铺列表查询流程 购物车结算流程图
阅读更多...
怎么找抖音视频素材？在哪里找爆款热门的素材呢？

怎么找抖音视频素材？在哪里找爆款热门的素材呢？

在短视频时代&#xff0c;拍摄和分享短视频已经成为一种潮流。但是&#xff0c;许多人都会面临一个问题&#xff0c;那就是——视频素材从哪里来&#xff1f;今天&#xff0c;我将为大家介绍几个优质的网站&#xff0c;让你的视频素材不再愁。 蛙学府&#xff1a;https://www.…
阅读更多...
cdh中的zookeeper怎么配置zoo.cfg

cdh中的zookeeper怎么配置zoo.cfg

你手动改了zoo.cfg目录是不会生效的&#xff0c;因为是cdh在管控&#xff0c;所以只能通过cdh修改。 首先打开cdh。 xxx:7180 点击zookeeper 选配置&#xff0c;然后选高级 在右边找&#xff0c;有一个就是zoo.cfg&#xff0c;可以点击右边的感叹号。然后在里面编辑的就会直…
阅读更多...
【机器学习】支持向量机（个人笔记）

【机器学习】支持向量机（个人笔记）

文章目录 SVM 分类器的误差函数分类误差函数距离误差函数C 参数 非线性边界的 SVM 分类器&#xff08;内核方法&#xff09;多项式内核径向基函数&#xff08;RBF&#xff09;内核 源代码文件请点击此处&#xff01; SVM 分类器的误差函数 SVM 使用两条平行线&#xff0c;使用…
阅读更多...
【Android】Android系统性学习——Android系统架构

【Android】Android系统性学习——Android系统架构

前言 部分内容参考《Android进阶解密》 – 刘望舒 1. Android版本 官方链接&#xff1a;https://developer.android.com/studio/releases/platforms 里面有各个版本的官方文档&#xff0c;有些新功能的用法在这里面。 现在做安卓11&#xff0c;有时候需要向下兼容 2. AOSP …
阅读更多...
一颗万能的PD协议芯片，能芯Type-C PD协议芯片“ECP5705”, 它是如何实现PD直流风扇应用呢？

一颗万能的PD协议芯片，能芯Type-C PD协议芯片“ECP5705”, 它是如何实现PD直流风扇应用呢？

文章目录 文章目录 前言 一、PD风扇方案介绍 二、芯片介绍 三、PD风扇-供电方式 四、能芯科技 PD 协议芯片ECP5705-应用场景 总结 前言 随着USB Type-C接口的普及和PD取电芯片的出现&#xff0c;使得小型家电和电动工具可以通过统一的USB Type-C接口进行充电&#xff0c;极大地…
阅读更多...
函数(上)(C语言)

函数(上)(C语言)

函数(上&#xff09; 一. 函数的概念二. 函数的使用1. 库函数和自定义函数(1) 库函数(2) 自定义函数的形式 2. 形参和实参3. return语句4. 数组做函数参数 一. 函数的概念 数学中我们其实就见过函数的概念&#xff0c;比如&#xff1a;一次函数ykxb&#xff0c;k和b都是常数&a…
阅读更多...
索引-定义、创建(CREATE INDEX)、删除（DROP INDEX）

索引-定义、创建(CREATE INDEX)、删除（DROP INDEX）

一、概述 1、索引是SQL语言定义的一种数据对象&#xff0c;是大多数DBMS为数据库中基本表创建的一种辅助存取结构&#xff0c;用于响应特定查询条件进行查询时的查询速度&#xff0c;DBMS根据查询条件从数据库文件中&#xff0c;选择出一条或者多条数据记录以供检索&#xff0…
阅读更多...
MongoDB~分片数据存储Chunk；其迁移原理、影响，以及避免手段

MongoDB~分片数据存储Chunk；其迁移原理、影响，以及避免手段

分片数据存储&#xff1a;Chunk存储 Chunk&#xff08;块&#xff09; 是 MongoDB 分片集群的一个核心概念&#xff0c;其本质上就是由一组 Document 组成的逻辑数据单元。每个 Chunk 包含一定范围片键的数据&#xff0c;互不相交且并集为全部数据。 分片集群不会记录每条数据…
阅读更多...
Unity Meta Quest 开发：与 Unity 的 UI 系统进行交互

Unity Meta Quest 开发：与 Unity 的 UI 系统进行交互

文章目录 &#x1f4d5;教程说明&#x1f4d5;教程内容概括&#x1f4d5;添加玩家物体&#x1f4d5;添加 Canvas 物体和 EventSystem 物体&#x1f4d5;修改 Canvas 组件的 Render Mode&#x1f4d5;在 Canvas 上搭建 UI 面板&#x1f4d5;利用 Interaction SDK 的 Quick Actio…
阅读更多...
有趣的傅里叶变换与小波变换对比（Python）

有趣的傅里叶变换与小波变换对比（Python）

不严谨的说&#xff0c;时域和频域分析就是在不同的空间看待问题的&#xff0c;不同空间所对应的原子(基函数)是不同的。你想一下时域空间的基函数是什么&#xff1f;频域空间的基函数是什么&#xff1f;一般的时-频联合域空间的基函数是什么&#xff1f;小波域空间的基函数是什…
阅读更多...
Arduino入门2——常用函数及用法

Arduino入门2——常用函数及用法

Arduino入门2——串口驱动函数及用法 IO串口 上期&#xff0c;我们简单的认识了一下Arduino&#xff0c;浅浅的入了个门&#xff0c;这一期我们介绍以下Arduino串口常用的函数及用法 IO 常用串口库函数如下&#xff1a; 函数名用法及解析pinMode()用于IO口初始化digitalWrite…
阅读更多...
28.启动与暂停程序

28.启动与暂停程序

上一个内容&#xff1a;27.设计注入功能界面 以它 27.设计注入功能界面 的代码为基础进行修改 点击添加游戏按钮之后就把游戏启动了 CWndINJ.cpp文件中修改&#xff1a; void CWndINJ::OnBnClickedButton1() {// TODO: 在此添加控件通知处理程序代码/*ExeLst.InsertItem(0, L…
阅读更多...
Opus从入门到精通(五)OggOpus封装器全解析

Opus从入门到精通(五)OggOpus封装器全解析

Opus从入门到精通(五)OggOpus封装器全解析 为什么要封装 前面Opus从入门到精通(四)Opus解码程序实现提到如果不封装会有两个问题: 无法从文件本身获取音频的元数据(采样率,声道数,码率等)缺少帧分隔标识,无法从连续的文件流中分隔帧(尤其是vbr情况) 针对上面的问题我们可以…
阅读更多...
SAP spro 物料类型定义及底表

SAP spro 物料类型定义及底表

底表 T134
阅读更多...
4-异常-log4j配置日志滚动覆盖出现日志丢失问题

4-异常-log4j配置日志滚动覆盖出现日志丢失问题

4-异常-log4j配置日志打印滚动覆盖出现日志丢失问题(附源码分析) 更多内容欢迎关注我&#xff08;持续更新中&#xff0c;欢迎Star✨&#xff09; Github&#xff1a;CodeZeng1998/Java-Developer-Work-Note 技术公众号&#xff1a;CodeZeng1998&#xff08;纯纯技术文&…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023