记录一次大数据量接口优化过程

问题描述

记录一次大数据量接口优化过程。最近在优化一个大数据量的接口，是提供给安卓端APP调用的，因为安卓端没做分批次获取，接口的数据量也比较大，因为加载速度超过一两分钟，所以导致接口超时的异常，要让安卓APP分批次调用需要收取费用，所以只能先优化一下接口的速度。

分析问题

先使用阿里开源的监控工具Arthas来分析接口，Arthas 是一款线上监控诊断平台，可以实时查看应用 load、内存、gc、线程的状态信息，可以在不修改代码的情况，定位问题，分析接口耗时、传参、异常等情况，提高线上问题排查效率
在这里插入图片描述
找到对应的接口代码，使用Arthas的trace命令跟踪一下接口耗时情况，listOrder是对应方法名，skipJDKMethod是不打印jdk里面的方法

trace com.sample.order.orderServiceImpl listOrder -n 1  --skipJDKMethod

要筛选出响应时间大于1000毫秒的，可以使用如下命令

trace com.sample.order.orderServiceImpl listOrder '#cost > 1000' -n 1

通过Arthas就可以分析出一个接口方法里具体那个调用耗时，然后一层层分析即可，Arthas分析的接口大致如下，仅供参考

--[100.00% 3434.755668ms ] org.springframework.cglib.proxy.MethodInterceptor:intercept()`---[100.00% 3434.620187ms ] cn.test.server.business.VisitorBusiness:getStaffList()+---[0.00% 0.045431ms ] cn.test.client.dto.StaffListReqDto:getComId() #188+---[0.00% 0.019135ms ] cn.core.common.utils.CoreUtils:isEmpty() #188+---[0.00% 0.021816ms ] cn.hutool.core.date.DateUtil:timer() #192+---[0.00% 0.019987ms ] com.google.common.base.Splitter:on() #194+---[0.00% 0.005501ms ] cn.test.client.dto.StaffListReqDto:getComId() #194+---[0.00% 0.026292ms ] com.google.common.base.Splitter:splitToList() #194+---[0.00% 0.131507ms ] cn.hutool.core.convert.Convert:toInt() #195+---[0.34% 11.668407ms ] cn.core.user.client.querier.SchoolQuerierService:findBySchoolId() #198+---[0.00% 0.024199ms ] cn.hutool.core.date.TimeInterval:intervalRestart() #203+---[0.02% 0.535107ms ] org.slf4j.Logger:info() #203+---[2.66% 91.504718ms ] cn.core.user.client.querier.RelationQuerierService:queryUserByIdsAndRoleType() #206+---[0.00% 0.019208ms ] com.google.common.collect.Lists:newArrayList() #206+---[0.00% 0.01107ms ] cn.core.common.utils.CoreUtils:isEmpty() #207+---[0.00% 0.013517ms ] cn.hutool.core.date.TimeInterval:intervalRestart() #211+---[0.02% 0.532242ms ] org.slf4j.Logger:info() #211+---[0.00% 0.016216ms ] cn.hutool.core.date.TimeInterval:intervalRestart() #218+---[0.01% 0.435469ms ] org.slf4j.Logger:info() #218+---[0.00% 0.009024ms ] cn.test.client.dto.StaffListReqDto:getComId() #221+---[0.53% 18.336268ms ]cn.test.persistence.dao.LogMapper:listStaffSyncRecordByComId() #221+---[0.00% 0.009043ms ] com.google.common.collect.Lists:newArrayList() #221+---[0.00% 0.019237ms ] cn.hutool.core.date.TimeInterval:intervalRestart() #223+---[0.01% 0.279834ms ] org.slf4j.Logger:info() #223+---[0.00% 0.014057ms ] cn.hutool.core.date.TimeInterval:intervalRestart() #227+---[0.01% 0.270155ms ] org.slf4j.Logger:info() #227+---[0.00% 0.006338ms ] com.google.common.collect.Lists:newArrayList() #231+---[0.00% 0.019707ms ] cn.hutool.core.date.TimeInterval:intervalRestart() #263+---[0.02% 0.548875ms ] org.slf4j.Logger:info() #263`---[0.00% 0.027475ms ] cn.test.client.dto.Result:success() #265

通过Arthas分析问题，定位到接口里，是因为查询出所有的数据后，再循环这些数据，在循环里又调了API去做业务处理，针对这种情况，怎么做调优？

处理问题

针对这种情况，我想到了分批次，分页来获取接口比较好，但是安卓端要改，需要收费额外的费用，所以我只能用多线程来做分批次处理了，JDK8里提供了CompletableFuture这个api来处理多任务，多线程，所以使用这个API加上线程池来处理接口

public OrderResult<List<OrderListDto>> getOrderList(ListReqDto reqDto) throws ExecutionException, InterruptedException {if (CoreUtils.isEmpty(reqDto.getComId())) {return OrderResult.fail("comId can not be null");}// Hutool计时器TimeInterval timer = DateUtil.timer();EmsReqVo reqVo = new EmsReqVo();reqVo.setComId(reqDto.getComId());List<OrderRecVo> orderRecList = Optional.ofNullable(orderMapper.queryOrderRecVo(reqVo )).orElse(Lists.newArrayList());LOG.info("查询所有预约订单:{}", timer.intervalRestart());if (CollUtil.isEmpty(orderRecList )) {return OrderResult.success(Lists.newArrayList());}// 任务列表List<CompletableFuture<OrderListDto>> fList = new ArrayList<>();// 自定义线程池ExecutorService executor = new ThreadPoolExecutor(10, 100, 5,TimeUnit.MINUTES,new ArrayBlockingQueue<>(10000));List<OrderListDto> orderDtoList= Lists.newArrayList();orderRecList.stream().forEach(v -> {CompletableFuture<OrderListDto> f = CompletableFuture.supplyAsync(()-> {Long userId = v.getUserId;// 根据userId去调用户数据，比较耗时UserDto userDto = userService.selectOne(userId);// 封装参数返回OrderListDto orderListDto = OrderListDto.builder().code(generator(v.getId())) // 流水号.name(v.getOwnerName()) // 预约人姓名.sex(gender)           // 预约人性别.identity(v.getIdentityNum()) // 证件号码.addr(v.getAddress()) // 证件地址.tel(v.getMobile()) // 联系电话.build();return orderListDto;},executor);fList.add(f);});// 获取所有的任务CompletableFuture<Void> all= CompletableFuture.allOf(fList.toArray(new CompletableFuture[0]));CompletableFuture<List<OrderListDto>> allInfo = all.thenApply(v-> fList.stream().map(a-> {try {return a.get();} catch (InterruptedException | ExecutionException e) {e.printStackTrace();}return null;}).collect(Collectors.toList()));// 返回listorderDtoList= allInfo.get();// 关闭线程池executor.shutdown();LOG.info("查询预约订单记录 use:{}", timer.intervalRestart());return OrderResult.success(orderDtoList);}

通过CompletableFuture多任务处理，接口速度提高都十几秒
在这里插入图片描述

所以需要继续调优，在循环里调api会有网络带宽的影响，所以改成通过userId的集合去获取所有数据，封装成一个map集合，在循环里调用

 List<Integer> userIds = orderRecList.stream().map(OrderRecVo::getReceiveId).collect(Collectors.toList());List<UserDto> usersList = Optional.ofNullable(userService.getUsersByIds(userIds)).orElse(Lists.newArrayList());Map<Integer, UserDto> usersMap = usersList.stream().collect(Collectors.toMap(UserDto::getId, u -> u));

在循环里再通过map获取即可

UserDto userDto = Optional.ofNullable(usersMap.get(v.getUserId())).orElse(new TinyUserDto());

通过所有id集合获取总的所有数据，再通过map去获取的方式，接口速度快了很多，大概到毫秒级别
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/316496.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

编译Qt6.5.3LTS版本(Mac/Windows)的mysql驱动（附带编译后的全部文件）

编译Qt6.5.3LTS版本(Mac/Windows)的mysql驱动（附带编译后的全部文件）

文章目录 0 背景1 编译过程2 福利参考 0 背景 因为项目要用到对MYSQL数据库操作&#xff0c;所以需要连接到MYSQL数据库。但是连接需要MYSQL驱动&#xff0c;但是Qt本身不自带MYSQL驱动&#xff0c;需要自行编译。网上有很多qt之前版本的mysql驱动&#xff0c;但是没有找到qt6…
阅读更多...
【服务器部署篇】Linux下快速安装Jenkins

【服务器部署篇】Linux下快速安装Jenkins

作者介绍&#xff1a;本人笔名姑苏老陈&#xff0c;从事JAVA开发工作十多年了&#xff0c;带过刚毕业的实习生&#xff0c;也带过技术团队。最近有个朋友的表弟&#xff0c;马上要大学毕业了&#xff0c;想从事JAVA开发工作&#xff0c;但不知道从何处入手。于是&#xff0c;产…
阅读更多...
在PR中使用 obs 和 vokoscreen 录制的视频遇到的问题

在PR中使用 obs 和 vokoscreen 录制的视频遇到的问题

1. obs 录制的视频 在 Adobe Premiere Pro CS6 中只有音频没有视频 2. vokoscreen 录制的视频&#xff0c;没有声音 这是是和视频录制的编码有关系&#xff0c;也和显卡驱动关系 首先 obs 点击 文件 ---> 设置 录制的视频都是可以正常播放的&#xff0c;在PR不行。更…
阅读更多...
根据txt文件绘制词云 -- python

根据txt文件绘制词云 -- python

根据一段文字绘制词云&#xff0c;我们有两种方法 &#xff0c;一种是登录专业的绘图网站http://yciyun.com/ 不过&#xff0c;貌似这个网站需要会员才可以体验&#xff0c;他只是给出了一些形状图案的词云&#xff0c;虽然看起来很精美&#xff0c;但是他不能让我们自己随意更…
阅读更多...
杰发科技AC7840——SPI通信简介(1)_跑通Demo

杰发科技AC7840——SPI通信简介(1)_跑通Demo

0. 简介 一些配置项&#xff1a; CPHA&#xff1a;相序 CPLO&#xff1a;极性 看着demo需要按键&#xff0c;于是去掉按键&#xff0c;去掉打印&#xff0c;直接输出波形看逻辑分析仪的信号。 其实现在做这些demo测试应该都有逻辑分析仪&#xff0c;直接看波形更直观一点。…
阅读更多...
基于随机森林和Xgboost对肥胖风险的多类别预测

基于随机森林和Xgboost对肥胖风险的多类别预测

基于随机森林和Xgboost对肥胖风险的多类别预测 作者&#xff1a;i阿极 作者简介&#xff1a;数据分析领域优质创作者、多项比赛获奖者&#xff1a;博主个人首页 &#x1f60a;&#x1f60a;&#x1f60a;如果觉得文章不错或能帮助到你学习&#xff0c;可以点赞&#x1f44d;收藏…
阅读更多...
短视频交友系统搭建重点，会用到哪些三方服务？

短视频交友系统搭建重点，会用到哪些三方服务？

在搭建短视频交友系统时&#xff0c;为了确保系统的稳定性、安全性和用户体验&#xff0c;通常需要用到多种第三方服务。以下是搭建短视频交友系统时可能用到的关键第三方服务&#xff1a; 云服务提供商&#xff1a;如阿里云、腾讯云等&#xff0c;提供稳定、可扩展的服务器资源…
阅读更多...
网络爬虫软件学习

网络爬虫软件学习

1 什么是爬虫软件 爬虫软件&#xff0c;也称为网络爬虫或网络蜘蛛&#xff0c;是一种自动抓取万维网信息的程序或脚本。它基于一定的规则&#xff0c;自动地访问网页并抓取需要的信息。爬虫软件可以应用于大规模数据采集和分析&#xff0c;广泛应用于舆情监测、品牌竞争分析、…
阅读更多...
MySQL随便聊----之MySQL的调控按钮-启动选项和系统变量

MySQL随便聊----之MySQL的调控按钮-启动选项和系统变量

-------MySQL是怎么运行的 基本介绍 如果你用过手机&#xff0c;你的手机上一定有一个设置的功能&#xff0c;你可以选择设置手机的来电铃声、设置音量大小、设置解锁密码等等。假如没有这些设置功能&#xff0c;我们的生活将置于尴尬的境地&#xff0c;比如在图书馆里无法把手…
阅读更多...
微服务之分布式理论zookeeper概述

微服务之分布式理论zookeeper概述

一、分布式技术相关的理论 CAP理论 CAP定理(CAP theorem)&#xff0c;⼜被称作布鲁尔定理(Eric Brewer)&#xff0c;1998年第⼀次提出. 最初提出是指分布式数据存储不可能同时提供以下三种保证中的两种以上: (1) ⼀致性(Consistency): 每次读取收到的信息都是最新的; (2) …
阅读更多...
Andorid复习

Andorid复习

组件 TextView 阴影 android:shadowColor"color/red" 阴影颜色android:shadowRadius"3.0" 阴影模糊度&#xff08;大小&#xff09;android:shadowDx"10.0" 横向偏移android:shadowDy"10.0" 跑马灯 这里用自定义控件 public cla…
阅读更多...
第G9周：ACGAN理论与实战

第G9周：ACGAN理论与实战

&#x1f368; 本文为&#x1f517;365天深度学习训练营 中的学习记录博客&#x1f356; 原作者&#xff1a;K同学啊 | 接辅导、项目定制&#x1f680; 文章来源&#xff1a;K同学的学习圈子 上一周已经给出代码&#xff0c;需要可以跳转上一周的任务 第G8周&#xff1a;ACGAN任…
阅读更多...
源码编译framework.jar 并成功导入android studio 开发

源码编译framework.jar 并成功导入android studio 开发

一、不同安卓版本对应路径 Android N/O: 7 和 8 out/target/common/obj/JAVA_LIBRARIES/framework_intermediates/classes.jar Android P/Q: 9 和 10 out/soong/.intermediates/frameworks/base/framework/android_common/combined/framework.jar Android R: 11以上 out/so…
阅读更多...
Microsoft Threat Modeling Tool 使用(二)

Microsoft Threat Modeling Tool 使用(二)

主界面 翻译 详细描述 选择了 “SDL TM Knowledge Base (Core)” 模板并打开了一个新的威胁模型。这个界面主要用于绘制数据流图&#xff08;Data Flow Diagram, DFD&#xff09;&#xff0c;它帮助您可视化系统的组成部分和它们之间的交互。以下是界面中各个部分的功能介绍&a…
阅读更多...
Nacos、OpenFeign、网关 笔记

Nacos、OpenFeign、网关 笔记

一、远程调用 1.1配置RestTemplate配置类 package com.hmall.cart.config;import org.springframework.context.annotation.Bean; import org.springframework.context.annotation.Configuration; import org.springframework.web.client.RestTemplate;Configuration public c…
阅读更多...
python监听html click教程

python监听html click教程

&#x1f47d;发现宝藏 前些天发现了一个巨牛的人工智能学习网站&#xff0c;通俗易懂&#xff0c;风趣幽默&#xff0c;忍不住分享一下给大家。【点击进入巨牛的人工智能学习网站】。 Python实现监听HTML点击事件 在Web开发中&#xff0c;经常需要在用户与页面交互时执行一些…
阅读更多...
MySQL中SELECT语句的执行过程

MySQL中SELECT语句的执行过程

2.1.1. 一条SELECT语句的执行过程 MySQL 的架构共分为两层&#xff1a;Server 层和存储引擎层 Server层负责建立连接、分析和执行SQL存储引擎层负责数据的存储和提取&#xff0c;支持 InnoDB、MyISAM、Memory 等多个存储引擎&#xff0c;MySQL5.5以后默认使用InnoDB&#xff0…
阅读更多...
Idea：阿里巴巴Java编码插件

Idea：阿里巴巴Java编码插件

提示&#xff1a;文章写完后&#xff0c;目录可以自动生成&#xff0c;如何生成可参考右边的帮助文档 目录 一、Alibaba Java Coding Guidelines插件介绍 二、使用步骤 总结 提示&#xff1a;以下是本篇文章正文内容&#xff0c;下面案例可供参考 一、Alibaba Java Coding …
阅读更多...
大数据组件之Storm详解

大数据组件之Storm详解

Storm 是一个免费并开源的分布式实时计算系统&#xff0c;具有高容错性和可扩展性。它能够处理无边界的数据流&#xff0c;并提供了实时计算的功能。与传统的批处理系统相比&#xff0c;Apache Storm 更适合处理实时数据。 让我们深入了解一下 Storm&#xff1a; 1.Storm 简介…
阅读更多...
2024-04学习笔记

2024-04学习笔记

1.sql优化-子查询改为外连接 1.改之前 改之前是这样&#xff0c;那针对查出来的每一条数据&#xff0c;都要执行一次箭头所指的函数 执行的sql很慢 2.改之后 改之后是这样&#xff0c;整体做外连接&#xff0c;不用每一条都再执行一次查询 执行时间缩短了好几倍 2.Mybatis中…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023