如果任务过多,队列积压怎么处理?

如果任务过多,队列积压怎么处理?

    • 1、内存队列满了应该怎么办
    • 2、问题要治本——发短信导致吞吐量降低的问题不能忽略!!
    • 3、多路复用IO模型的核心组件简介

1、内存队列满了应该怎么办

如图:
在这里插入图片描述
大家可以看到,虽然现在发短信和广告投递,彼此之间的执行效率不受彼此影响,但是请大家注意,投放广告之后还要把请求放到内存队列里面去,而内存空间是很有限的,比方说有一个很热情的厨师,他强行的把自己做好的菜,往客人嘴里塞,然而作为一个普通人你的肠胃对食物的消化速度远远比不了人家做菜的速度,就这样,你肠胃里的食物,还没消化完,厨师还是不停的往你嘴里送。

不用多说这样下去你的肠胃一定会有问题,那么同理发短信的速度,远远比不上商户们投放广告速度,内存就像人的肠胃样,是会被撑爆的,那么如果现在我们没办法改变我们肠胃的消化能力,又不想被热情的厨师做的菜撑爆,那我们最好先客人跟厨师说明,它的饭量大概是多少,当厨师发现你快吃不下的时候人家厨师或许就放慢做菜速度,乃至停止继续做菜了。

内存队列也是一样,我们可以通过对发送短信系统的压测,评估出一个对数据处理的执行效率,从而制定内存队列的大小,投放广高系统,刚知道队列快满的时候可以选择,延缓将数据放入队列的速度甚至极端情况,就可以将数据丢弃,因为本来发短信也不是什么太重要的事情。

2、问题要治本——发短信导致吞吐量降低的问题不能忽略!!

内存被撑爆的问题,算是解决了,但是不是有一种治标不治本呢?因为最根本的问题是还是发送短信的环节导致的?我们所谓的调整内存队列大小,换句话说就是因为发送短信的效率低下最终还是影响了系统的吞吐量,是不是很不爽呢?那么你可能会问了,创建多个线程,多部署几台与短信运营商交互的机器不就行了吗?如图

在这里插入图片描述
是的,没错,这样三个线程消费队列中的请求的的确确是加强了消费速度,但是还是有令人不舒服的地方:

线程是宝贵的系统资源,确实不想为发短信这样的事情开辟更多资源

单个线程的利用率还是很低,只要进行了短信发送就意味着这个线程将被长时间阻塞,还是没能解决消费过慢的根本原因

以一个购物狂的生活状态为背景,思考如何解决队列数据消费过慢的问题

假如有怎么一个购物狂,人生最大的快乐就是网购,拆包裹,由于对购物的热情已达到一种病态的程度,以至于当他买了一将商品之后,就日日夜夜的在快递存放点蹲守等着收自己的快递,直到拿到了才罢休。

我们把这种取快递的方式如果比作是IO操作的一种方式,那就是阻塞IO了,也就是说我只要调用了read方法我必须读取到所要的信息才行,否则我就一直在这里阻塞着。这也是发短信系统中的线程所采取的IO读写方式。

过了几天,购物狂也明白了,毕竟他还要买买买啊,老在这花大把的时间干等,也不是一个事儿,所以他现在稍微理性了些,不管在快递存放点取没取到包裹,就会回去了,但是别忘了拆包裹对他来说也是很重要的一部分。

所以他来往快递存放点的频率非常高,快递还没有送达,他就来快递存放点好几个来回,这也就表示他空手而归成了将常便饭,你想每天都要去一个地方好几回,而且也都是做的无用功,但这个过程对购物狂的时间消耗是实实在在的。

像上面这种情况就可以被看做是非阻塞IO的处理方式,当你发起IO请求的时候&#x

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/340053.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

vue3+typescript 使用Codemirror

安装 // npm npm install codemirror-editor-vue3 codemirror^5.65.12// ts版 还需安装: npm install types/codemirror全局注册 修改main.ts: import { createApp } from vueimport App from ./App.vueimport { InstallCodemirro } from "code…

M-G364PD惯性测量单元:相机及微小层面的革命性应用

在现代科技飞速发展的今天,精准控制和精确测量是众多高端设备实现卓越性能的关键。爱普生推出的M-G364PD惯性测量单元(IMU),因其卓越的性能和微小尺寸,成为相机以及其他微小层面应用的理想选择,为科技创新提…

JVMの堆、栈内存存储

1、JVM栈的数据存储 通过前面的学习,我们知道,将源代码编译成字节码文件后,JVM会对其中的字节码指令解释执行,在解释执行的过程中,又利用到了栈区的操作数栈和局部变量表两部分。 而局部变量表又分为一个个的槽位&…

JavaScript 基础 - 对象

对象 对象是一种无序的数据集合&#xff0c;可以详细的描述描述某个事物。 注意数组是有序的数据集合。它由属性和方法两部分构成。 语法 声明一个对象类型的变量与之前声明一个数值或字符串类型的变量没有本质上的区别。 <script>let 对象名 {属性名&#xff1a;属性值…

DynamiCrafter ComfyUI 教程 | 对图片转视频的效果进行精细化控制

近日&#xff0c;由北大、腾讯AI Lab联合推出的 AI 视频生成工具 DynamiCrafter 一经上线便引起了巨大反响。只需要输入一张普普通通的静态图&#xff0c;加上几句简单的文字引导&#xff0c;瞬间就能生成超逼真的动态视频&#xff0c;简直不要太厉害&#xff01; 静态图 fire…

renren-fast-vue启动报错

问题描述 拉取人人开源vue项目启动失败 报错信息 版本信息 序号名称版本号1node14.21.3 启动方案 1.拉取项目 git clone https://gitee.com/renrenio/renren-fast-vue.git 2.执行安装依赖命令 npm install 3.此时报错 chromedriver2.27.2 install: node install.js 4.手动…

kafka集群内外网分流方案——筑梦之路

前言 在现代分布式系统架构中&#xff0c;Kafka作为一款高性能的消息队列系统&#xff0c;广泛应用于大数据处理、实时流处理以及微服务间的异步通信场景。特别是往往企业级应用中&#xff0c;业务网段和内网通信网段不是同一个网段&#xff0c;内网的机器想要访问业务数据只能…

Java内存模型(JMM)

Volatile关键字 如何保证变量的可见性 在Java中&#xff0c;Volatile关键字可以保证变量的可见性&#xff0c;如果我们将变量声明为volatile&#xff0c;这就指示JVM&#xff0c;这个变量是共享且不稳定的&#xff0c;**每次使用它都到主存中进行读取&#xff08;禁止读取本地…

二分查找算法介绍(边界值、循环条件、值的变化、二分查找的原理、异常处理)

一、二分查找法原理介绍 二分查找是经典的查找算法之一&#xff0c;其原理也非常简单。 对于已排序的数组&#xff08;假设是整型&#xff0c;如果非整型&#xff0c;如果有排序和大小比较的定义&#xff0c;也可以使用二分查找&#xff09;&#xff0c;我们每次判断中间值与目…

基于JSP的母婴用品网站系统

你好呀&#xff0c;我是计算机学长猫哥&#xff01;如果有需求可以文末加我。 开发语言&#xff1a;Java 数据库&#xff1a;MySQL 技术&#xff1a;JSP技术 工具&#xff1a;IDEA/Eclipse、Navicat、Maven 系统展示 首页 管理员功能界面 用户功能界面 前台首页功能界面 …

JUC从实战到源码:悲观锁和乐观锁真正了解了吗

【JUC】- 多线程与锁的知识 &#x1f604;生命不息&#xff0c;写作不止 &#x1f525; 继续踏上学习之路&#xff0c;学之分享笔记 &#x1f44a; 总有一天我也能像各位大佬一样 &#x1f3c6; 博客首页 怒放吧德德 To记录领地 &#x1f31d;分享学习心得&#xff0c;欢迎指…

游戏找不到d3dcompiler43.dll怎么办,分享5种有效的解决方法

在计算机使用过程中&#xff0c;我们经常会遇到一些错误提示&#xff0c;其中之一就是找不到某个文件。其中&#xff0c;找不到d3dcompiler43.dll是一个常见的问题。这个问题通常出现在运行某些游戏或应用程序时&#xff0c;由于缺少了d3dcompiler43.dll文件&#xff0c;导致程…

mysql的锁(全局锁)

文章目录 mysql按照锁的粒度分类全局锁概念&#xff1a;全局锁使用场景&#xff1a;全局锁备份案例&#xff1a; mysql按照锁的粒度分类 全局锁 概念&#xff1a; 全局锁就是对整个数据库实例加锁。MySQL 提供了一个加全局读锁的方法&#xff0c;命令是: Flush tables with…

#招聘数据分析#2024年5月前程无忧招聘北上广深成渝对比情况

#招聘数据分析#2024年5月前程无忧招聘北上广深成渝对比情况 0、根据前程无忧不完全样本统计&#xff0c;北上广深成都重庆平均月工资从高到低依次为 北京15037元、上海14230元、深圳13230元、广州11125元、成都10614元、重庆10388。 1、成都招聘样本数全量36301个&#xff0c…

搭建gateway网关

1.创建springBoot项目 可以将Server URL换成start.aliyun.com 2.配置路由与跨域处理 路由&#xff1a; server:port: 10010 # 网关端口 spring:application:name: gateway # 服务名称cloud:nacos:server-addr: localhost:8848 # nacos地址gateway:routes: # 网关路由配置- i…

JavaScript解构赋值

一、数组解构 以上要么不好记忆&#xff0c;要么书写麻烦&#xff0c;此时可以使用解构赋值的方法让代码更简洁。 数组解构是将数组的单元值快速批量赋值给一系列变量的简洁语法。 基本语法&#xff1a; 1、赋值运算符左侧的[]用于批量声明变量&#xff0c;右侧数组的单元值将…

MyBatis的各种查询功能

1、查询&#xff1a; 查询的标签select必须设置属性resultType或resultMap&#xff0c;用于设置实体类和数据库表的映射关系 resultType&#xff1a;自动映射&#xff0c;用于属性名和表中字段名一致的情况 resultMap&#xff1a;自定义映射&#xff0c;用于一对多或多对一或…

网络协议二

一、套接字Socket 基于 TCP UDP 协议的 Socket 编程&#xff0c;在讲 TCP 和 UDP 协议的时候&#xff0c;我们分客户端和服务端&#xff0c;在写程序的时候&#xff0c;我们也同样这样分。 在网络层&#xff0c;Socket 函数需要指定到底是 IPv4 还是 IPv6&#xff0c;分别对应设…

部署专属网页版ChatGPT-Next-Web

背景 工作学习中经常使用chat-gpt, 需求是多端使用gpt问答&#xff0c;因此搭建一个网页版本方便多个平台使用。最后选择了 ChatGPT-Next-Web 部署说明 一键部署自己的web页面&#xff0c;因为是使用免费的vercel托管的&#xff0c;vercel节点在全球都有&#xff0c;理论上突…

HSC Mailinspector loader.php 任意文件读取漏洞复现(CVE-2024-34470)

0x01 产品简介 HSC Mailinspector是一款远程电子邮件检查工具&#xff0c;支持POP3/IMAP4协议。它允许用户远程扫描最新邮件&#xff0c;并进行浏览、垃圾邮件排除、编辑、删除等操作&#xff0c;无需实际登录邮箱。 0x02 漏洞概述 由于HSC Mailinspector /public/loader.ph…