海量数据处理商用短链接生成器平台 - 3

第三章 商用短链平台实战-账号微服务+流量包设计

第1集 账号微服务和流量包数据库表+索引规范讲解

简介：账号微服务和流量包数据库表+索引规范讲解

  • 索引规范
    • 主键索引名为 pk_字段名; pk即 primary key;
    • 唯一索引名为 uk_字段名；uk 即 unique key
    • 普通索引名则为 idx_字段名；idx 即index 的简称
  • account表
CREATE TABLE `account` (`id` bigint unsigned NOT NULL AUTO_INCREMENT,`account_no` bigint DEFAULT NULL,`head_img` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin DEFAULT NULL COMMENT '头像',`phone` varchar(128) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin DEFAULT NULL COMMENT '手机号',`pwd` varchar(128) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin DEFAULT NULL COMMENT '密码',`secret` varchar(64) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin DEFAULT NULL COMMENT '盐，用于个人敏感信息处理',`mail` varchar(128) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin DEFAULT NULL COMMENT '邮箱',`username` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin DEFAULT NULL COMMENT '用户名',`auth` varchar(32) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin DEFAULT NULL COMMENT '认证级别，DEFAULT，REALNAME，ENTERPRISE，访问次数不一样',`gmt_create` datetime DEFAULT CURRENT_TIMESTAMP,`gmt_modified` datetime DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,PRIMARY KEY (`id`),UNIQUE KEY `uk_phone` (`phone`) USING BTREE,UNIQUE KEY `uk_account` (`account_no`) USING BTREE
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_bin;
第2集 账号微服务和流量包数据库表+索引规范讲解

简介：账号微服务和流量包数据库表+索引规范讲解

  • 账号和流量包的关系：一对多
  • traffic流量包表
    • 思考点
      • 海量数据下每天免费次数怎么更新？
      • 海量数据付费流量套餐包每天次数限制怎么更新？
      • 高性能扣减流量包设计怎么做？
      • 流量包数据更新处理-高并发下分布式事务怎么解决
CREATE TABLE `traffic` (`id` bigint unsigned NOT NULL AUTO_INCREMENT,`day_limit` int DEFAULT NULL COMMENT '每天限制多少条，短链',`day_used` int DEFAULT NULL COMMENT '当天用了多少条，短链',`total_limit` int DEFAULT NULL COMMENT '总次数，活码才用',`account_no` bigint DEFAULT NULL COMMENT '账号',`out_trade_no` varchar(64) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin DEFAULT NULL COMMENT '订单号',`level` varchar(64) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin DEFAULT NULL COMMENT '产品层级：FIRST青铜、SECOND黄金、THIRD钻石',`expired_date` date DEFAULT NULL COMMENT '过期日期',`plugin_type` varchar(64) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin DEFAULT NULL COMMENT '插件类型',`product_id` bigint DEFAULT NULL COMMENT '商品主键',`gmt_create` datetime DEFAULT CURRENT_TIMESTAMP,`gmt_modified` datetime DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,PRIMARY KEY (`id`),UNIQUE KEY `uk_trade_no` (`out_trade_no`,`account_no`) USING BTREE,KEY `idx_account_no` (`account_no`) USING BTREE
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_bin;
  • traffic_task 流量包任务表（先建-后续会讲用途）
CREATE TABLE `traffic_task` (`id` bigint unsigned NOT NULL AUTO_INCREMENT,`account_no` bigint DEFAULT NULL,`traffic_id` bigint DEFAULT NULL,`use_times` int DEFAULT NULL,`lock_state` varchar(16) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin DEFAULT NULL COMMENT '锁定状态锁定LOCK  完成FINISH-取消CANCEL',`message_id` varchar(64) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin DEFAULT NULL COMMENT '唯一标识',`gmt_create` datetime DEFAULT CURRENT_TIMESTAMP,`gmt_modified` datetime DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,PRIMARY KEY (`id`),UNIQUE KEY `uk_msg_id` (`message_id`) USING BTREE,KEY `idx_release` (`account_no`,`id`) USING BTREE
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_bin;

在这里插入图片描述

第3集 账号微服务-流量包业务模型概念补充

简介：账号微服务流量包业务模型概念补充

  • 业务模型补充

在这里插入图片描述

第4集 项目引入Mybatis-plus-generator代码自动生成工具

简介：介绍Mybatis-plus-generator代码自动化生成工具

  • 介绍
    • 底层是模板引擎技术，可以自定义生成的java类模板
  • 基础版mybatis-genarator
  • 进阶版mybatis-plus-genarator
  • 注意
    • 使用起来和普通版的mybatis generator一样，但是这个纯代码，不用复杂xml配置
    • 任何框架，不要使用过多的侵入或者框架定制化深的内容，防止后续改动耦合性高，成本大
  • 添加依赖
    • 统一Common项目添加，各个项目测试类里面配置
    <!-- 代码自动生成依赖 begin --><dependency><groupId>com.baomidou</groupId><artifactId>mybatis-plus-generator</artifactId><version>3.4.1</version></dependency><!-- velocity --><dependency><groupId>org.apache.velocity</groupId><artifactId>velocity-engine-core</artifactId><version>2.0</version></dependency><!-- 代码自动生成依赖 end-->
  • 代码（标记TODO的记得修改）
public class MyBatisPlusGenerator {public static void main(String[] args) {//1. 全局配置GlobalConfig config = new GlobalConfig();// 是否支持AR模式config.setActiveRecord(true)// 作者.setAuthor("jj")// 生成路径，最好使用绝对路径，window路径是不一样的//TODO  TODO  TODO  TODO.setOutputDir("/Users/xdclass/Desktop/demo/src/main/java")// 文件覆盖.setFileOverride(true)// 主键策略.setIdType(IdType.AUTO).setDateType(DateType.ONLY_DATE)// 设置生成的service接口的名字的首字母是否为I，默认Service是以I开头的.setServiceName("%sService")//实体类结尾名称.setEntityName("%sDO")//生成基本的resultMap.setBaseResultMap(true)//不使用AR模式.setActiveRecord(false)//生成基本的SQL片段.setBaseColumnList(true);//2. 数据源配置DataSourceConfig dsConfig = new DataSourceConfig();// 设置数据库类型dsConfig.setDbType(DbType.MYSQL).setDriverName("com.mysql.cj.jdbc.Driver")//TODO  TODO  TODO  TODO.setUrl("jdbc:mysql://120.79.150.146:3306/dcloud_account?useUnicode=true&characterEncoding=utf-8&useSSL=false&serverTimezone=Asia/Shanghai").setUsername("root").setPassword("xdclass.net168");//3. 策略配置globalConfiguration中StrategyConfig stConfig = new StrategyConfig();//全局大写命名stConfig.setCapitalMode(true)// 数据库表映射到实体的命名策略.setNaming(NamingStrategy.underline_to_camel)//使用lombok.setEntityLombokModel(true)//使用restcontroller注解.setRestControllerStyle(true)// 生成的表, 支持多表一起生成，以数组形式填写//TODO  TODO  TODO  TODO.setInclude("account","traffic","traffic_task");//4. 包名策略配置PackageConfig pkConfig = new PackageConfig();pkConfig.setParent("net.xdclass").setMapper("mapper").setService("service").setController("controller").setEntity("model").setXml("mapper");//5. 整合配置AutoGenerator ag = new AutoGenerator();ag.setGlobalConfig(config).setDataSource(dsConfig).setStrategy(stConfig).setPackageInfo(pkConfig);//6. 执行操作ag.execute();System.out.println("======= 小滴课堂 Done 相关代码生成完毕  ========");}
}

  • 导入生成好的代码

    • model (为啥不放common项目，如果是确定每个服务都用到的依赖或者类才放到common项目)
    • mapper 类接口拷贝
    • resource/mapper文件夹 xml脚本拷贝
    • controller
    • service 不拷贝

  • Mybatis plus配置控制台打印日志

#配置plus打印sql日志
mybatis-plus:configuration:log-impl: org.apache.ibatis.logging.stdout.StdOutImpl
第5集 账号微服务注册Nacos+配置文件增加

简介：账号微服务注册Nacos+配置文件增加

  • 启动账号微服务

    • 排除sharding-jdbc依赖
    						<exclusions><exclusion><groupId>org.apache.shardingsphere</groupId><artifactId>sharding-jdbc-spring-boot-starter</artifactId></exclusion></exclusions>
    • 增加main函数主类
    @MapperScan("net.class.mapper")
@EnableTransactionManagement
@EnableFeignClients
@EnableDiscoveryClient
@SpringBootApplication
public class AccountApplication {public static void main(String[] args) {SpringApplication.run(AccountApplication.class, args);}}
    • 配置文件
      cloud:nacos:discovery:server-addr: 120.79.150.146:8848username: nacospassword: nacosdatasource:driver-class-name: com.mysql.cj.jdbc.Driverurl: jdbc:mysql://120.79.150.146:3306/dcloud_account?useUnicode=true&characterEncoding=utf-8&useSSL=false&serverTimezone=Asia/Shanghaiusername: rootpassword: class.net168

  • 多个微服务增加配置+代码生成配置映入

第四章 账号微服务注册模块+短信验证码

第1集 账号微服务注册功能和流程介绍

简介:介绍微服务注册功能和流程介绍

  • 功能需求

    • 使用手机号注册，已经注册的手机号不能􏰀重复注册，密码不能使用简单的MD5加密
    • 用户上传头像需要用文件存储

  • 安全需求

    • 高并发下账号唯一性 注册邮箱或者手机验证码不能被恶意调用
      • 验证码+唯一索引
    • 头像文件存储访问方便扩容和管理
      • 阿里云OSS
    • 针对每个功能，初级开发和高级开发的思路是不一样
    • 产品经理提业务需求 安全需求就是自己的经验，不然最终背锅的还是自己
    • 高并发处理
      • 异步+池化思想

  • 短链平台选择

    • 使用短信验证码注册

      在这里插入图片描述

    • 头像存储使用阿里云OSS

第2集 第三方短信验证码平台接入申请操作指引

简介:账号微服务短信验证码接入申请操作指引

  • 短信验证码平台选择考虑点

    • 各个类型短信价格
    • 短信到达率、到达时间
    • 短信内容变量灵活，方便支持多场景
    • 支持多种推广内容的短信发放，例如业务推广、新产品宣讲、会员关怀等内容的短信
    • 多维度数据统计-查看请求量、发送成功量、失败量、等

    在这里插入图片描述

  • 短信平台

    • 阿里云：https://www.aliyun.com/product/sms
      • 推荐
    • 腾讯云：https://cloud.tencent.com/product/sms
      • 推荐
    • 第三方厂商：https://market.aliyun.com/products/57000002/cmapi00046920.html
      • 提供测试模板、免审核、测试成本更低

  • 选择申请接入

    • 阿里云市场：https://market.console.aliyun.com/imageconsole/index.htm

    • 参数

      AppKey：204000913     AppSecret：UaIdIkE9gEdjeZRGYLpgOq5FYAAYBfbD 复制AppCode：6999d4df3e7d48028470bbe517169a8d  复制免费测试的模板ID: M72CB42894
第3集 账号微服务短信验证码发送工具类封装实战

简介:账号微服务短信验证码发送工具类封装实战

  • RestTemplate配置
	@Beanpublic RestTemplate restTemplate(ClientHttpRequestFactory factory) {return new RestTemplate(factory);}@Beanpublic ClientHttpRequestFactory simpleClientHttpRequestFactory() {SimpleClientHttpRequestFactory factory = new SimpleClientHttpRequestFactory();factory.setReadTimeout(10000);factory.setConnectTimeout(10000);return factory;}
  • SmsConfig配置
#----------sms短信配置--------------
sms:app-code: 6999d4df3e7d48028470bbe517169a8dtemplate-id: M72CB42894@ConfigurationProperties(prefix = "sms")
@Configuration
@Data
public class SmsConfig {private String templateId;private String appCode;}
  • SmsComponent工具类封装
private void send(String to, String templateId, String value) {String url = String.format(urlTemplate, to, templateId, value);HttpHeaders headers = new HttpHeaders();//最后在header中的格式(中间是英文空格)为Authorization:APPCODE 83359fd73fe94948385f570e3c139105headers.set("Authorization", "APPCODE " + smsConfig.getAppCode());HttpEntity<String> entity = new HttpEntity<>(headers);ResponseEntity<String> response = restTemplate.exchange(url, HttpMethod.POST, entity, String.class);log.info("url={},body={}", url, response.getBody());if (response.getStatusCode() == HttpStatus.OK) {log.info("发送短信成功,响应信息:{}", response.getBody());} else {log.error("发送短信失败,响应信息:{}", response.getBody());}}
第4集 账号微服务短信验证码发送工具类单元测试

简介:账号微服务短信验证码发送工具类单元测试

  • 单元测试
@RunWith(SpringRunner.class)
@SpringBootTest(classes = AccountApplication.class)
@Slf4j
public class SmsTest {@Autowiredprivate SmsComponent smsComponent;@Testpublic void testSendSms(){smsComponent.sendCode("13113777337","M72CB42894","223344");}}

第五章 架构核心技术-池化思想-异步结合 性能优化最佳实践

第1集 接口压测和常用压力测试工具对比

简介：目前用的常用测试工具对比

  • LoadRunner

    • 性能稳定，压测结果及细粒度大，可以自定义脚本进行压测，但是太过于重大，功能比较繁多

  • Apache AB(单接口压测最方便)

    • 模拟多线程并发请求,ab命令对发出负载的计算机要求很低，既不会占用很多CPU，也不会占用太多的内存，但却会给目标服务器造成巨大的负载, 简单DDOS攻击等

  • Webbench

    • webbench首先fork出多个子进程，每个子进程都循环做web访问测试。子进程把访问的结果通过pipe告诉父进程，父进程做最终的统计结果。

  • Jmeter (GUI )

    • 开源免费，功能强大，在互联网公司普遍使用
    • 压测不同的协议和应用
        1. Web - HTTP, HTTPS (Java, NodeJS, PHP, ASP.NET, …)
        1. SOAP / REST Webservices
        1. FTP
        1. Database via JDBC
        1. LDAP 轻量目录访问协议
        1. Message-oriented middleware (MOM) via JMS
        1. Mail - SMTP(S), POP3(S) and IMAP(S)
        1. TCP等等
    • 使用场景及优点
      • 1）功能测试
      • 2）压力测试
      • 3）分布式压力测试
      • 4）纯java开发
      • 5）上手容易，高性能
      • 4）提供测试数据分析
      • 5）各种报表数据图形展示
  • 压测工具本地快速安装Jmeter5.x
    • 需要安装JDK8 以上
    • 建议安装JDK环境，虽然JRE也可以，但是压测https需要JDK里面的 keytool工具
    • 快速下载 https://jmeter.apache.org/download_jmeter.cgi
    • 文档地址：http://jmeter.apache.org/usermanual/get-started.html

  • 目录

    bin:核心可执行文件，包含配置jmeter.bat: windows启动文件(window系统一定要配置显示文件拓展名)jmeter: mac或者linux启动文件jmeter-server：mac或者Liunx分布式压测使用的启动文件jmeter-server.bat：window分布式压测使用的启动文件jmeter.properties: 核心配置文件   
extras：插件拓展的包lib:核心的依赖包

  • Jmeter语言版本中英文切换

    • 控制台修改 menu -> options -> choose language

  • 配置文件修改

    • bin目录 -> jmeter.properties
    • 默认 #language=en
    • 改为 language=zh_CN
第2集 Jmeter5.X基础功能组件介绍+线程组和Sampler

简介：讲解Jmeter里面GUI菜单栏主要组件

  • 添加->threads->线程组（控制总体并发）

    线程数：虚拟用户数。一个虚拟用户占用一个进程或线程准备时长（Ramp-Up Period(in seconds)）：全部线程启动的时长，比如100个线程，20秒，则表示20秒内 100个线程都要启动完成，每秒启动5个线程循环次数：每个线程发送的次数，假如值为5，100个线程，则会发送500次请求，可以勾选永远循环

  • 线程组->添加-> Sampler(采样器) -> Http （一个线程组下面可以增加几个Sampler）

    名称：采样器名称
注释：对这个采样器的描述
web服务器：默认协议是http默认端口是80服务器名称或IP ：请求的目标服务器名称或IP地址路径：服务器URL

  • 查看测试结果

    线程组->添加->监听器->察看结果树
线程组->添加->监听器->聚合报告

  • 常规压测流程

    • 内网环境

    • 非GUI下压测

    • 停止其他无关资源进程

    • 压测机和被压测机器隔离

第3集 调用第三方服务组件改造+Jmeter5.x性能压测实践

简介：调用第三方服务组件改造+Jmeter5.x性能压测实践

  • 埋点http请求得出请求响应耗时【粗略统计，非线上大量数据测试得出】

  • 增加代码NotifyController、NotifyService

    • test方法测试

  • 压测参数配置

    • 200并发
    • 2秒启动
    • 循环500次

  • 同步发送+resttemplate未池化

    • 错误：Connection timed out
    • 400到500 qps
第4集 高并发下异步请求解决方案- @Async注解应用实战

简介：高并发下异步请求解决方案一- @Async组件应用实战

  • 问题

    • 由于发送短信涉及到网络通信, 因此sendMessage方法可能会有一些延迟. 为了改善用户体验, 我们可以使用异步发送短信的方法

  • 什么是异步任务

    • 异步调用是相对于同步调用而言的，同步调用是指程序按预定顺序一步步执行，每一步必须等到上一步执行完后才能执行，异步调用则无需等待上一步程序执行完即可执行
    • 多线程就是一种实现异步调用的方式
    • MQ也是一种宏观上的异步

  • 使用场景

    • 适用于处理log、发送邮件、短信……等
    • 涉及到网络IO调用等操作

  • 使用方式

    • 启动类里面使用@EnableAsync注解开启功能，自动扫描
    • 定义异步任务类并使用@Component标记组件被容器扫描,异步方法加上@Async

  • 注意：@Async失效情况

    • 注解@Async的方法不是public方法

    • 注解@Async的返回值只能为void或者Future

    • 注解@Async方法使用static修饰也会失效

    • spring无法扫描到异步类，没加注解@Async 或 @EnableAsync注解

    • 调用方与被调方不能在同一个类

      • Spring 在扫描bean的时候会扫描方法上是否包含@Async注解，动态地生成一个子类（即proxy代理类），当这个有注解的方法被调用的时候，实际上是由代理类来调用的，代理类在调用时增加异步作用
      • 如果这个有注解的方法是被同一个类中的其他方法调用的，那么该方法的调用并没有通过代理类，而是直接通过原来的那个 bean，所以就失效了
      • 所以调用方与被调方不能在同一个类，主要是使用了动态代理，同一个类的时候直接调用，不是通过生成的动态代理类调用
      • 一般将要异步执行的方法单独抽取成一个类

    • 类中需要使用@Autowired或@Resource等注解自动注入，不能自己手动new对象

    • 在Async 方法上标注@Transactional是没用的，但在Async 方法调用的方法上标注@Transactional 是有效的

  • 编码实践

		//启动类增加 @EnableAsync// @Override@Asyncpublic void testSend() {//        try {
//            TimeUnit.MILLISECONDS.sleep(2000);
//        } catch (InterruptedException e) {
//            e.printStackTrace();
//        }long beginTime = CommonUtil.getCurrentTimestamp();ResponseEntity<String> forEntity = restTemplate.getForEntity("http://old.xdclass.net", String.class);String body = forEntity.getBody();long endTime = CommonUtil.getCurrentTimestamp();log.info("耗时={},body={}",endTime-beginTime,body);}
第5集 异步调用-压测高QPS后的背后原因和问题拆解

简介：异步调用-压测高QPS后的背后原因和问题拆解

在这里插入图片描述

  • 默认参数下压测结果

在这里插入图片描述

  • 现象：压测后很快跑完全部内容，是因为都在线程池内部的阻塞队列里面

    • 极容易出现OOM，或者消息丢失

    • 默认8个核心线程数占用满了之后, 新的调用就会进入队列, 最大值是Integer.MAX_VALUE，表现为没有执行

      • task-XXX 日志里面会出现递增

    • 设置下idea启动进程的jvm参数： -Xms50M -Xmx50M

  • 代码位置

    • TaskExecutionProperties
    • TaskExecutionAutoConfiguration

  • 说明：

    • 直接使用 @Async 注解没指定线程池的话，即未设置TaskExecutor时
    • 默认使用Spring创建ThreadPoolTaskExecutor
    • 核心线程数：8
    • 最大线程数：Integer.MAX_VALUE ( 21亿多)
    • 队列使用LinkedBlockingQueue
    • 容量是：Integer.MAX_VALUE
    • 空闲线程保留时间：60s
    • 线程池拒绝策略：AbortPolicy

  • 如何解决上面说的问题？

第6集 【底层原理】Async+ThreadPoolTaskExecutor自定义线程池进阶实战

简介：高并发下异步请求 @Async+ThreadPoolTaskExecutor自定义线程池实战

  • 自定义线程池可以解决上述的问题

在这里插入图片描述

  • 大家的疑惑 使用线程池的时候搞混淆ThreadPoolTaskExecutor和ThreadPoolExecutor

    • ThreadPoolExecutor，这个类是JDK中的线程池类，继承自Executor，里面有一个execute()方法，用来执行线程，线程池主要提供一个线程队列，队列中保存着所有等待状态的线程，避免了创建与销毁的额外开销

    • ThreadPoolTaskExecutor，是spring包下的，是Spring为我们提供的线程池类

      • Spring异步线程池的接口类是TaskExecutor，本质还是java.util.concurrent.Executor

  • 解决方式

    • spring会先搜索TaskExecutor类型的bean或者名字为taskExecutor的Executor类型的bean,
    • 所以我们最好来自定义一个线程池，加入Spring IOC容器里面，即可覆盖

  • 自定义线程池

@Configuration
@EnableAsync
public class ThreadPoolTaskConfig {@Bean("threadPoolTaskExecutor")public ThreadPoolTaskExecutor threadPoolTaskExecutor(){ThreadPoolTaskExecutor threadPoolTaskExecutor = new ThreadPoolTaskExecutor();//线程池创建的核心线程数，线程池维护线程的最少数量，即使没有任务需要执行，也会一直存活//如果设置allowCoreThreadTimeout=true（默认false）时，核心线程会超时关闭threadPoolTaskExecutor.setCorePoolSize(4);//最大线程池数量，当线程数>=corePoolSize，且任务队列已满时。线程池会创建新线程来处理任务//当线程数=maxPoolSize，且任务队列已满时，线程池会拒绝处理任务而抛出异常threadPoolTaskExecutor.setMaxPoolSize(8);//缓存队列（阻塞队列）当核心线程数达到最大时，新任务会放在队列中排队等待执行threadPoolTaskExecutor.setQueueCapacity(124);//当线程空闲时间达到keepAliveTime时，线程会退出，直到线程数量=corePoolSize//允许线程空闲时间60秒，当maxPoolSize的线程在空闲时间到达的时候销毁//如果allowCoreThreadTimeout=true，则会直到线程数量=0threadPoolTaskExecutor.setKeepAliveSeconds(30);//spring 提供的 ThreadPoolTaskExecutor 线程池，是有setThreadNamePrefix() 方法的。 //jdk 提供的ThreadPoolExecutor 线程池是没有 setThreadNamePrefix() 方法的threadPoolTaskExecutor.setThreadNamePrefix("Spring自带Async前缀：");threadPoolTaskExecutor.setWaitForTasksToCompleteOnShutdown(true);// rejection-policy：当pool已经达到max size的时候，如何处理新任务// CallerRunsPolicy()：交由调用方线程运行，比如 main 线程；如果添加到线程池失败，那么主线程会自己去执行该任务，不会等待线程池中的线程去执行
//AbortPolicy()：该策略是线程池的默认策略，如果线程池队列满了丢掉这个任务并且抛出RejectedExecutionException异常。
//DiscardPolicy()：如果线程池队列满了，会直接丢掉这个任务并且不会有任何异常
//DiscardOldestPolicy()：丢弃队列中最老的任务，队列满了，会将最早进入队列的任务删掉腾出空间，再尝试加入队列threadPoolTaskExecutor.setRejectedExecutionHandler(new ThreadPoolExecutor.CallerRunsPolicy());threadPoolTaskExecutor.initialize();return threadPoolTaskExecutor;}}//使用实战， 启动类可以不加@EnableAsync，改上面加
@Async("threadPoolTaskExecutor")
  • 总结【方便记忆】
    • 先是CorePoolSize是否满足，然后是Queue阻塞队列是否满，最后才是MaxPoolSize是否满足
第7集 ThreadPoolTaskExecutor线程池的面试题

简介：ThreadPoolTaskExecutor线程池的面试题你知道怎么回答不

  • 请你说下 ThreadPoolTaskExecutor线程池 有哪几个重要参数，什么时候会创建线程

    • 查看核心线程池是否已满，不满就创建一条线程执行任务，否则执行第二步。
    • 查看阻塞队列是否已满，不满就将任务存储在阻塞队列中，否则执行第三步。
    • 查看线程池是否已满，即是否达到最大线程池数，不满就创建一条线程执行任务，否则就按照策略处理无法执行的任务。

  • 高并发下核心线程怎么设置？

    • 分IO密集还是CPU密集

      • CPU密集设置为跟核心数一样大小
      • IO密集型设置为2倍CPU核心数

    • 非固定，根据实际情况压测进行调整，俗称【调参程序员】【调参算法工程师】

第8集 线程池多参数调整-性能压测+现象对比分析

简介：实践出真知-线程池多参数调整-现象报告对比分析

  • 异步发送 + resttemplate未池化

    • 线程池参数
    threadPoolTaskExecutor.setCorePoolSize(4);
threadPoolTaskExecutor.setMaxPoolSize(16);
threadPoolTaskExecutor.setQueueCapacity(32);
    • qps少，等待队列小

  • 异步发送+resttemplate未池化

    • 线程池参数
    threadPoolTaskExecutor.setCorePoolSize(32);
threadPoolTaskExecutor.setMaxPoolSize(64);
threadPoolTaskExecutor.setQueueCapacity(10000);
//如果等待队列长度为10万，则qps瞬间很高8k+,可能oom
    • qps，等待队列大(瞬间高)

  • 问题

    • 采用异步发送用户体验变好了，但是存在丢失的可能，阻塞队列存储内存中，如果队列长度过多则重启容易出现丢失数据情况
    • 采用了异步发送了+阻塞队列存缓冲，刚开始瞬间QPS高，但是后续也降低很多
    • 问题是在哪里？消费方角度，提高消费能力

高并发下核心线程怎么设置？

  • 分IO密集还是CPU密集

    • CPU密集设置为跟核心数一样大小
    • IO密集型设置为2倍CPU核心数

  • 非固定，根据实际情况压测进行调整，俗称【调参程序员】【调参算法工程师】

第8集 线程池多参数调整-性能压测+现象对比分析

简介：实践出真知-线程池多参数调整-现象报告对比分析

  • 异步发送 + resttemplate未池化

    • 线程池参数
    threadPoolTaskExecutor.setCorePoolSize(4);
threadPoolTaskExecutor.setMaxPoolSize(16);
threadPoolTaskExecutor.setQueueCapacity(32);
    • qps少，等待队列小

  • 异步发送+resttemplate未池化

    • 线程池参数
    threadPoolTaskExecutor.setCorePoolSize(32);
threadPoolTaskExecutor.setMaxPoolSize(64);
threadPoolTaskExecutor.setQueueCapacity(10000);
//如果等待队列长度为10万，则qps瞬间很高8k+,可能oom
    • qps，等待队列大(瞬间高)

  • 问题

    • 采用异步发送用户体验变好了，但是存在丢失的可能，阻塞队列存储内存中，如果队列长度过多则重启容易出现丢失数据情况
    • 采用了异步发送了+阻塞队列存缓冲，刚开始瞬间QPS高，但是后续也降低很多
    • 问题是在哪里？消费方角度，提高消费能力

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/256406.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Linux 36.2@Jetson Orin Nano基础环境构建

Linux 36.2@Jetson Orin Nano基础环境构建

Linux 36.2Jetson Orin Nano基础环境构建 1. 源由2. 步骤2.1 安装NVIDIA Jetson Linux 36.2系统2.2 必备软件安装2.3 基本远程环境2.3.1 远程ssh登录2.3.2 samba局域网2.3.3 VNC远程登录 2.4 开发环境安装 3. 总结 1. 源由 现在流行什么&#xff0c;也跟风来么一个一篇。当然&…
阅读更多...
vue3 中使用pinia 数据状态管理(在Taro 京东移动端框架中的使用)

vue3 中使用pinia 数据状态管理(在Taro 京东移动端框架中的使用)

1.pinia 介绍 pinia 是 Vue 的存储库&#xff0c;它允许您跨组件/页面共享状态。就是和vuex一样的实现数据共享。 依据Pinia官方文档&#xff0c;Pinia是2019年由vue.js官方成员重新设计的新一代状态管理器&#xff0c;更替Vuex4成为Vuex5。 Pinia 目前也已经是 vue 官方正式的…
阅读更多...
[机器学习]K-means——聚类算法

[机器学习]K-means——聚类算法

一.K-means算法概念 二.代码实现 # 0. 引入依赖 import numpy as np import matplotlib.pyplot as plt # 画图依赖 from sklearn.datasets import make_blobs # 从sklearn中直接生成聚类数据# 1. 数据加载 # 生成&#xff08;n_samples&#xff1a;样本点&#xff0c;centers&…
阅读更多...
python+ flask+MySQL旅游数据可视化81319-计算机毕业设计项目选题推荐（免费领源码）

python+ flask+MySQL旅游数据可视化81319-计算机毕业设计项目选题推荐（免费领源码）

摘要 信息化社会内需要与之针对性的信息获取途径&#xff0c;但是途径的扩展基本上为人们所努力的方向&#xff0c;由于站在的角度存在偏差&#xff0c;人们经常能够获得不同类型信息&#xff0c;这也是技术最为难以攻克的课题。针对旅游数据可视化等问题&#xff0c;对旅游数据…
阅读更多...
深入解析 Spring 事务机制

深入解析 Spring 事务机制

当构建复杂的企业级应用程序时&#xff0c;数据一致性和可靠性是至关重要的。Spring 框架提供了强大而灵活的事务管理机制&#xff0c;成为开发者处理事务的首选工具。本文将深入探讨 Spring 事务的使用和原理&#xff0c;为大家提供全面的了解和实际应用的指导。 本文概览 首…
阅读更多...
IAR报错：Error[Pa045]: function “halUartInit“ has no prototype

IAR报错：Error[Pa045]: function “halUartInit“ has no prototype

在IAR工程.c文件末尾添加一个自己的函数&#xff0c;出现了报错Error[Pa045]: function "halUartInit" has no prototype 意思是没有在开头添加函数声明&#xff0c;即void halUartInit(void); 这个问题我们在keil中不会遇到&#xff0c;这是因为IAR编译器规则的一…
阅读更多...
编程实例分享，手表养护维修软件钟表维修开单管理系统教程

编程实例分享，手表养护维修软件钟表维修开单管理系统教程

编程实例分享&#xff0c;手表养护维修软件钟表维修开单管理系统教程 一、前言 以下教程以 佳易王钟表维护维修管理系统软件V16.0为例说明 软件文件下载可以点击最下方官网卡片——软件下载——试用版软件下载 左侧为导航栏&#xff0c; 1、系统设置&#xff1a;可以设置打…
阅读更多...
DataBinding源码浅析---初始化过程

DataBinding源码浅析---初始化过程

作为Google官方发布的支持库&#xff0c;DataBinding实现了UI组件和数据源的双向绑定&#xff0c;同时在Jetpack组件中&#xff0c;也将DataBinding放在了Architecture类型之中。对于DataBinding的基础使用请先翻阅前两篇文章的详细阐述。本文所用代码也是建立在之前工程基础之…
阅读更多...
Android 移动应用开发 创建第一个Android项目

Android 移动应用开发 创建第一个Android项目

文章目录 一、创建第一个Android项目1.1 准备好Android Studio1.2 运行程序1.3 程序结构是什么app下的结构res - 子目录&#xff08;所有图片、布局、字AndroidManifest.xml 有四大组件&#xff0c;程序添加权限声明 Project下的结构 二、开发android时&#xff0c;部分库下载异…
阅读更多...
模型 煤气灯效应

模型 煤气灯效应

系列文章 主要是 分享 思维模型&#xff0c;涉及各个领域&#xff0c;重在提升认知。情感操控&#xff0c;认知扭曲。 1 煤气灯效应的应用 1.1 电影《煤气灯下》故事 宝拉继承了姨妈的一大笔遗产&#xff0c;居心不良的安东得知后&#xff0c;就动起了这笔钱的念头。安东利用…
阅读更多...
U3D记录之FBX纹理丢失问题

U3D记录之FBX纹理丢失问题

今天费老大劲从blender建了个模型&#xff0c;然后导出进去unity 发现贴图丢失 上网查了一下 首先blender导出要改设置 这个path mode要copy 然后unity加载纹理也要改设置 这里这个模型的纹理load要改成external那个模式 然后就有了&#xff0c;另外这个导出还有好多选项可…
阅读更多...
HCIA-HarmonyOS设备开发认证V2.0-3.2.轻量系统内核基础-中断管理

HCIA-HarmonyOS设备开发认证V2.0-3.2.轻量系统内核基础-中断管理

目录 一、中断基础概念二、中断管理使用说明三、中断管理模块接口四、代码分析&#xff08;待续...&#xff09;坚持就有收获 一、中断基础概念 在程序运行过程中&#xff0c;出现需要由 CPU 立即处理的事务时&#xff0c;CPU 暂时中止当前程序的执行转而处理这个事务&#xf…
阅读更多...
下个目标，突破 10w+

下个目标，突破 10w+

转眼间&#xff0c;2023 年已经过去了&#xff0c;今天是大年初四&#xff0c;还有十来天就马上除夕了&#xff0c;迈入新的一年。 回顾 2023 年&#xff0c;如果让我给自己打分&#xff0c;我算是 7.5 分吧。 在这一年了&#xff0c;工作上表现平平&#xff0c;并没有什么突…
阅读更多...
Hugging Face 刚刚推出了一款开源的 AI 助手制造工具，直接向 OpenAI 的定制 GPT 挑战

Hugging Face 刚刚推出了一款开源的 AI 助手制造工具，直接向 OpenAI 的定制 GPT 挑战

每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗&#xff1f;订阅我们的简报&#xff0c;深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同&#xff0c;从行业内部的深度分析和实用指南中受益。不要错过这个机会&#xff0c;成为AI领…
阅读更多...
sqli靶场完结篇！！！！

sqli靶场完结篇！！！！

靶场&#xff0c;靶场&#xff0c;一个靶场打一天&#xff0c;又是和waf斗智斗勇的一天&#xff0c;waf我和你拼啦&#xff01;&#xff01; 31.多个)号 先是一套基本的判断 &#xff0c;发现是字符型&#xff0c;然后发现好像他什么都不过滤&#xff1f;于是开始poc 3213131…
阅读更多...
mac电脑flutter环境配置，解决疑难问题

mac电脑flutter环境配置，解决疑难问题

准备工作 首先搭建flutter的环境需要使用到flutter的sdk&#xff0c;可以直接跳去官网下载&#xff1a;Choose your first type of app - Flutter 中文文档 - Flutter 中文开发者网站 - Flutter&#xff0c;下载时要注意你电脑所使用的芯片是Intel的还是苹果的芯片。 下载好的…
阅读更多...
一键打造属于自己漏扫系统

一键打造属于自己漏扫系统

0x01 工具介绍 本系统是对Web中间件和Web框架进行自动化渗透的一个系统,根据扫描选项去自动化收集资产,然后进行POC扫描,POC扫描时会根据指纹选择POC插件去扫描,POC插件扫描用异步方式扫描.前端采用vue技术,后端采用python fastapi。 0x02 安装与使用 1、Docker部署环境 编译…
阅读更多...
《剑指Offer》笔记题解思路技巧优化 Java版本——新版leetcode_Part_2

《剑指Offer》笔记题解思路技巧优化 Java版本——新版leetcode_Part_2

《剑指Offer》笔记&题解&思路&技巧&优化_Part_2 &#x1f60d;&#x1f60d;&#x1f60d; 相知&#x1f64c;&#x1f64c;&#x1f64c; 相识&#x1f353;&#x1f353;&#x1f353;广度优先搜索BFS&#x1f353;&#x1f353;&#x1f353;深度优先搜索DF…
阅读更多...
ES监控方法以及核心指标

ES监控方法以及核心指标

文章目录 1. 监控指标采集1.1 部署elasticsearch_exporter1.2 prometheus采集elasticsearch_exporter的暴露指标1.3 promethues配置告警规则或者配置grafana大盘 2. 核心告警指标2.1 es核心指标2.2 es容量模型建议 3. 参考文章 探讨es的监控数据采集方式以及需要关注的核心指标…
阅读更多...
Qt 常用算法及正则表达式

Qt 常用算法及正则表达式

目录 常用算法 正则表达式 常用算法 double c qAbs(a)&#xff0c;函数 qAbs() 返回 double 型数值 a 的绝对值 double max qMax(b,c)&#xff0c;函数 qMax() 返回两个数值中的最大值 int bnqRound(b)&#xff0c;返回一个与浮点数最接近的整数值(四舍五入) int cn q…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023