SpringBoot分布式定时任务实战:告别重复执行的烦恼

场景再现:你刚部署完基于SpringBoot的集群服务,凌晨3点突然收到监控告警——优惠券发放量超出预算两倍!检查日志发现,两个节点同时执行了定时任务。这种分布式环境下的定时任务难题,该如何彻底解决?

本文将手把手带你攻克这些难题:

  • 剖析传统@Scheduled注解在分布式环境失效的根源
  • 实战演示三种主流分布式定时任务方案
  • 生产环境避坑指南与性能优化建议

一、为什么单机方案在分布式环境下失效?

当我们的服务以集群方式部署时,每个节点的定时任务都会独立运行。这会导致:

  1. 重复任务执行导致业务异常(如重复扣款)
  2. 数据库被多个节点同时操作引发锁冲突
  3. 无法实现任务的动态扩容缩容

二、五大分布式定时任务方案选型

方案实现难度可靠性功能丰富度适用场景
数据库锁★★☆☆☆★★☆☆☆★☆☆☆☆小型项目快速实现
Redis分布式锁★★★☆☆★★★☆☆★★☆☆☆轻量级任务调度
Zookeeper选举★★★★☆★★★★☆★★☆☆☆强一致性场景
Quartz集群★★★★☆★★★★☆★★★★★企业级复杂调度
Elastic-Job★★★☆☆★★★★★★★★★★互联网高并发场景

结论:推荐Elastic-Job(功能强大)或Spring Scheduler + Redis分布式锁(轻量快速)


三、方案一:Elastic-Job + SpringBoot实战

3.1 引入Maven依赖
<!-- ElasticJob-Lite -->
<dependency><groupId>org.apache.shardingsphere.elasticjob</groupId><artifactId>elasticjob-lite-spring-boot-starter</artifactId><version>3.0.3</version>
</dependency>
3.2 配置Zookeeper注册中心
elasticjob:reg-center:server-lists: localhost:2181namespace: elasticjob-demo
3.3 实现定时任务类
public class OrderTimeoutJob implements SimpleJob {@Overridepublic void execute(ShardingContext context) {// 获取当前分片参数int shardIndex = context.getShardingItem();// 分片策略示例:按订单ID取模分片List<Long> orderIds = fetchTimeoutOrders(shardIndex);orderIds.forEach(this::cancelOrder);}private List<Long> fetchTimeoutOrders(int shard) {// 实现分片查询逻辑return orderRepository.findTimeoutOrders(shard);}
}

关键配置参数

jobs:orderTimeoutJob:elasticJobClass: com.example.OrderTimeoutJobcron: 0 0/5 * * * ?shardingTotalCount: 3overwrite: true

四、方案二:Spring Scheduler + Redis分布式锁

4.1 实现Redis锁工具类
public class RedisDistributedLock {private static final String LOCK_PREFIX = "schedule:lock:";private static final int LOCK_EXPIRE = 30;@Autowiredprivate StringRedisTemplate redisTemplate;public boolean tryLock(String lockKey) {String key = LOCK_PREFIX + lockKey;return redisTemplate.opsForValue().setIfAbsent(key, "locked", LOCK_EXPIRE, TimeUnit.SECONDS);}public void unlock(String lockKey) {redisTemplate.delete(LOCK_PREFIX + lockKey);}
}
4.2 定时任务增强实现
@Component
public class CouponExpireJob {@Autowiredprivate RedisDistributedLock redisLock;@Scheduled(cron = "0 0 3 * * ?")public void processExpiredCoupons() {if (!redisLock.tryLock("couponJob")) {return;}try {// 真正的业务逻辑couponService.processExpired();} finally {redisLock.unlock("couponJob");}}
}

五、生产环境避坑指南

  1. 时钟同步问题:所有节点必须使用NTP同步时间
  2. 锁过期时间:预估任务最大执行时间,建议设置超时时间的1.5倍
  3. 故障转移:使用Elastic-Job时开启故障转移配置
    jobs:myJob:failover: true
    
  4. 动态扩容:Elastic-Job支持运行时修改分片数量
  5. 监控告警:集成Prometheus监控任务执行情况

六、性能优化建议

  1. 分片策略优化:根据数据特征选择哈希分片或区间分片
  2. 批量处理:每次处理100-500条数据,避免大事务
  3. 异步执行:耗时操作放入线程池异步处理
  4. 索引优化:任务查询的SQL必须走索引
  5. 日志精简:关闭不必要的调试日志,保留关键操作日志

技术选型建议

  • 中小型项目:Spring Scheduler + Redis锁
  • 大型分布式系统:Elastic-Job
  • 遗留系统改造:Quartz集群

最终解决方案没有银弹,根据团队技术储备和业务场景灵活选择。建议从简单方案入手,随着业务发展逐步演进架构。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/39608.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

蓝桥杯python组备考2(b站课程笔记)超详细

语法进阶 一、列表推导式 想讲解一下示例4到示例7的代码&#xff1a; 4、循环n次生成n个零放进列表中&#xff0c;其实也就是相当于[0]*n&#xff08;列表乘法&#xff0c;将原来的列表循环n次产生一个新的列表&#xff09;&#xff0c;接着在循环n次产生n个这样的列表&#x…

【大模型LLM第十四篇】Agent学习之anthropic-quickstarts Agent

前言 对于anthropic api的快速使用&#xff0c;在github上有几个example Customer Support Agent&#xff1a;由 Claude 提供支持的客户支持代理。该项目演示了如何利用 Claude 的自然语言理解和生成功能来创建可访问知识库的 AI 辅助客户支持系统。Financial Data Analyst &…

用DrissionPage升级网易云音乐爬虫:更稳定高效地获取歌单音乐(附原码)

一、传统爬虫的痛点分析 原代码使用requests re的方案存在以下局限性&#xff1a; 动态内容缺失&#xff1a;无法获取JavaScript渲染后的页面内容 维护成本高&#xff1a;网页结构变化需频繁调整正则表达式 反爬易触发&#xff1a;简单请求头伪造容易被识别 资源消耗大&am…

2025年渗透测试面试题总结- PingCAP安全工程师(题目+回答)

网络安全领域各种资源&#xff0c;学习文档&#xff0c;以及工具分享、前沿信息分享、POC、EXP分享。不定期分享各种好玩的项目及好用的工具&#xff0c;欢迎关注。 目录 PingCAP安全工程师 一、SQL注入判断数据库类型技术分析 1. 常规判断方法 2. 盲注场景下的判断 3. 补…

【加密社】如何创建自己的币圈工具站

需要准备的工作 1.域名 2.服务器 周末的时候主要弄了快讯这方面的代码 我这里用的是星球日报的api&#xff0c;也可以订阅他们的rss&#xff0c;这部分在github上是开源的 https://github.com/ODAILY 我这里用的是WordPressonenav主题&#xff0c;然后用小工具在主页展示&am…

Oracle归档配置及检查

配置归档位置到 USE_DB_RECOVERY_FILE_DEST&#xff0c;并设置存储大小 startup mount; !mkdir /db/archivelog ALTER SYSTEM SET db_recovery_file_dest_size100G SCOPEBOTH; ALTER SYSTEM SET db_recovery_file_dest/db/archivelog SCOPEBOTH; ALTER SYSTEM SET log_archive…

Apache Hive:基于Hadoop的分布式数据仓库

Apache Hive 是一个基于 Apache Hadoop 构建的开源分布式数据仓库系统&#xff0c;支持使用 SQL 执行 PB 级大规模数据分析与查询。 主要功能 Apache Hive 提供的主要功能如下。 HiveServer2 HiveServer2 服务用于支持接收客户端连接和查询请求。 HiveServer2 支持多客户端…

FPGA_DDS_IP核

接下来对FPGA的DDS的ip核进行学习。 首先对DDS需要有些了解 DDS信号发生器采用直接数字频率合成&#xff08;Direct Digital Synthesis&#xff0c;简称DDS&#xff09;技术&#xff0c;简单来说就是 需要一个系统频率和一个输入的数字数据 &#xff0c;用这个系统频率计算出…

欢迎来到未来:探索 Dify 开源大语言模型应用开发平台

欢迎来到未来&#xff1a;探索 Dify 开源大语言模型应用开发平台 如果你对 AI 世界有所耳闻&#xff0c;那么你一定听说过大语言模型&#xff08;LLM&#xff09;。这些智能巨兽能够生成文本、回答问题、甚至编写代码&#xff01;但是&#xff0c;如何将它们变成真正的实用工具…

计算机工具基础(七)——Git

Git 本系列博客为《Missing in CS Class(2020)》课程笔记 Git是一种分布式版本控制系统&#xff0c;被其跟踪的文件可被查询精细到行的修改记录、回退版本、建立分支等 模型 一般流程&#xff1a;工作区 → \to →暂存区 → \to →仓库(本地 → \to →远端) 工作区&#xff1…

uniapp动态循环表单校验失败:初始值校验

问题现象 &#x1f4a5; 在实现动态增减的单价输入表单时&#xff08;基于uv-form组件&#xff09;&#xff0c;遇到以下诡异现象&#xff1a; <uv-input>的v-model绑定初始值为数字类型时&#xff0c;required规则失效 ❌数字类型与字符串类型校验表现不一致 &#x1…

前端框架学习路径与注意事项

学习前端框架是一个系统化的过程&#xff0c;需要结合理论、实践和工具链的综合掌握。以下是学习路径的关键方面和注意事项&#xff1a; 一、学习路径的核心方面 1. 基础概念与核心思想 组件化开发&#xff1a;理解组件的作用&#xff08;复用性、隔离性&#xff09;、组件通信…

【Python机器学习】3.5. 决策树实战:基于Iris数据集

喜欢的话别忘了点赞、收藏加关注哦&#xff08;关注即可查看全文&#xff09;&#xff0c;对接下来的教程有兴趣的可以关注专栏。谢谢喵&#xff01;(&#xff65;ω&#xff65;) 本文紧承 3.1. 决策树理论(基础) 和 3.2. 决策树理论(进阶)&#xff0c;没看过的建议先看理论分…

Unity2022发布Webgl2微信小游戏部分真机黑屏

复现规律&#xff1a; Unity PlayerSetting中取消勾选ShowSplashScreen 分析&#xff1a; 在Unity中&#xff0c;Splash Screen&#xff08;启动画面&#xff09; 不仅是视觉上的加载动画&#xff0c;还承担了关键的引擎初始化、资源预加载和渲染环境准备等底层逻辑。禁用后导…

docker desktop 集成WSL Ubuntu22.04

Windows docker desktop 设置WSL ubuntu 22.04启用与其他发行版的集成 Windows docker desktop 安装参考 wsl ubuntu 22.04 查看我宿主机的docker desktop 容器全部的信息 wsl -d Ubuntu-22.04 -u root

快速入手-基于Django的主子表间操作mysql(五)

1、如果该表中存在外键&#xff0c;结合实际业务情况&#xff0c;那可以这么写&#xff1a; 2、针对特殊的字典类型&#xff0c;可以这么定义 3、获取元组中的字典值和子表中的value值方法 4、对应的前端页面写法

使用cursor开发java案例——springboot整合elasticsearch

安装elasticsearch 打开cursor&#xff0c;输入如下提示词 使用springboot整合elasticsearch。其中elasticsearch服务器ip&#xff1a;192.168.236.134 管理员用户名elastic 管理员密码 PdQy_xfR2yLhpok*MK_ 监听端口9200点Accept all 使用idea打开生成的项目 &#xff0…

Deepseek结合企业数据挖掘平台能够给企业提升哪些效益?

Deepseek&#xff08;深度求索&#xff09;作为智能系统&#xff0c;在政务办公领域可通过AI技术优化流程、提升效率&#xff0c;具体应用场景分析如下&#xff1a; 1. 智能公文处理与流转 自动分类与审核 利用NLP解析公文内容&#xff0c;自动分类&#xff08;如请示、报告、通…

vite中sass警告JS API过期

在Vite创建项目中引入Sass弹出The legacy JS API is deprecated and will be removed in Dart Sass 2.0.0 vite中sass警告JS API过期 The legacy JS API is deprecated and will be removed in Dart Sass 2.0.0 警告提示表明你当前正在使用的 Dart Sass 版本中&#xff0c;旧的…

jenkins+1panel面板java运行环境自动化部署java项目

本文章不包含1panel面板安装、jenkins部署、jenkins连接git服务器等操作教程&#xff0c;如有需要可以抽空后期补上 jenkins安装插件Publish Over SSH 在系统配置添加服务器 查看项目的工作空间 项目Configure->构Post Steps选择Send files or execute commands over SSH…