云原生之深入解析亿级流量架构之服务限流思路与方法

一、限流思路

① 熔断

  • 系统在设计之初就把熔断措施考虑进去，当系统出现问题时，如果短时间内无法修复，系统要自动做出判断，开启熔断开关，拒绝流量访问，避免大流量对后端的过载请求。
  • 系统也应该能够动态监测后端程序的修复情况，当程序已恢复稳定时，可以关闭熔断开关，恢复正常服务。常见的熔断组件有 Hystrix 以及阿里的 Sentinel，两种互有优缺点，可以根据业务的实际情况进行选择。

在这里插入图片描述

② 服务降级

  • 将系统的所有功能服务进行一个分级，当系统出现问题需要紧急限流时，可将不是那么重要的功能进行降级处理，停止服务，这样可以释放出更多的资源供给核心功能的去用。
  • 例如在电商平台中，如果突发流量激增，可临时将商品评论、积分等非核心功能进行降级，停止这些服务，释放出机器和 CPU 等资源来保障用户正常下单，而这些降级的功能服务可以等整个系统恢复正常后，再来启动，进行补单/补偿处理。除了功能降级以外，还可以采用不直接操作数据库，而全部读缓存、写缓存的方式作为临时降级方案。

③ 延迟处理

  • 这个模式需要在系统的前端设置一个流量缓冲池，将所有的请求全部缓冲进这个池子，不立即处理。然后后端真正的业务处理程序从这个池子中取出请求依次处理，常见的可以用队列模式来实现。
  • 这就相当于用异步的方式去减少了后端的处理压力，但是当流量较大时，后端的处理能力有限，缓冲池里的请求可能处理不及时，会有一定程度延迟。

④ 特权处理

  • 这个模式需要将用户进行分类，通过预设的分类，让系统优先处理需要高保障的用户群体，其它用户群的请求就会延迟处理或者直接不处理。

⑤ 缓存、降级、限流区别

  • 缓存，是用来增加系统吞吐量，提升访问速度提供高并发。
  • 降级，是在系统某些服务组件不可用的时候、流量暴增、资源耗尽等情况下，暂时屏蔽掉出问题的服务，继续提供降级服务，给用户尽可能的友好提示，返回兜底数据，不会影响整体业务流程，待问题解决再重新上线服务
  • 限流，是指在使用缓存和降级无效的场景。比如当达到阈值后限制接口调用频率，访问次数，库存个数等，在出现服务不可用之前，提前把服务降级，只服务好一部分用户。

二、限流的算法

① 计数器算法

  • 简单粗暴，比如指定线程池大小，指定数据库连接池大小、nginx 连接数等，这都属于计数器算法。计数器算法是限流算法里最简单也是最容易实现的一种算法。
  • 举个例子，比如规定对于 A 接口，1 分钟的访问次数不能超过 100 个，那么就可以这么做：在一开始的时候，可以设置一个计数器 counter，每当一个请求过来的时候，counter 就加 1，如果 counter 的值大于 100 并且该请求与第一个请求的间隔时间还在 1 分钟之内，那么说明请求数过多，拒绝访问；如果该请求与第一个请求的间隔时间大于 1 分钟，且 counter 的值还在限流范围内，那么就重置 counter，就是这么简单粗暴。

在这里插入图片描述

② 漏桶算法

  • 漏桶算法思路很简单，水（请求）先进入到漏桶里，漏桶以一定的速度出水，当水流入速度过大会超过桶可接纳的容量时直接溢出，可以看出漏桶算法能强行限制数据的传输速率。

在这里插入图片描述

  • 这样做的好处是：
    • 削峰：有大量流量进入时，会发生溢出，从而限流保护服务可用；
    • 缓冲：不至于直接请求到服务器，缓冲压力，消费速度固定，计算性能固定。

③ 令牌桶算法

  • 令牌桶与漏桶相似，不同的是令牌桶桶中放了一些令牌，服务请求到达后，要获取令牌之后才会得到服务。举个例子，我们平时去食堂吃饭，都是在食堂内窗口前排队的，这就好比是漏桶算法，大量的人员聚集在食堂内窗口外，以一定的速度享受服务，如果涌进来的人太多，食堂装不下了，可能就有一部分人站到食堂外了，这就没有享受到食堂的服务，称之为溢出，溢出可以继续请求，也就是继续排队，那么这样有什么问题呢?
  • 如果这时候有特殊情况，如有些赶时间的志愿者啦、或者高三要高考啦，这种情况就是突发情况，如果也用漏桶算法那也得慢慢排队，这也就没有解决我们的需求，对于很多应用场景来说，除了要求能够限制数据的平均传输速率外，还要求允许某种程度的突发传输。这时候漏桶算法可能就不合适了，令牌桶算法更为适合。如下图所示，令牌桶算法的原理是系统会以一个恒定的速度往桶里放入令牌，而如果请求需要被处理，则需要先从桶里获取一个令牌，当桶里没有令牌可取时，则拒绝服务。

在这里插入图片描述

  • 令牌桶好处就是，如果某一瞬间访问量剧增或者有突发情况，可以通过改变桶中令牌数量来改变连接数，就好比那个食堂排队吃饭的问题，如果现在不是直接去窗口排队，而是先来楼外拿饭票然后再去排队，那么有高三的学生时可以将增加饭票数量或者优先将令牌给高三的学生，这样比漏桶算法更加灵活。

三、限流的方法

① 并发限流

  • 简单来说就是设置系统阈值总的 QPS 个数，这些也挺常见的，就拿 Tomcat 来说，很多参数就是出于这个考虑。例如：配置的 acceptCount 设置响应连接数，maxConnections 设置瞬时最大连接数，maxThreads 设置最大线程数，并发限流体现在下面几个方面:
    • 限制总并发数（如数据库连接池、线程池）；
    • 限制瞬时并发数（nginx 的 limit_conn 模块，用来限制瞬时并发连接数）；
    • 限制时间窗口内的平均速率（如 Guava 的 RateLimiter、nginx 的 limit_req 模块，限制每秒的平均速率）；
    • 其他的还有限制远程接口调用速率、限制 MQ 的消费速率；
    • 另外还可以根据网络连接数、网络流量、CPU 或内存负载等来限流。
  • 有了并发限流，就意味着在处理高并发的时候多了一种保护机制，不用担心瞬间流量导致系统挂掉或雪崩，最终做到有损服务而不是不服务；但是限流需要评估好，不能乱用，否则一些正常流量出现一些奇怪的问题而导致用户体验很差造成用户流失。

② 接口限流

  • 接口限流分为两个部分，一是限制一段时间内接口调用次数，参照前面限流算法的计数器算法，二是设置滑动时间窗口算法。
  • 接口总数：控制一段时间内接口被调用的总数量，可以参考前面的计数器算法，不再赘述。
  • 接口时间窗口：固定时间窗口算法（也就是前面提到的计数器算法）的问题是统计区间太大，限流不够精确，而且在第二个统计区间时没有考虑与前一个统计区间的关系与影响（第一个区间后半段 + 第二个区间前半段也是一分钟）。为了解决上面提到的临界问题，可以尝试把每个统计区间分为更小的统计区间，更精确的统计计数。

在这里插入图片描述

  • 在上面的例子中，假设 QPS 可以接受 100 次查询/秒，前一分钟前 40 秒访问很低，后 20 秒突增，并且这个持续了一段时间，直到第二分钟的第 40 秒才开始降下来，根据前面的计数方法，前一秒的 QPS 为 94，后一秒的 QPS 为 92，那么没有超过设定参数。但是在中间区域，QPS 达到了 142，这明显超过了允许的服务请求数目，因此固定窗口计数器不太可靠，需要滑动窗口计数器。
  • 计数器算法其实就是固定窗口算法，只是它没有对时间窗口做进一步地划分，所以只有 1 格；由此可见，当滑动窗口的格子划分的越多，也就是将秒精确到毫秒或者纳秒，那么滑动窗口的滚动就越平滑，限流的统计就会越精确。需要注意的是，消耗的空间就越多。

四、限流实现

① guava 实现

  • 引入包：
<!-- https://mvnrepository.com/artifact/com.google.guava/guava -->
<dependency><groupId>com.google.guava</groupId><artifactId>guava</artifactId><version>28.1-jre</version>
</dependency>
  • 核心代码：
LoadingCache<Long, AtomicLong> counter = CacheBuilder.newBuilder().expireAfterWrite(2, TimeUnit.SECONDS).build(new CacheLoader<Long, AtomicLong>() {@Overridepublic AtomicLong load(Long secend) throws Exception {// TODO Auto-generated method stubreturn new AtomicLong(0);}});
counter.get(1l).incrementAndGet();

② 令牌桶实现

  • 稳定模式（SmoothBursty：令牌生成速度恒定）：
public static void main(String[] args) {// RateLimiter.create(2)每秒产生的令牌数RateLimiter limiter = RateLimiter.create(2);// limiter.acquire() 阻塞的方式获取令牌System.out.println(limiter.acquire());;try {Thread.sleep(2000);} catch (InterruptedException e) {// TODO Auto-generated catch blocke.printStackTrace();}System.out.println(limiter.acquire());;System.out.println(limiter.acquire());;System.out.println(limiter.acquire());;System.out.println(limiter.acquire());;System.out.println(limiter.acquire());;System.out.println(limiter.acquire());;
}
  • RateLimiter.create(2)：容量和突发量，令牌桶算法允许将一段时间内没有消费的令牌暂存到令牌桶中，用来突发消费。
  • 渐进模式（SmoothWarmingUp：令牌生成速度缓慢提升直到维持在一个稳定值）：
// 平滑限流，从冷启动速率（满的）到平均消费速率的时间间隔
RateLimiter limiter = RateLimiter.create(2,1000l,TimeUnit.MILLISECONDS);
System.out.println(limiter.acquire());;
try {Thread.sleep(2000);
} catch (InterruptedException e) {// TODO Auto-generated catch blocke.printStackTrace();
}
System.out.println(limiter.acquire());;
System.out.println(limiter.acquire());;
System.out.println(limiter.acquire());;
System.out.println(limiter.acquire());;System.out.println(limiter.acquire());;
System.out.println(limiter.acquire());;
  • 超时：
boolean tryAcquire = limiter.tryAcquire(Duration.ofMillis(11));
  • 在 timeout 时间内是否能够获得令牌，异步执行。

③ 分布式系统限流

  • Nginx + Lua 实现，可以使用 resty.lock 保持原子特性，请求之间不会产生锁的重入，使用 lua_shared_dict 存储数据：
local locks = require "resty.lock"local function acquire()local lock =locks:new("locks")local elapsed, err =lock:lock("limit_key") --互斥锁 保证原子特性local limit_counter =ngx.shared.limit_counter --计数器local key = "ip:" ..os.time()local limit = 5 --限流大小local current =limit_counter:get(key)if current ~= nil and current + 1> limit then --如果超出限流大小lock:unlock()return 0endif current == nil thenlimit_counter:set(key, 1, 1) --第一次需要设置过期时间，设置key的值为1，
--过期时间为1秒elselimit_counter:incr(key, 1) --第二次开始加1即可endlock:unlock()return 1
end
ngx.print(acquire())

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/218763.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

实操Nginx（七层代理）+Tomcat多实例部署，实现负载均衡和动静分离

实操Nginx（七层代理）+Tomcat多实例部署，实现负载均衡和动静分离

目录 Tomcat多实例部署&#xff08;192.168.17.27&#xff09; 1.安装jdk&#xff0c;设置jdk的环境变量 2.安装tomcat在一台已经部署了tomcat的机器上复制tomcat的配置文件取名tomcat1 ​编辑 编辑配置文件更改端口号&#xff0c;将端口号改为8081 启动 tomcat&#xff…
阅读更多...
持续集成交付CICD：Jenkins使用GitLab共享库实现基于Ansible的CD流水线部署前后端应用

持续集成交付CICD：Jenkins使用GitLab共享库实现基于Ansible的CD流水线部署前后端应用

目录 一、实验 1.部署Ansible自动化运维工具 2.K8S 节点安装nginx 3.Jenkins使用GitLab共享库实现基于Ansible的CD流水线部署前后端应用 二、问题 1.ansible安装报错 2.ansible远程ping失败 3. Jenkins流水线通过ansible命令直接ping多台机器的网络状态报错 一、实验 …
阅读更多...
【PostgreSQL】从零开始:（六）PostgreSQL-数据库目录文件结构及作用说明

【PostgreSQL】从零开始:（六）PostgreSQL-数据库目录文件结构及作用说明

数据库文件目录结构 ├── bin #系统工具目录 │ ├── clusterdb │ ├── createdb │ ├── createuser │ ├── dropdb │ ├── dropuser │ ├…
阅读更多...
selenium+xpath爬取二手房标题

selenium+xpath爬取二手房标题

贝壳找房标题爬取需要注意的是&#xff0c;在页面中间有一个小广告 而他就在ul的li下面&#xff0c;当我们进行title所以输出时&#xff0c;会报错。 所以在进行页面解析之前必须把广告叉掉&#xff0c;不然也把广告那一部分的li给爬取下来了 所以&#xff0c;我们&#xff0…
阅读更多...
开机0xc000000e修复方式，电脑出现错误代码0xc000000e

开机0xc000000e修复方式，电脑出现错误代码0xc000000e

0xc000000e是Windows操作系统中的一个常见错误代码。错误代码0xc000000e表示操作系统无法找到正确的启动设备或引导记录损坏&#xff0c;导致电脑无法正常启动。今天的这篇文章将和大家分享一些关于开机0xc000000e修复的方法。 一.电脑出现开机0xc000000e的原因 开机出现0xc00…
阅读更多...
微服务实战系列之ZooKeeper（中）

微服务实战系列之ZooKeeper（中）

前言 昨日博主的第一篇ZooKeeper&#xff0c;对它自身具备的能力做了初步介绍。书接上文&#xff0c;马不停蹄&#xff0c;我们继续挖掘它内在的美&#xff0c;充分把握它的核心与脉络。 揭秘ZooKeeper Q&#xff1a;集群一致性协同是如何进行的 我们讲到分布式&#xff0c;…
阅读更多...
设计模式之结构型设计模式（二）：工厂模式 抽象工厂模式 建造者模式

设计模式之结构型设计模式（二）：工厂模式 抽象工厂模式 建造者模式

工厂模式 Factory 1、什么是工厂模式 工厂模式旨在提供一种统一的接口来创建对象&#xff0c;而将具体的对象实例化的过程延迟到子类或者具体实现中。有助于降低客户端代码与被创建对象之间的耦合度&#xff0c;提高代码的灵活性和可维护性。 定义了一个创建对象的接口&…
阅读更多...
持续集成交付CICD：Jenkins使用GitLab共享库实现基于SaltStack的CD流水线部署前后端应用

持续集成交付CICD：Jenkins使用GitLab共享库实现基于SaltStack的CD流水线部署前后端应用

目录 一、实验 1.Jenkins使用GitLab共享库实现基于SaltStack的CD流水线部署前后端应用 2.优化共享库代码 二、问题 1.Jenkins手动构建后端项目流水线报错 一、实验 1.Jenkins使用GitLab共享库实现基于SaltStack的CD流水线部署前后端应用 &#xff08;1&#xff09;GitLa…
阅读更多...
【Jenkins】Centos环境安装Jenkins（通过rpm安装）

【Jenkins】Centos环境安装Jenkins（通过rpm安装）

在Centos操作系统中通过rpm安装Jenkins 参考官网 https://www.jenkins.io/doc/book/installing/linux/#red-hat-centos 1、下载安装Jdk17 下载安装 # 更新您的系统&#xff0c;不一定需要 # sudo yum -y update # 安装将用于下载 Java 17 二进制文件的 wget 命令行工具。 s…
阅读更多...
Python基础01-环境搭建与输入输出

Python基础01-环境搭建与输入输出

零、文章目录 Python基础01-环境搭建与输入输出 1、Python概述 &#xff08;1&#xff09;为什么要学习Python 技术趋势&#xff1a;Python自带明星属性&#xff0c;热度稳居编程语言界前三 简单易学&#xff1a;开发代码少&#xff0c;精确表达需求逻辑&#xff1b;33个关…
阅读更多...
打工人副业变现秘籍，某多/某手变现底层引擎-Stable Diffusion 黑白老照片上色修复

打工人副业变现秘籍，某多/某手变现底层引擎-Stable Diffusion 黑白老照片上色修复

在这个时代，我们习惯于拥有高清、色彩丰富的照片，然而，那些古老的黑白色老照片由于年代的久远，往往会出现模糊、破损等现象。 那么今天要给大家介绍的是，用 Stable Diffusion 来修复老照片。 前段时间 ControlNet 的除了上线了“IP-Adapter”模型以外还增加另一个…
阅读更多...
【ArkTS】生命周期

【ArkTS】生命周期

页面生命周期 通常Entry修饰的组件称为页面&#xff0c;其拥有页面生命周期 onPageShow&#xff1a;页面每次显示时触发。onPageHide&#xff1a;页面每次隐藏时触发&#xff08;通常是路由跳转到其他页面了&#xff09;。onBackPress&#xff1a;当用户点击返回按钮时时触发…
阅读更多...
【MySQL】库的操作

【MySQL】库的操作

数据库的操作 所有操作命令&#xff1a; //创建数据库 create database 数据库名字 charsetutf8 collate utf8_general_ci //查看字符集 show charset&#xff1b; //查看校验规则 show collation&#xff1b; //查看所有的数据库。 show databases&#xff1b; //显…
阅读更多...
springboot+jdbcTemplate+sqlite编程示例——以沪深300成分股数据处理为例

springboot+jdbcTemplate+sqlite编程示例——以沪深300成分股数据处理为例

引言 我们在自己做一些小的项目或者小的数据处理分析的时候&#xff0c;很多时候是不需要用到mysql这样的大型数据库&#xff0c;并且也不需要用到maven这样很重的框架的&#xff0c;取而代之可以使用jdbcTemplatesqlite这样的组合。 本文就介绍一下使用springbootjdbcTempla…
阅读更多...
LeetCode-反转链表问题

LeetCode-反转链表问题

1.反转链表 题目描述&#xff1a; 给你单链表的头节点 head &#xff0c;请你反转链表&#xff0c;并返回反转后的链表。 思路&#xff1a; 反转链表也就是链表倒置&#xff0c;我一直以来的办法就是先建立一个头节点&#xff0c;之后再遍历链表来进行头插。 代码&#xff1…
阅读更多...
【深度学习】强化学习（三）强化学习的目标函数

【深度学习】强化学习（三）强化学习的目标函数

文章目录 一、强化学习问题1、交互的对象2、强化学习的基本要素3、策略&#xff08;Policy&#xff09;4、马尔可夫决策过程5、强化学习的目标函数1. 总回报&#xff08;Return&#xff09;2. 折扣回报&#xff08;Discounted Return&#xff09;a. 折扣率b. 折扣回报的定义 3.…
阅读更多...
【web安全】密码爆破讲解，以及burp的爆破功能使用方法

【web安全】密码爆破讲解，以及burp的爆破功能使用方法

前言 菜某总结&#xff0c;欢迎指正错误进行补充 密码暴力破解原理 暴力破解实际就是疯狂的输入密码进行尝试登录&#xff0c;针对有的人喜欢用一些个人信息当做密码&#xff0c;有的人喜欢用一些很简单的低强度密码&#xff0c;我们就可以针对性的生成一个字典&#xff0c;…
阅读更多...
NO-IOT翻频，什么是翻频，电信为什么翻频

NO-IOT翻频，什么是翻频，电信为什么翻频

1.1 翻频迁移最终的目的就是减少网络的相互干扰&#xff0c;提供使用质量. 1.2 随着与日俱增的网络规模的扩大&#xff0c;网内干扰已成了影响网络的质量标准之一&#xff0c;为了保障电信上网体验&#xff0c;满足用户日益增长的网速需求,更好的服务客户&#xff0c;电信针对…
阅读更多...
CSS学习

CSS学习

CSS学习 1. 什么是css?2.css引入方式2.1 内嵌式2.2 外联式2.3 行内式2.4 引入方式特点 3. 基础选择器3.1 标签选择器3.2 类选择器3.3 id选择器3.4 通配符选择器 4. 文字基本样式4.1 字体样式4.1.1 字体大小4.1.2 字体粗细4.1.3 倾斜4.1.4 字体4.1.5 字体font相关属性连写 4.2 …
阅读更多...
TrustZone之总线请求

TrustZone之总线请求

接下来&#xff0c;我们将查看系统中的总线请求者&#xff0c;如下图所示&#xff1a; 系统中的A型处理器具有TrustZone感知&#xff0c;并在每个总线访问中发送正确的安全状态。然而&#xff0c;大多数现代SoC还包含非处理器总线请求者&#xff0c;例如GPU和DMA控制器。 与完成…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023