令牌桶算法(Token Bucket)和漏桶算法(Leaky Bucket)

简介: 二者区别l 漏桶算法能够强行限制数据的传输速率。l 令牌桶算法能够在限制数据的平均传输速率的同时还允许某种程度的突发传输。需要说明的是:在某些情况下,漏桶算法不能够有效地使用网络资源。因为漏桶的漏出速率是固定的,所以即使网络中没有发生拥塞,漏桶算法也不能使某一个单独的数据流达到端口速率。

二者区别

l 漏桶算法能够强行限制数据的传输速率。

l 令牌桶算法能够在限制数据的平均传输速率的同时还允许某种程度的突发传输。

需要说明的是:在某些情况下,漏桶算法不能够有效地使用网络资源。因为漏桶的漏出速率是固定的,所以即使网络中没有发生拥塞,漏桶算法也不能使某一个单独的数据流达到端口速率。因此,漏桶算法对于存在突发特性的流量来说缺乏效率。而令牌桶算法则能够满足这些具有突发特性的流量。通常,漏桶算法与令牌桶算法结合起来为网络流量提供更高效的控制。

令牌桶算法(Token Bucket)

概述

令牌桶算法是网络流量整形(Traffic Shaping)和速率限制(Rate Limiting)中最常使用的一种算法。典型情况下,令牌桶算法用来控制发送到网络上的数据的数目,并允许突发数据的发送。

使用介绍

在网络中传输数据时,为了防止网络拥塞,需限制流出网络的流量,使流量以比较均匀的速度向外发送。令牌桶算法就实现了这个功能,可控制发送到网络上数据的数目,并允许突发数据的发送。
令牌桶算法是网络流量整形(Traffic Shaping)和速率限制(Rate Limiting)中最常使用的一种算法。典型情况下,令牌桶算法用来控制发送到网络上的数据的数目,并允许突发数据的发送。
大小固定的令牌桶可自行以恒定的速率源源不断地产生令牌。如果令牌不被消耗,或者被消耗的速度小于产生的速度,令牌就会不断地增多,直到把桶填满。后面再产生的令牌就会从桶中溢出。最后桶中可以保存的最大令牌数永远不会超过桶的大小。
传送到令牌桶的数据包需要消耗令牌。不同大小的数据包,消耗的令牌数量不一样。
令牌桶这种控制机制基于令牌桶中是否存在令牌来指示什么时候可以发送流量。令牌桶中的每一个令牌都代表一个字节。如果令牌桶中存在令牌,则允许发送流量;而如果令牌桶中不存在令牌,则不允许发送流量。因此,如果突发门限被合理地配置并且令牌桶中有足够的令牌,那么流量就可以以峰值速率发送。
令牌桶算法的基本过程如下:
假如用户配置的平均发送速率为r,则每隔1/r秒一个令牌被加入到桶中;
假设桶最多可以存发b个令牌。如果令牌到达时令牌桶已经满了,那么这个令牌会被丢弃;
当一个n个字节的数据包到达时,就从令牌桶中删除n个令牌,并且数据包被发送到网络;
如果令牌桶中少于n个令牌,那么不会删除令牌,并且认为这个数据包在流量限制之外;
算法允许最长b个字节的突发,但从长期运行结果看,数据包的速率被限制成常量r。对于在流量限制外的数据包可以以不同的方式处理:
它们可以被丢弃;
它们可以排放在队列中以便当令牌桶中累积了足够多的令牌时再传输;
它们可以继续发送,但需要做特殊标记,网络过载的时候将这些特殊标记的包丢弃。
注意:令牌桶算法不能与另外一种常见算法“漏桶算法(Leaky Bucket)”相混淆。这两种算法的主要区别在于“漏桶算法”能够强行限制数据的传输速率,而“令牌桶算法”在能够限制数据的平均传输速率外,还允许某种程度的突发传输。在“令牌桶算法”中,只要令牌桶中存在令牌,那么就允许突发地传输数据直到达到用户配置的门限,因此它适合于具有突发特性的流量。

实现原理

一种解法是,开启一个定时任务,由定时任务持续生成令牌。这样的问题在于会极大的消耗系统资源,如,某接口需要分别对每个用户做访问频率限制,假设系统中存在6W用户,则至多需要开启6W个定时任务来维持每个桶中的令牌数,这样的开销是巨大的。
另一种解法则是延迟计算,如上resync函数。该函数会在每次获取令牌之前调用,其实现思路为,若当前时间晚于nextFreeTicketMicros,则计算该段时间内可以生成多少令牌,将生成的令牌加入令牌桶中并更新数据。这样一来,只需要在获取令牌时计算一次即可

应用场景

限流

漏桶算法(Leaky Bucket)

概述

漏桶可以看作是一个带有常量服务时间的单服务器队列,如果漏桶(包缓存)溢出,那么数据包会被丢弃。

使用介绍

漏桶算法强制一个常量的输出速率而不管输入数据流的突发性。当输入空闲时,该算法不执行任何动作;

实现原理

如下图(b)所示,当主机接口向网络中传送数据包时,可采取漏桶算法,使得接口输出数据流的速率恒定。
输出不规则数据流的主机类似灌水的水龙头
算法中定义的漏桶类似水桶
不规则数据流输入漏桶类似向漏桶中灌水
流量输出漏桶类似漏桶漏水

接下来,详细分解一下漏桶算法在数据包传送过程中的实现原理。
1、队列接收到准备转发的数据包。
2、队列被调度,得到转发机会。由于队列配置了流量整形,队列中的数据包首先进入漏桶中。
3、根据数据包到达漏桶的速率与漏桶的输出速率关系,确定数据包是否被转发。
如果到达速率≤输出速率,则漏桶不起作用。
如果到达速率>输出速率,则需考虑漏桶是否能承担这个瞬间的流量。
1) 若数据包到达的速率-漏桶流出的速率≤配置的漏桶突发速率,则数据包可被不延时的送出。
2) 若数据包到达的速率-漏桶流出的速率>配置的漏桶突发速率,则多余的数据包被存储到漏桶中。暂存在漏桶中的数据包在不超过漏桶容量的情况下延时发出。
3) 若数据包到达的速率-漏桶流出的速率>配置的漏桶突发速率,且数据包的数量已经超过漏桶的容量,则这些数据包将被丢弃。

应用场景

限流

目录
相关文章
|
5月前
|
存储 算法 Java
【令牌桶算法与漏桶算法】
【令牌桶算法与漏桶算法】
|
9月前
|
算法 Java Sentinel
限流算法(计数器、滑动时间窗口、漏斗、令牌)原理以及代码实现
> 本文会对这4个限流算法进行详细说明,并输出实现限流算法的代码示例。 > 代码是按照自己的理解写的,很简单的实现了功能,还请大佬们多多交流找bug。
215 0
|
8月前
|
存储 算法 安全
SpringOauth2(一):JwtTokenStore使用HMACSHA512算法令牌、与jjwt令牌互相可识别
1、spring提供的JwtTokenStore的加密算法默认为HMACSHA256,为了更安全我们如何定制实现HMACSHA512算法? 2、在网关鉴权使用的是io.jsonwebtoken.jjwt,使用JwtTokenStore生成的令牌如何与jjwt互通?
66 0
|
10月前
|
算法
SpingCloud 限流的令牌桶算法和漏桶算法
SpingCloud 限流的令牌桶算法和漏桶算法
88 1
|
10月前
|
存储 开发框架 算法
ASP.NET Core中使用令牌桶算法限流2
ASP.NET Core中使用令牌桶算法限流2
87 0
|
10月前
|
存储 开发框架 算法
ASP.NET Core中使用令牌桶算法限流1
ASP.NET Core中使用令牌桶算法限流1
61 0
|
10月前
|
存储 开发框架 算法
ASP.NET Core中使用漏桶算法限流
ASP.NET Core中使用漏桶算法限流
66 0
|
10月前
|
存储 开发框架 NoSQL
使用Redis实现令牌桶算法
使用Redis实现令牌桶算法
374 0
|
算法 数据库 UED
面试常见问题-限流策略有哪些,滑动窗口算法和令牌桶区别,使用场景
面试常见问题-限流策略有哪些,滑动窗口算法和令牌桶区别,使用场景
551 0
|
监控 NoSQL 算法
限流10万QPS、跨域、过滤器、令牌桶算法-网关Gateway内容都在这儿
文中内容包含:微服务网关限流10万QPS、跨域、过滤器、令牌桶算法。