流量调整和接口限流技术的总结

   <h2><strong>一、问题描述</strong></h2>    <p>某天A君突然发现自己的接口请求量突然涨到之前的10倍，没多久该接口几乎不可使用，并引发连锁反应导致整个系统崩溃。如何应对这种情况呢？生活给了我们答案：比如老式电闸都安装了保险丝，一旦有人使用超大功率的设备，保险丝就会烧断以保护各个电器不被强电流给烧坏。同理我们的接口也需要安装上“保险丝”，以防止非预期的请求对系统压力过大而引起的系统瘫痪，当流量过大时，可以采取拒绝或者引流等机制。</p>    <h2><strong>二、常用的限流算法</strong></h2>    <p>常用的限流算法有两种： 漏桶 算法和 令牌桶 算法。</p>    <p>它的主要目的是控制数据注入到网络的速率，平滑网络上的突发流量。漏桶算法提供了一种机制，通过它，突发流量可以被整形以便为网络提供一个稳定的流量。 漏桶可以看作是一个带有常量服务时间的单服务器队列，如果漏桶（包缓存）溢出，那么数据包会被丢弃。 用说人话的讲：</p>    <p>漏桶算法思路很简单，水（数据或者请求）先进入到漏桶里，漏桶以一定的速度出水，当水流入速度过大会直接溢出，可以看出漏桶算法能强行限制数据的传输速率。</p>    <p style="text-align: center;"><img src="https://simg.open-open.com/show/6c7e847071c12afa32d40dd9f1d2c586.png"></p>    <p style="text-align: center;">图1 漏桶算法示意图</p>    <p>对于很多应用场景来说，除了要求能够限制数据的平均传输速率外，还要求允许某种程度的突发传输。这时候漏桶算法可能就不合适了，令牌桶算法更为适合。如图2所示，令牌桶算法的原理是系统会以一个恒定的速度往桶里放入令牌，而如果请求需要被处理，则需要先从桶里获取一个令牌，当桶里没有令牌可取时，则拒绝服务。</p>    <p style="text-align: center;"><img src="https://simg.open-open.com/show/ccc8a747a7ebf698ec5ec9f2e85a4203.png"></p>    <p style="text-align: center;">图2 令牌桶算法示意图</p>    <p>令牌桶算法的原理是系统会以一个恒定的速度往桶里放入令牌，而如果请求需要被处理，则需要先从桶里获取一个令牌，当桶里没有令牌可取时，则拒绝服务。 令牌桶的另外一个好处是可以方便的改变速度。 一旦需要提高速率，则按需提高放入桶中的令牌的速率。 一般会定时(比如100毫秒)往桶中增加一定数量的令牌， 有些变种算法则实时的计算应该增加的令牌的数量, 比如华为的专利"采用令牌漏桶进行报文限流的方法"(CN 1536815 A),提供了一种动态计算可用令牌数的方法， 相比其它定时增加令牌的方法， 它只在收到一个报文后，计算该报文与前一报文到来的时间间隔内向令牌漏桶内注入的令牌数， 并计算判断桶内的令牌数是否满足传送该报文的要求。</p>    <p>从最终用户访问安全的角度看，设想有人想暴力碰撞网站的用户密码；或者有人攻击某个很耗费资源的接口；或者有人想从某个接口大量抓取数据。大部分人都知道应该增加 Rate limiting，做请求频率限制。从安全角度，这个可能也是大部分能想到，但不一定去做的薄弱环节。</p>    <p>从整个架构的稳定性角度看，一般 SOA 架构的每个接口的有限资源的情况下，所能提供的单位时间服务能力是有限的。假如超过服务能力，一般会造成整个接口服务停顿，或者应用 Crash，或者带来连锁反应，将延迟传递给服务调用方造成整个系统的服务能力丧失。有必要在服务能力超限的情况下 Fail Fast。</p>    <p>另外，根据排队论，由于 API 接口服务具有延迟随着请求量提升迅速提升的特点，为了保证 SLA 的低延迟，需要控制单位时间的请求量。这也是 Little’s law 所说的。</p>    <p>还有，公开 API 接口服务，Rate limiting 应该是一个必备的功能，否则公开的接口不知道哪一天就会被服务调用方有意无意的打垮。</p>    <p>所以，提供资源能够支撑的服务，将过载请求快速抛弃对整个系统架构的稳定性非常重要。这就要求在应用层实现 Rate limiting 限制。</p>    <h2><strong>常见的 Rate limiting 的实现方式</strong></h2>    <p>Proxy 层的实现，针对部分 URL 或者 API 接口进行访问频率限制</p>    <p>Nginx 模块：</p>    <pre>  limit_req_zone $binary_remote_addr zone=one:10m rate=1r/s;    server {      location /search/ {          limit_req zone=one burst=5;      }</pre>    <p>基于 Redis 功能的实现：</p>    <p>这个在 Redis 官方文档有非常详细的实现。一般适用于所有类型的应用，比如 PHP、Python 等等。Redis 的实现方式可以支持分布式服务的访问频率的集中控制。Redis 的频率限制实现方式还适用于在应用中无法状态保存状态的场景。</p>    <p>参考： <a href="/misc/goto?guid=4959642223760087411" rel="nofollow,noindex">Rate limiter</a></p>    <p>本文内容参考：</p>    <p>1、 <a href="/misc/goto?guid=4959645479607539680" rel="nofollow,noindex">http://www.cnblogs.com/zhengyun_ustc/archive/2012/11/17/topic1.html</a></p>    <p>2、 <a href="/misc/goto?guid=4959721564181877641" rel="nofollow,noindex">http://www.cnblogs.com/shanyou/p/4280546.html</a></p>    <p> </p>    <p>来自：http://blog.41ms.com/post/61.html</p>    <p> </p>