动易 网站首页,在线网址免费的,自己做网站开网店,自己做开箱网站限流算法
限流顾名思义#xff0c;就是对请求或并发数进行限制#xff1b;通过对一个时间窗口内的请求量进行限制来保障系统的正常运行。如果我们的服务资源有限、处理能力有限#xff0c;就需要对调用我们服务的上游请求进行限制#xff0c;以防止自身服务由于资源耗尽而…限流算法
限流顾名思义就是对请求或并发数进行限制通过对一个时间窗口内的请求量进行限制来保障系统的正常运行。如果我们的服务资源有限、处理能力有限就需要对调用我们服务的上游请求进行限制以防止自身服务由于资源耗尽而停止服务
在限流中有两个概念需要了解。
阈值在一个单位时间内允许的请求量。如 QPS限制为10说明 1 秒内最多接受 10 次请求。拒绝策略超过阈值的请求的拒绝策略常见的拒绝策略有直接拒绝、排队等待等。
限流就是控制网络接口发送或接收请求的速率它可防止DoS攻击和限制Web爬虫。
1. 计数器固定窗口算法
计数器算法是使用计数器在周期内累加访问次数当达到设定的限流值时触发限流策略。下一个周期开始时进行清零重新计数。
此算法在单机还是分布式环境下实现都非常简单使用redis的incr原子自增性和线程安全即可轻松实现。 这个算法通常用于QPS限流和统计总访问量对于秒级以上的时间周期来说会存在一个非常严重的问题那就是临界问题
假设1min内服务器的负载能力为100因此一个周期的访问量限制在100然而在第一个周期的最后5秒和下一个周期的开始5秒时间段内分别涌入100的访问量虽然没有超过每个周期的限制量但是整体上10秒内已达到200的访问量已远远超过服务器的负载能力由此可见计数器算法方式限流对于周期比较长的限流存在很大的弊端。
优缺点
优点简单粗暴单机在 Java 中可用 Atomic 等原子类、分布式就 Redis incr。缺点假设我们允许的阈值是1万此时计数器的值为0 当1万个请求在前1秒内一股脑儿的都涌进来这突发的流量可是顶不住的。缓缓的增加处理和一下子涌入对于程序来说是不一样的。
2. 滑动窗口算法
滑动时间窗口又称rolling window.为了解决计数器法统计精度太低的问题引入了滑动窗口算法滑动窗口算法是将时间周期分为N个小周期分别记录每个小周期内访问次数并且根据时间滑动删除过期的小周期。下面这张图,很好地解释了滑动窗口算法: 由此可见当滑动窗口的格子划分的越多那么滑动窗口的滚动就越平滑限流的统计就会越精确。 注并没有完全解决临界问题只是降低了临界问题的发生概率提高了限流的准确率 优缺点
优点一定程度上提高了限流的准确率窗口越小准确率越高缺点但是滑动窗口和固定窗口都无法解决短时间之内集中流量的突击
3. 漏桶算法
接下来再说说漏桶它可以解决时间窗口类的痛点使得流量更加的平滑。
漏桶算法是访问请求到达时直接放入漏桶如当前容量已达到上限限流值则进行丢弃触发限流策略。漏桶以固定的速率进行释放访问请求即请求通过直到漏桶为空。 优缺点
优点让流量处理平滑无论任何时候都是按照固定速率处理请求缺点上面的优点是优点也是缺点面对突发请求服务的处理速度和平时是一样的这其实不是我们想要的在面对突发流量我们希望在系统平稳的同时提升用户体验即能更快的处理请求而不是和正常流量一样循规蹈矩的处理
4. 令牌桶算法
令牌桶算法是对漏斗算法的一种改进除了能够起到限流的作用外还允许一定程度的流量突发
令牌桶算法是程序以rr时间周期/限流值的速度向令牌桶中增加令牌直到令牌桶满请求到达时向令牌桶请求令牌如获取到令牌则通过请求否则触发限流策略 可以看出令牌桶在应对突发流量的时候桶内假如有 100 个令牌那么这 100 个令牌可以马上被取走而不像漏桶那样匀速的消费。所以在应对突发流量的时候令牌桶表现的更佳。
5. 小结
计数器 VS 滑动窗口 计数器算法是最简单的算法可以看成是滑动窗口的低精度实现。滑动窗口由于需要存储多份的计数器每一个格子存一份所以滑动窗口在实现上需要更多的存储空间。也就是说如果滑动窗口的精度越高需要的存储空间就越大。 漏桶算法 VS 令牌桶算法 漏桶算法和令牌桶算法最明显的区别是令牌桶算法允许流量一定程度的突发。因为默认的令牌桶算法取走token是不需要耗费时间的也就是说假设桶内有100个token时那么可以瞬间允许100个请求通过。当然我们需要具体情况具体分析只有最合适的算法没有最优的算法。 参考http://t.csdn.cn/3Faw9
http://t.csdn.cn/GIJvN
CDN学习
1. 简介
CDN的全称是Content Delivery Network即内容分发网络。CDN是构建在现有网络基础之上的智能虚拟网络依靠部署在各地的边缘服务器通过中心平台的负载均衡、内容分发、调度等功能模块使用户就近获取所需内容降低网络拥塞提高用户访问响应速度和命中率。CDN的关键技术主要包括了节点调度、节点负载均衡和内容存储、分发、管理技术。
CDN的优势很明显
CDN节点解决了跨运营商和跨地域访问的问题访问延时大大降低大部分请求在CDN边缘节点完成CDN起到了分流作用减轻了源站的负载。
2.工作流程
CDN加速前
使用CDN加速前用户侧发起的请求通过用户侧DNS递归到网站DNS解析以后最终用户侧直接请求网站服务器。这里可能会造成以下几种情况 CDN加速后
CDN通过在现有网络中增加一层新的缓存节点将源站的资源发布到最接近用户的网络节点使得客户端在请求时直接访问到就近的CDN节点并命中该资源减少回源情况提高网站访问速度。
阿里云CDN缓存节点可分为L1节点一级节点和L2节点二级节点请求的流程是客户端–CDN_L1–CDN_L2–源站。CDN的L1节点分布在全国各省市L2节点分布在几个大区下可以把L2节点理解为汇聚式节点简单架构如下图所示。 浏览器本地缓存失效后浏览器会向CDN边缘节点发起请求。类似浏览器缓存CDN边缘节点也存在着一套缓存机制。
CDN缓存策略重点
CDN边缘节点缓存策略因服务商不同而不同但一般都会遵循http标准协议通过http响应头中的Cache-control: max-age的字段来设置CDN边缘节点数据缓存时间。
当客户端向CDN节点请求数据时CDN节点会判断缓存数据是否过期若缓存数据并没有过期则直接将缓存数据返回给客户端否则CDN节点就会向源站发出回源请求从源站拉取最新数据更新本地缓存并将最新数据返回给客户端。
CDN缓存刷新
CDN边缘节点对开发者是透明的相比于浏览器CtrlF5的强制刷新来使浏览器本地缓存失效开发者可以通过CDN服务商提供的“刷新缓存”接口来达到清理CDN边缘节点缓存的目的。这样开发者在更新数据后可以使用“刷新缓存”功能来强制CDN节点上的数据缓存过期保证客户端在访问时拉取到最新的数据。
CDN工作原理
通过以下案例可以进一步了解CDN的工作原理。 假设加速域名为www.a.com 接入CDN网络开始使用加速服务后当终端用户北京发起HTTP请求时处理流程如下图所示。 3. 什么资源可以被加速
在HTTP请求的资源请求可以分为静态请求和动态请求。
静态请求
静态请求是指在不同请求中访问到的数据都相同的静态文件。例如图片、视频、网站中的文件html、css、js、软件安装包、apk文件、压缩包文件等。
CDN加速的本质是缓存加速将您服务器上存储的静态内容缓存在阿里云CDN节点上当您访问这些静态内容时无需访问服务器源站就近访问阿里云CDN节点即可获取相同内容从而达到加速的效果同时减轻服务器源站的压力。
动态请求不适用
动态请求是指在不同请求中访问到的数据不相同的动态内容。例如网站中的文件asp、jsp、php、perl、cgi、API接口、数据库交互请求等。
当客户端访问这些动态内容时每次都需要访问用户的服务器由服务器动态生成实时的数据并返回给客户端。因此CDN的缓存加速不适用于加速动态内容CDN无法缓存实时变化的动态内容。对于动态内容请求CDN节点只能转发回源站服务器没有加速效果。 如果用户的网站或App应用有较多动态内容例如需要对各种API接口进行加速则需要使用阿里云全站加速产品。全站加速能同时加速动态和静态内容加速方式如下 静态内容使用CDN加速。动态内容通过阿里云的路由优化、传输优化等动态加速技术以最快的速度访问您的服务器源站获取数据。从而达到全站加速的效果
