做图书馆网站模板,网站建设文化策划方案,全球十大搜索引擎入口,刚做的网站怎么知道有没有潜在的目录
一、概述
1、Redis Sentinel
1.1、docker配置Redis Sentinel环境
2、Redis存储方案
2.1、哈希链
2.2、哈希环
3、Redis分区(Partitioning)
4、Redis面试题 一、概述
1、Redis Sentinel
Redis Sentinel为Redis提供了高可用解决方案。实际上这意味着使用Sentinel…目录
一、概述
1、Redis Sentinel
1.1、docker配置Redis Sentinel环境
2、Redis存储方案
2.1、哈希链
2.2、哈希环
3、Redis分区(Partitioning)
4、Redis面试题 一、概述
1、Redis Sentinel
Redis Sentinel为Redis提供了高可用解决方案。实际上这意味着使用Sentinel可以部署一套Redis在没有人为干预的情况下去应付各种各样的失败事件。
Redis Sentinel同时提供了一些其他的功能例如监控、通知、并为client提供配置。
下面是Sentinel的功能列表
监控MonitoringSentinel不断的去检查你的主从实例是否按照预期在工作。通知NotificationSentinel可以通过一个api来通知系统管理员或者另外的应用程序被监控的Redis实例有一些问题。自动故障转移Automatic failover如果一个主节点没有按照预期工作Sentinel会开始故障转移过程把一个从节点提升为主节点并重新配置其他的从节点使用新的主节点使用Redis服务的应用程序在连接的时候也被通知新的地址。配置提供者Configuration providerSentinel给客户端的服务发现提供来源对于一个给定的服务客户端连接到Sentinels来寻找当前主节点的地址。当故障转移发生的时候Sentinels将报告新的地址。
1.1、docker配置Redis Sentinel环境
后续补充... 2、Redis存储方案
2.1、哈希链 原文链接https://blog.csdn.net/Brave_heart4pzj/article/details/126448985 哈希链 原理简介每个数据存储进来的时候要根据hash算法进行算值取余存入到对应的机器中。取数据的时候用同样的hash算法对key进行计算即可取出数据。 应用场景 Redis集群扩容或宕机缩减那么就需要进行全库数据的重洗hash取模的值调整。这样就比较耗费时间。所以该方案要预先估计一下自己公司业务的数据量多大服务器的存储能力多大然后考虑在扩容时所需的时间多久只要在允许的时间范围内能够完成重洗数据那就可以采取该方案。该方案的一个好处就是简单。存数据简单取数据简单理解容易。哈希环 上面说的Hash链只经过了1次hash即把key hash到对应的机器编号。 而Hash环有2次Hash 1把所有机器编号hash到这个环上 2把key也hash到这个环上。然后在这个环上进行匹配看这个key和哪台机器匹配。 这样每个机器负责对应段上的数据。 应用场景 当hash链性能满足不了公司业务数据量的时候就要采取该方案进行性能提升。 当服务器缩减时对应段数据向下游转移即可这样就不会影响到其他段服务器的数据。 当服务器扩容时对应服务器下游的服务器数据要进行重洗把部分数据转移到新扩容的服务器上即可。这样在查找时按照最新的hash算法取余即可取出对应的数据。 这相较于hash链进行全库冲洗还是节省了很多 也就是说hash链和hash环在新增服务器的时候都是要冲洗数据的只是hash链是全库冲洗算法复杂度是Nhash环是下游节点冲洗算法复杂度是1 那么会有道友问我直接上第二种方案不就得了。 这显然是不行的。 原因 hash环是有大小的它的特点是把hash链首尾相连那么假设你公司业务只有百万级数据量你设置成一个hash环。假设hash环周长是100小厂有4台服务器第一次可以人为均匀分布到环上但是如果业务量数据增加导致需要扩容。这时候如果你对hash环进行扩周长如果不重新分配服务器在环上的位置那就会出现数据倾斜问题如果重新均匀分布服务器在环上的位置那么就要全库重洗数据。所以这样就和hash链没什么区别。还多出一个数据倾斜问题。 那么有道友就说了那我把hash环周长设置的超大。这样不就可以减轻扩容时数据倾斜问题的严重性了吗并不是这样当你保持环周长不变的前提下扩容的时候数据倾斜和环的周长并没有关系。只是和你扩容的服务器策略有关就是假设第一次设置4台服务器那么你扩容的服务器必须是2的N次方台这样才能人为的避免数据倾斜。那么你小厂有这个实力吗显然没有不划算。 另外你的环周长越大也就意味着取余的除数越大那么计算取余的时间就越久比如你对2取余口算即可。你对2的32次方取余那就要多用很多时间这样随着积累你浪费的时间就很多了。相对于公司业务数据量不大但是损耗的计算时间却很多那就很不划算了。所以环的周长也是要考虑的点。 所以使用hash环算法要考虑两点 1、公司自身实力每次扩容需要的服务器数据量是a*2^n。其中a是第一次均匀分布的服务器数据量n0的整数。这个扩容方法解决数据倾斜问题。 2、hash环周长大小选择。周长越大计算越耗费时间。所以要根据公司业务量大小选择合理的周长大小不能太小否则经常扩容不能太大浪漫每次的取余时间。 3、数据倾斜问题的本质就在于服务器节点在环上的分布是否均匀还是密集。分布密集了那就会出现数据倾斜问题。 2.2、哈希环 原文链接https://www.cnblogs.com/lpfuture/p/5796398.html 一致性Hash算法背景 一致性哈希算法在1997年由麻省理工学院的Karger等人在解决分布式Cache中提出的设计目标是为了解决因特网中的热点(Hot spot)问题初衷和CARP十分类似。一致性哈希修正了CARP使用的简单哈希算法带来的问题使得DHT可以在P2P环境中真正得到应用。 但现在一致性hash算法在分布式系统中也得到了广泛应用研究过memcached缓存数据库的人都知道memcached服务器端本身不提供分布式cache的一致性而是由客户端来提供具体在计算一致性hash时采用如下步骤 首先求出memcached服务器节点的哈希值并将其配置到0232的圆continuum上。然后采用同样的方法求出存储数据的键的哈希值并映射到相同的圆上。然后从数据映射到的位置开始顺时针查找将数据保存到找到的第一个服务器上。如果超过232仍然找不到服务器就会保存到第一台memcached服务器上。 从上图的状态中添加一台memcached服务器。余数分布式算法由于保存键的服务器会发生巨大变化而影响缓存的命中率但Consistent Hashing中只有在园continuum上增加服务器的地点逆时针方向的第一台服务器上的键会受到影响如下图所示 一致性Hash性质 考虑到分布式系统每个节点都有可能失效并且新的节点很可能动态的增加进来如何保证当系统的节点数目发生变化时仍然能够对外提供良好的服务这是值得考虑的尤其实在设计分布式缓存系统时如果某台服务器失效对于整个系统来说如果不采用合适的算法来保证一致性那么缓存于系统中的所有数据都可能会失效即由于系统节点数目变少客户端在请求某一对象时需要重新计算其hash值通常与系统中的节点数目有关由于hash值已经改变所以很可能找不到保存该对象的服务器节点因此一致性hash就显得至关重要良好的分布式cahce系统中的一致性hash算法应该满足以下几个方面 平衡性(Balance) 平衡性是指哈希的结果能够尽可能分布到所有的缓冲中去这样可以使得所有的缓冲空间都得到利用。很多哈希算法都能够满足这一条件。 单调性(Monotonicity) 单调性是指如果已经有一些内容通过哈希分派到了相应的缓冲中又有新的缓冲区加入到系统中那么哈希的结果应能够保证原有已分配的内容可以被映射到新的缓冲区中去而不会被映射到旧的缓冲集合中的其他缓冲区。简单的哈希算法往往不能满足单调性的要求如最简单的线性哈希x (ax b) mod (P)在上式中P表示全部缓冲的大小。不难看出当缓冲大小发生变化时(从P1到P2)原来所有的哈希结果均会发生变化从而不满足单调性的要求。哈希结果的变化意味着当缓冲空间发生变化时所有的映射关系需要在系统内全部更新。而在P2P系统内缓冲的变化等价于Peer加入或退出系统这一情况在P2P系统中会频繁发生因此会带来极大计算和传输负荷。单调性就是要求哈希算法能够应对这种情况。 分散性(Spread) 在分布式环境中终端有可能看不到所有的缓冲而是只能看到其中的一部分。当终端希望通过哈希过程将内容映射到缓冲上时由于不同终端所见的缓冲范围有可能不同从而导致哈希的结果不一致最终的结果是相同的内容被不同的终端映射到不同的缓冲区中。这种情况显然是应该避免的因为它导致相同内容被存储到不同缓冲中去降低了系统存储的效率。分散性的定义就是上述情况发生的严重程度。好的哈希算法应能够尽量避免不一致的情况发生也就是尽量降低分散性。 负载(Load) 负载问题实际上是从另一个角度看待分散性问题。既然不同的终端可能将相同的内容映射到不同的缓冲区中那么对于一个特定的缓冲区而言也可能被不同的用户映射为不同的内容。与分散性一样这种情况也是应当避免的因此好的哈希算法应能够尽量降低缓冲的负荷。 平滑性(Smoothness) 平滑性是指缓存服务器的数目平滑改变和缓存对象的平滑改变是一致的。 原理 基本概念 一致性哈希算法Consistent Hashing最早在论文《Consistent Hashing and Random Trees: Distributed Caching Protocols for Relieving Hot Spots on the World Wide Web》中被提出。简单来说一致性哈希将整个哈希值空间组织成一个虚拟的圆环如假设某哈希函数H的值空间为0-2^32-1即哈希值是一个32位无符号整形整个哈希空间环如下 整个空间按顺时针方向组织。0和232-1在零点中方向重合。 下一步将各个服务器使用Hash进行一个哈希具体可以选择服务器的ip或主机名作为关键字进行哈希这样每台机器就能确定其在哈希环上的位置这里假设将上文中四台服务器使用ip地址哈希后在环空间的位置如下 接下来使用如下算法定位数据访问到相应服务器将数据key使用相同的函数Hash计算出哈希值并确定此数据在环上的位置从此位置沿环顺时针“行走”第一台遇到的服务器就是其应该定位到的服务器。 例如我们有Object A、Object B、Object C、Object D四个数据对象经过哈希计算后在环空间上的位置如下 根据一致性哈希算法数据A会被定为到Node A上B被定为到Node B上C被定为到Node C上D被定为到Node D上。 下面分析一致性哈希算法的容错性和可扩展性。现假设Node C不幸宕机可以看到此时对象A、B、D不会受到影响只有C对象被重定位到Node D。一般的在一致性哈希算法中如果一台服务器不可用则受影响的数据仅仅是此服务器到其环空间中前一台服务器即沿着逆时针方向行走遇到的第一台服务器之间数据其它不会受到影响。 下面考虑另外一种情况如果在系统中增加一台服务器Node X如下图所示 此时对象Object A、B、D不受影响只有对象C需要重定位到新的Node X 。一般的在一致性哈希算法中如果增加一台服务器则受影响的数据仅仅是新服务器到其环空间中前一台服务器即沿着逆时针方向行走遇到的第一台服务器之间数据其它数据也不会受到影响。 综上所述一致性哈希算法对于节点的增减都只需重定位环空间中的一小部分数据具有较好的容错性和可扩展性。 另外一致性哈希算法在服务节点太少时容易因为节点分部不均匀而造成数据倾斜问题。例如系统中只有两台服务器其环分布如下 此时必然造成大量数据集中到Node A上而只有极少量会定位到Node B上。为了解决这种数据倾斜问题一致性哈希算法引入了虚拟节点机制即对每一个服务节点计算多个哈希每个计算结果位置都放置一个此服务节点称为虚拟节点。具体做法可以在服务器ip或主机名的后面增加编号来实现。例如上面的情况可以为每台服务器计算三个虚拟节点于是可以分别计算 “Node A#1”、“Node A#2”、“Node A#3”、“Node B#1”、“Node B#2”、“Node B#3”的哈希值于是形成六个虚拟节点 同时数据定位算法不变只是多了一步虚拟节点到实际节点的映射例如定位到“Node A#1”、“Node A#2”、“Node A#3”三个虚拟节点的数据均定位到Node A上。这样就解决了服务节点少时数据倾斜的问题。在实际应用中通常将虚拟节点数设置为32甚至更大因此即使很少的服务节点也能做到相对均匀的数据分布。 3、Redis分区(Partitioning)
分区就是把你的数据分割到多个Redis实例中的一个过程因此每个实例仅仅包含部分键。 Redis 集群和数据分片 Redis集群不是使用一致性哈希而是使用哈希槽。整个redis集群有16384个哈希槽决定一个key应该分配到那个槽的算法是计算该key的CRC16结果再模16834。 集群中的每个节点负责一部分哈希槽比如集群中有个节点则 节点存储的哈希槽范围是0 -- 5500节点存储的哈希槽范围是5501 -- 11000节点存储的哈希槽范围是11001 -- 16384 这样的分布方式方便节点的添加和删除。比如需要新增一个节点只需要把、、中的部分哈希槽数据移到节点。同样如果希望在集群中删除节点只需要把节点的哈希槽的数据移到和节点当节点的数据全部被移走后节点就可以完全从集群中删除。 因为把哈希槽从一个节点移到另一个节点是不需要停机的所以增加或删除节点或更改节点上的哈希槽也是不需要停机的。 集群支持通过一个命令或事务, 或lua脚本同时操作多个key。通过哈希标签的概念用户可以让多个key分配到同一个哈希槽。哈希标签在集群详细文档中有描述这里做个简单介绍如果key含有大括号{},则只有大括号中的字符串会参与哈希比如this{foo}和another{foo}这个key会分配到同一个哈希槽所以可以在一个命令中同时操作他们。 4、Redis面试题
4.1、使用过Redis分布式锁么它是怎么实现的
先拿setnx来争抢锁抢到之后再用expire给锁加一个过期时间防止锁忘记了释放。
4.2、什么是缓存击穿如何避免什么是缓存穿透如何避免什么是缓存雪崩何如避免
缓存击穿
KEY的过期造成并发访问数据库
如何避免
先拿setnx来争抢锁抢到之后get key setnx ok去DB false,sleep 1。
1、防止死锁设置锁的过期时间。2、没挂锁超时更新锁时间
缓存穿透
一般的缓存系统都是按照key去缓存查询如果不存在对应的value就应该去后端系统查找比如DB。一些恶意的请求会故意查询不存在的key,请求量很大就会对后端系统造成很大的压力。这就叫做缓存穿透。
如何避免
1对查询结果为空的情况也进行缓存缓存时间设置短一点或者该key对应的数据insert了之后清理缓存。
2对一定不存在的key进行过滤。可以把所有的可能存在的key放到一个大的Bitmap中查询时通过该bitmap过滤。
布隆过滤器
缓存雪崩
当缓存服务器重启或者大量缓存集中在某一个时间段失效这样在失效的时候会给后端系统带来很大压力。导致系统崩溃。
如何避免
1在缓存失效后通过加锁或者队列来控制读数据库写缓存的线程数量。比如对某个key只允许一个线程查询数据和写缓存其他线程等待。
2做二级缓存A1为原始缓存A2为拷贝缓存A1失效时可以访问A2A1缓存失效时间设置为短期A2设置为长期
3不同的key设置不同的过期时间让缓存失效的时间点尽量均匀。随机过期时间。
零点业务层增加零点延迟--强依赖击穿解决方案。
4.3、解释Redis的复制功能
Redis 可以使用主从同步从从同步。第一次同步时主节点做一次 bgsave并同时将后续修改操作记录到内存 buffer待完成后将 rdb 文件全量同步到复制节点复制节点接受完成后将 rdb 镜像加载到内存。加载完成后再通知主节点将期间修改的操作记录同步到复制节点进行重放就完成了同步过程。 Redis缓存数据库(一) 干我们这行啥时候懈怠就意味着长进的停止长进的停止就意味着被淘汰只能往前冲直到凤凰涅槃的一天
