网站建设流程渠道,门户网站个人可以做,wordpress正计时代码,引流推广网站平台2022黑马Redis跟学笔记.实战篇 七4.11.附近的店铺功能4.11.1. GEO数据结构的基本用法1. 附近商户-导入店铺数据到GEO4.11.2. 获取附近的店铺1. 附近商户-实现附近商户功能4.9. 签到功能4.9.1.BitMap原理1. 用户签到-BitMap功能演示4.9.2.实现签到功能4.9.3.实现补签功能4.9.4.统…
2022黑马Redis跟学笔记.实战篇 七4.11.附近的店铺功能4.11.1. GEO数据结构的基本用法1. 附近商户-导入店铺数据到GEO4.11.2. 获取附近的店铺1. 附近商户-实现附近商户功能4.9. 签到功能4.9.1.BitMap原理1. 用户签到-BitMap功能演示4.9.2.实现签到功能4.9.3.实现补签功能4.9.4.统计连续签到天数1. 用户签到-签到统计2. 额外加餐-关于使用bitmap来解决缓存穿透的方案4.10.UV统计4.10.1.UV统计的基本思路4.10.2.HypeLogLog实现统计这里视频中先讲了4.11
4.11.附近的店铺功能
4.11.1. GEO数据结构的基本用法
GEO就是Geolocation的简写形式代表地理坐标。Redis在3.2版本中加入了对GEO的支持允许存储地理坐标信息帮助我们根据经纬度来检索数据。常见的命令有
GEOADD添加一个地理空间信息包含经度longitude、纬度latitude、值memberGEODIST计算指定的两个点之间的距离并返回GEOHASH将指定member的坐标转为hash字符串形式并返回GEOPOS返回指定member的坐标GEORADIUS指定圆心、半径找到该圆内包含的所有member并按照与圆心之间的距离排序后返回。6.以后已废弃GEOSEARCH在指定范围内搜索member并按照与指定点之间的距离排序后返回。范围可以是圆形或矩形。6.2.新功能GEOSEARCHSTORE与GEOSEARCH功能一致不过可以把结果存储到一个指定的key。 6.2.新功能。 GEOADD g1 116.378248 39.865275 beijingnan
GEOADD g1 116.42803 39.903738 beijingzhan 116.322287 39.893729 beijingxizhan看一下图形界面底层是sortedset 计算距离以km为单位
GEODIST g1 beijingnan beijingxizhan kmGEODIST g1 beijingxizhan beijingzhan km天安门附近火车站
GEOSEARCH g1 FROMLONLAT 116.397904 39.909005 BYRADIUS 10 km WITHDIST再看一下其它指令
GEOPOS 返回指定memeber的坐标
GEOPOS g1 beijingzhanGEOHASH 将指定member的坐标转为hash字符串形式并返回
GEOHASH g1 beijingzhan1. 附近商户-导入店铺数据到GEO
具体场景说明 当我们点击美食之后会出现一系列的商家商家中可以按照多种排序方式我们此时关注的是距离这个地方就需要使用到我们的GEO向后台传入当前app收集的地址(我们此处是写死的) 以当前坐标作为圆心同时绑定相同的店家类型type以及分页信息把这几个条件传入后台后台查询出对应的数据再返回。 我们要做的事情是将数据库表中的数据导入到redis中去redis中的GEOGEO在redis中就一个menber和一个经纬度我们把x和y轴传入到redis做的经纬度位置去但我们不能把所有的数据都放入到menber中去毕竟作为redis是一个内存级数据库如果存海量数据redis还是力不从心所以我们在这个地方存储他的id即可。
但是这个时候还有一个问题就是在redis中并没有存储type所以我们无法根据type来对数据进行筛选所以我们可以按照商户类型做分组类型相同的商户作为同一组以typeId为key存入同一个GEO集合中即可
代码
HmDianPingApplicationTests Testvoid loadShopData() {// 1.查询店铺信息ListShop list shopService.list();// 2.把店铺按照typeId分组typeId一样的分一组MapLong, ListShop map list.stream().collect(Collectors.groupingBy(Shop::getTypeId));// 3.分批完成写入RedisSetMap.EntryLong, ListShop entries map.entrySet();for (Map.EntryLong, ListShop entry : entries) {// 3.1获取typeIdLong typeId entry.getKey();// 3.2获取同类型的店铺的集合ListShop value entry.getValue();String key RedisConstants.SHOP_GEO_KEY typeId;// 3.3 写入Redis// 方法一打开shop实体类集合一条店铺一条店铺添加(比较慢)/*for (Shop shop : value) {stringRedisTemplate.opsForGeo().add(key, new Point(shop.getX(), shop.getY()), shop.getId().toString());}*/// 方法二locationsListRedisGeoCommands.GeoLocationString locations new ArrayList(value.size());for (Shop shop : value) {locations.add(new RedisGeoCommands.GeoLocation(shop.getId().toString(),new Point(shop.getX(), shop.getY())));}stringRedisTemplate.opsForGeo().add(key, locations);}}运行单元测试
4.11.2. 获取附近的店铺
1. 附近商户-实现附近商户功能
先安装插件Maven Helper,管理依赖 管理Maven依赖 移除老版本
SpringDataRedis的2.3.9版本并不支持Redis 6.2提供的GEOSEARCH命令因此我们需要提示其版本修改自己的POM
第一步导入pom.xml
dependencygroupIdorg.springframework.data/groupIdartifactIdspring-data-redis/artifactIdversion2.6.2/version
/dependency
dependencygroupIdio.lettuce/groupIdartifactIdlettuce-core/artifactIdversion6.1.6.RELEASE/version
/dependency第二步
修改ShopController
GetMapping(/of/type)
public Result queryShopByType(RequestParam(typeId) Integer typeId,RequestParam(value current, defaultValue 1) Integer current,RequestParam(value x, required false) Double x,RequestParam(value y, required false) Double y
) {return shopService.queryShopByType(typeId, current, x, y);
}修改接口IShopService.java /*** param* return void* description //根据商铺类型分页查询商铺信息(加入坐标)* param: typeId* param: current* param: x* param: y* date 2023/2/19 1:00* author wty**/Result queryShopByType(Integer typeId, Integer current, Double x, Double y);修改实现类ShopServiceImpl /*** param* return void* description //根据商铺类型分页查询商铺信息(加入坐标)* param: typeId* param: current* param: x* param: y* date 2023/2/19 1:00* author wty**/Overridepublic Result queryShopByType(Integer typeId, Integer current, Double x, Double y) {// 1.判断是否需要根据坐标查询如果需要再按照坐标if (null x || null y) {// 根据类型分页查询PageShop page query().eq(type_id, typeId).page(new Page(current, SystemConstants.DEFAULT_PAGE_SIZE));// 返回数据return Result.ok(page.getRecords());}// 2.分页参数的计算/*** 当前页的起始数据是第几条*/int from (current - 1) * SystemConstants.DEFAULT_PAGE_SIZE;/*** 当前页的结束数据是第几条*/int end current * SystemConstants.DEFAULT_PAGE_SIZE;// 3.查询redis按照距离排序和分页 结果 shopId ,distance// GEOSEARCH g1 FROMLONLAT 116.397904 39.909005 BYRADIUS 10 km WITHDISTString key RedisConstants.SHOP_GEO_KEY typeId;GeoResultsRedisGeoCommands.GeoLocationString results stringRedisTemplate.opsForGeo().search(key,GeoReference.fromCoordinate(x, y),new Distance(RedisConstants.GEO_DISTANT),RedisGeoCommands.GeoRadiusCommandArgs.newGeoRadiusArgs().includeDistance().limit(end));// 4.解析shopIdif (null results) {return Result.ok(Collections.emptyList());}ListGeoResultRedisGeoCommands.GeoLocationString list results.getContent();ArrayListLong shopIds new ArrayList(list.size());MapString, Distance map new HashMap(list.size());// 4.1 截取从from 到 endlist.stream().skip(from).forEach(result - {// 4.2获取店铺idString shopIdStr result.getContent().getName();shopIds.add(Long.valueOf(shopIdStr));// 4.3获取距离Distance distance result.getDistance();map.put(shopIdStr, distance);});// 5.根据id查询shopString joinStr StrUtil.join(,, shopIds);ListShop shops query().in(id, shopIds).last(order by field(id, joinStr )).list();for (Shop shop : shops) {shop.setDistance(map.get(shop.getId().toString()).getValue());}// 6.返回return Result.ok(shops);}重启应用发现按照距离由近到远排序了 此时滚动往下拉发现报错了 发现IDEA控制台报错了 在ShopServiceImpl.java中增加逻辑 if (list.size() from) {return Result.ok(Collections.emptyList());}再次重启查看下拉就正常了
4.9. 签到功能
4.9.1.BitMap原理
1. 用户签到-BitMap功能演示
我们针对签到功能完全可以通过mysql来完成比如说以下这张表 用户一次签到就是一条记录假如有1000万用户平均每人每年签到次数为10次则这张表一年的数据量为 1亿条
每签到一次需要使用8 8 1 1 3 1共22 字节的内存一个月则最多需要600多字节
我们如何能够简化一点呢其实可以考虑小时候一个挺常见的方案就是小时候咱们准备一张小小的卡片你只要签到就打上一个勾我最后判断你是否签到其实只需要到小卡片上看一看就知道了。 我们可以采用类似这样的方案来实现我们的签到需求。
我们按月来统计用户签到信息签到记录为1未签到则记录为0.
把每一个bit位对应当月的每一天形成了映射关系。用0和1标示业务状态这种思路就称为位图BitMap。这样我们就用极小的空间来实现了大量数据的表示
Redis中是利用string类型数据结构实现BitMap因此最大上限是512M转换为bit则是 232个bit位。 BitMap的操作命令有
SETBIT向指定位置offset存入一个0或1,从0开始GETBIT 获取指定位置offset的bit值BITCOUNT 统计BitMap中值为1的bit位的数量BITFIELD 操作查询、修改、自增BitMap中bit数组中的指定位置offset的值BITFIELD_RO 获取BitMap中bit数组并以十进制形式返回BITOP 将多个BitMap的结果做位运算与 、或、异或BITPOS 查找bit数组中指定范围内第一个0或1出现的位置 需求实现签到接口将当前用户当天签到信息保存到Redis中
示例
SETBIT bm1 0 1GETBIT bm1 0SETBIT bm1 1 1
SETBIT bm1 2 1
SETBIT bm1 5 1
SETBIT bm1 6 1查看redis图形界面中存取的数据注意勾选二进制
BITCOUNT bm1从0开始2个bit位刚好是11二进制11转换为十进制就是3
BITFIELD bm1 GET u2 0同理取3位就是111转换为10进制就是7
BITFIELD bm1 GET u3 0查找bit数组中指定范围内第一个0出现的位置
BITPOS bm1 0思路我们可以把年和月作为bitMap的key然后保存到一个bitMap中每次签到就到对应的位上把数字从0变成1只要对应是1就表明说明这一天已经签到了反之则没有签到。
我们通过接口文档发现此接口并没有传递任何的参数没有参数怎么确实是哪一天签到呢这个很容易可以通过后台代码直接获取即可然后到对应的地址上去修改bitMap。 4.9.2.实现签到功能
代码
修改UserController PostMapping(/sign)public Result sign(){return userService.sign();}修改接口IUserService.java /*** param* return com.hmdp.dto.Result* description //签到* date 2023/2/19 12:21* author wty**/Result sign();修改UserServiceImpl /*** param* return com.hmdp.dto.Result* description //签到* date 2023/2/19 12:22* author wty**/Overridepublic Result sign() {// 1.获取当前登录用户Long userId UserHolder.getUser().getId();// 2.获取日期LocalDateTime now LocalDateTime.now();String keySuffix now.format(DateTimeFormatter.ofPattern(:yyyyMM));// 3.拼接keyString key RedisConstants.USER_SIGN_KEY userId keySuffix;// 4.获取今天是本月的第几天int dayOfMonth now.getDayOfMonth();// 5.写入Redis SETBIT key offset 1stringRedisTemplate.opsForValue().setBit(key, dayOfMonth - 1, true);return Result.ok();}重启应用测试 打开PostMan,配置路径 http://localhost:8080/api/user/sign 配置token 点击send后的结果 保存在redis中的信息如下比如今天19号那就在19位是1
4.9.3.实现补签功能
用命令行给前三天补签
SETBIT sign:1010:202302 0 1
SETBIT sign:1010:202302 1 1
SETBIT sign:1010:202302 2 1前3天签到
4.9.4.统计连续签到天数
1. 用户签到-签到统计
**问题1**什么叫做连续签到天数 从最后一次签到开始向前统计直到遇到第一次未签到为止计算总的签到次数就是连续签到天数。 Java逻辑代码获得当前这个月的最后一次签到数据定义一个计数器然后不停的向前统计直到获得第一个非0的数字即可每得到一个非0的数字计数器1直到遍历完所有的数据就可以获得当前月的签到总天数了
**问题2**如何得到本月到今天为止的所有签到数据
BITFIELD key GET u[dayOfMonth] 0
假设今天是10号那么我们就可以从当前月的第一天开始获得到当前这一天的位数是10号那么就是10位去拿这段时间的数据就能拿到所有的数据了那么这10天里边签到了多少次呢统计有多少个1即可。
问题3如何从后向前遍历每个bit位
注意bitMap返回的数据是10进制哪假如说返回一个数字8那么我哪儿知道到底哪些是0哪些是1呢我们只需要让得到的10进制数字和1做与运算就可以了因为1只有遇见1 才是1其他数字都是0 我们把签到结果和1进行与操作每与一次就把签到结果向右移动一位依次内推我们就能完成逐个遍历的效果了。
需求实现下面接口统计当前用户截止当前时间在本月的连续签到天数
有用户有时间我们就可以组织出对应的key此时就能找到这个用户截止这天的所有签到记录再根据这套算法就能统计出来他连续签到的次数了。 代码
UserController
GetMapping(/sign/count)
public Result signCount(){return userService.signCount();
}IUserService.java
/*** param* return com.hmdp.dto.Result* description //合计签到总数* date 2023/2/19 14:33* author wty**/Result signCount();UserServiceImpl /*** param* return com.hmdp.dto.Result* description //合计签到总数* date 2023/2/19 14:33* author wty**/Overridepublic Result signCount() {// 1.获取当前登录用户Long userId UserHolder.getUser().getId();// 2.获取日期LocalDateTime now LocalDateTime.now();String keySuffix now.format(DateTimeFormatter.ofPattern(:yyyyMM));// 3.拼接keyString key RedisConstants.USER_SIGN_KEY userId keySuffix;// 4.获取今天是本月的第几天int dayOfMonth now.getDayOfMonth();// 5.获取本月截至今天为止所有的签到记录返回的是一个十进制的数字// BITFIELD bm1 GET u2 0ListLong results stringRedisTemplate.opsForValue().bitField(key, BitFieldSubCommands.create().get(BitFieldSubCommands.BitFieldType.unsigned(dayOfMonth)).valueAt(0));if (null results || results.isEmpty()) {// 没有任何签到结果return Result.ok(0);}Long num results.get(0);if (null num || 0 num) {return Result.ok(0);}// 6.循环遍历// 计数器int calCount 0;while (true) {// 7.让这个数字与1做与运算得到数字的最后一个bit位if ((num 1) 0) {// 判断这个bit位是否为0如果为0说明未签到结束break;} else {// 如果不为0说明已签到计数器 1calCount;}// 把数字(无符号)右移一位抛弃最后一个bit位继续下一个bit位num (num 1);}return Result.ok(calCount);}重新启动应用 用PosrMan测试注意这里实现的是截至今天为止的连续签到次数昨天签到今天没签连续签到次数也是0
2. 额外加餐-关于使用bitmap来解决缓存穿透的方案
回顾缓存穿透
发起了一个数据库不存在的redis里边也不存在的数据通常你可以把他看成一个攻击
解决方案 判断id0 如果数据库是空那么就可以直接往redis里边把这个空数据缓存起来
第一种解决方案遇到的问题是如果用户访问的是id不存在的数据则此时就无法生效
第二种解决方案遇到的问题是如果是不同的id那就可以防止下次过来直击数据
所以我们如何解决呢
我们可以将数据库的数据所对应的id写入到一个list集合中当用户过来访问的时候我们直接去判断list中是否包含当前的要查询的数据如果说用户要查询的id数据并不在list集合中则直接返回如果list中包含对应查询的id数据则说明不是一次缓存穿透数据则直接放行。 现在的问题是这个主键其实并没有那么短而是很长的一个 主键
哪怕你单独去提取这个主键但是在11年左右淘宝的商品总量就已经超过10亿个
所以如果采用以上方案这个list也会很大所以我们可以使用bitmap来减少list的存储空间
我们可以把list数据抽象成一个非常大的bitmap我们不再使用list而是将db中的id数据利用哈希思想比如
id % bitmap.size 算出当前这个id对应应该落在bitmap的哪个索引上然后将这个值从0变成1然后当用户来查询数据时此时已经没有了list让用户用他查询的id去用相同的哈希算法 算出来当前这个id应当落在bitmap的哪一位然后判断这一位是0还是1如果是0则表明这一位上的数据一定不存在 采用这种方式来处理需要重点考虑一个事情就是误差率所谓的误差率就是指当发生哈希冲突的时候产生的误差。 4.10.UV统计
4.10.1.UV统计的基本思路
首先我们搞懂两个概念
UV全称Unique Visitor也叫独立访客量是指通过互联网访问、浏览这个网页的自然人。1天内同一个用户多次访问该网站只记录1次。PV全称Page View也叫页面访问量或点击量用户每访问网站的一个页面记录1次PV用户多次打开页面则记录多次PV。往往用来衡量网站的流量。
通常来说UV会比PV大很多所以衡量同一个网站的访问量我们需要综合考虑很多因素所以我们只是单纯的把这两个值作为一个参考值。
UV统计在服务端做会比较麻烦因为要判断该用户是否已经统计过了需要将统计过的用户信息保存。但是如果每个访问的用户都保存到Redis中数据量会非常恐怖那怎么处理呢
Hyperloglog(HLL)是从Loglog算法派生的概率算法用于确定非常大的集合的基数而不需要存储其所有值。相关算法原理大家可以参考Hyperloglog算法
Redis中的HLL是基于string结构实现的单个HLL的内存永远小于16kb内存占用低的令人发指作为代价其测量结果是概率性的有小于0.81的误差。不过对于UV统计来说这完全可以忽略。 示例 添加5个元素
PFADD hl e1 e2 e3 e4 e5查询元素的个数
PFCOUNT hlUV统计对于相同用户不能统计2次那么我们插入相同元素看一下。发现计算的个数还是5
4.10.2.HypeLogLog实现统计
查看当前redis内存占用情况
info memory当前内存占用情况2139256
测试思路我们直接利用单元测试向HyperLogLog中添加100万条数据看看内存占用和统计效果如何。 代码如下
Testpublic void testHyperLog() {String[] values new String[1000];int j 0;for (int i 0; i 1000000; i) {j i % 1000;values[j] user_ i;if (j 999) {// 发送到RedisstringRedisTemplate.opsForHyperLogLog().add(hl, values);}}// 统计数量Long count stringRedisTemplate.opsForHyperLogLog().size(hl);System.out.println(统计的总数是 count);}测试结果 看一下误差 再看一下内存占用 目前是2175992 与之前的差值是36736bit 换算成kb是35kb
1百万数据只占了36kb
经过测试我们会发现它的误差是在允许范围内并且内存占用极小。
黑马实战篇结束了
