郑州网站开发与建设,天津百度网络推广,房屋租赁网站建设如何给客户定位,互联网金融网站设计目录 一、文件清理策略1.1、文件清理策略的概述1.2、文件清理策略的官方文档1.3、日志超过了设置的时间如何处理1.3.1、delete日志删除#xff08;将过期数据删除#xff09;1.3.2、compact日志压缩 一、文件清理策略
1.1、文件清理策略的概述
Kafka 中默认的日志保存时间为… 目录 一、文件清理策略1.1、文件清理策略的概述1.2、文件清理策略的官方文档1.3、日志超过了设置的时间如何处理1.3.1、delete日志删除将过期数据删除1.3.2、compact日志压缩 一、文件清理策略
1.1、文件清理策略的概述
Kafka 中默认的日志保存时间为 7 天可以通过调整如下参数修改保存时间。 参数解释log.retention.hours小时最低优先级默认 7天log.retention.minutes分钟log.retention.ms毫秒最高优先级log.retention.check.interval.ms负责设置检查周期默认 5 分钟
1.2、文件清理策略的官方文档
参考官方文档 官方文档地址https://kafka.apache.org/documentation/
1.3、日志超过了设置的时间如何处理
Kafka 中提供的日志清理策略有 delete 和 compact两种。
1.3.1、delete日志删除将过期数据删除
log.cleanup.policy delete 所有数据启用删除策略。 1、基于时间默认打开。以 segment 中所有记录中的最大时间戳作为该文件时间戳。 2、基于大小默认关闭。超过设置的所有日志总大小删除最早的 segment。log.retention.bytes默认等于-1表示无穷大。
1.3.2、compact日志压缩
compact日志压缩对于相同key的不同value值只保留最后一个版本。log.cleanup.policy compact 所有数据启用压缩策略 压缩后的offset可能是不连续的比如上图中没有6当从这些offset消费消息时将会拿到比这个offset大的offset对应的消息实际上会拿到offset为7的消息并从这个位置开始消费。这种策略只适合特殊场景比如消息的key是用户IDvalue是用户的资料通过这种压缩策略整个消息集里就保存了所有用户最新的资料。
