python工程打包供网站开发调用,wordpress广告管理插件,wordpress表格样式插件,栾城网站建设索引生命周期策略
ELK日志我们一般都是按天存储#xff0c;例如索引名为zipkin-span-2023-03-24#xff0c;因为日志量所占的存储是非常大的#xff0c;我们不能一直保存#xff0c;而是要定期清理旧的#xff0c;这里就以保留7天日志为例。 自动清理7天以前…索引生命周期策略
ELK日志我们一般都是按天存储例如索引名为zipkin-span-2023-03-24因为日志量所占的存储是非常大的我们不能一直保存而是要定期清理旧的这里就以保留7天日志为例。 自动清理7天以前的日志可以用定时任务的方式这样就需要加入多一个定时任务可能不同服务记录的索引名又不一样这样用定时任务配还是没那么方便。 ES给我们提供了一个索引的生命周期策略lifecycle就可以对索引指定删除时间能很好解决这个问题。 索引生命周期分为四个阶段HOT(热)WARM(温》COLD(冷)DELETE(删除)
给索引设生命周期策略ILM 这里为ELK日志超过7天的自动删除所以只需要用到DELETE(删除阶段)
创建一个自动删除策略(auto_delete_policy) delete删除阶段7天执行删除索引动作
PUT _ilm/policy/auto_delete_policy
{policy: {phases: {delete: {min_age: 7d,actions: {delete: {}}}}}
}查看策略GET _ilm/policy/
#创建索引模板索引模板可以匹配索引名称匹配到的索引名称按这个模板创建mapping
PUT _template/elk_template
{index_patterns: [zipkin*],settings: {index:{lifecycle:{name:auto_delete_policy,indexing_complete:true}}}
}说明创建索引模板(elk_template)index.lifecycle.name把上面的自动删除策略绑定到elk索引模板 创建zipkin开头的索引时就会应用这个模板。 indexing_completetrue必须设为true跳过HOT阶段的Rollover
#查看模板 GET /_template/
测试效果: 为了立刻知道演示结果这里测试时把DELETE的日期又7天7d改为1分钟1m
PUT _ilm/policy/auto_delete_policy
{policy: {phases: {delete: {min_age: 1m,actions: {delete: {}}}}}
}#生命周期策略默认10分钟检测一次为了方便测试这里设为30s
PUT /_cluster/settings
{transient: {indices.lifecycle.poll_interval:30s}
}启动相关项目把链路追踪日志写入到es:(查看 演示zipkin 篇) #查看zipkin开头索引的生命周期策略: GET zipkin*/_ilm/explain #也可以在es中搜索到 #经过一分钟后 没有了删除了
#演示成功最后把过期时间重新改成7d
PUT _ilm/policy/auto_delete_policy
{policy: {phases: {delete: {min_age: 1m,actions: {delete: {}}}}}
}#生命周期策略默认10分钟检测一次
PUT /_cluster/settings
{transient: {indices.lifecycle.poll_interval”:”10m”}
}通过kibana操作 查看索引汇总 自动给索引添加删除策略 因为索引是按照日期生成的所以自动给它加上删除策略
