如何自己做加盟网站,四川省中国建设银行招聘信息网站,网站建设账户搭建,信息流优化师是做什么的1、线上常见问题在我线下对接企业或线上交流的时候#xff0c;经常会遇到各种业务场景不同的问题。比如#xff0c;常见问题归类如下#xff1a;常见问题1#xff1a;ES 适合场景及架构选型问题。公司的核心业务是做企业员工健康管理#xff0c;数据来自电子化后的员工体检…1、线上常见问题在我线下对接企业或线上交流的时候经常会遇到各种业务场景不同的问题。比如常见问题归类如下常见问题1ES 适合场景及架构选型问题。公司的核心业务是做企业员工健康管理数据来自电子化后的员工体检报告以及各种健康数据采集设备均存储在关系型数据库中。先计划搞健康大数据分析比如某企业内按部门年龄段等对现有数据对比分析等。请问ES适合这个场景使用吗如果适合大致的架构是怎样的常见问题2节点偶然下线问题。运输数据场景批量写入导致 ES 宕机集群偶然下线后导致无法上线怎么解决常见问题3数据不一致问题。在原有的集群规模的数据非常大的基础上要删除接近2/3的数据。这时候两个集群出现了数据不一致的情况如何排查常见问题4集群重启时间超过20小时以上。超过8小时的时候没有引起重视后面起不起来了才发现是大问题。实地环境排查及大量沟通发现这些后期出现的问题或者“坑”前期规避的话成本会更低。2、发现的潜在的“坑”如下的坑都是中小型企业现场环境排查、腾讯会议交流等发现的。提前声明对于一些大型企业、大厂不见得适用毕竟场景不同得具体问题具体分析。1没有选择相对新的8.X版本而是选择了 6.X版本。原因对接 API 方便。2一台高配物理机如256GB内存64核CPU部署一个节点资源利用率非常低。3不熟悉 Linux集群部署依然基于 Windows 服务器。4数据同步工具自己开发“另起炉灶”关键功能和性能尚不如 Logstash等成熟工具。5主分片设定未考虑集群未来的可横向扩展性。6批量写入不考虑集群性能上限直至节点宕机脱离集群。7不借助可视化工具Kibana monitoring 监控集群甚至 head 插件也没有用起来出现问题不知道如何排查。8命令行 DSL 仍然借助 Postman 等工具实现。9Wildcard 模糊匹配召回结果符合预期就大量不计后果的使用。10查询细节参数不了解能用起来就不关心其他。3、Elasticsearch 常见认知“误区”认知误区1Elasticsearch 是关系型数据库。实际上Elasticsearch是非关系型数据库不支持严格的关系数据模型而是采用文档型存储。探究 | Elasticsearch 与传统数据库界限认知误区2Elasticsearch 只适用于搜索。Elasticsearch不仅适用于搜索还支持聚合、分析等功能。认知误区3Elasticsearch 无需预处理数据。Elasticsearch需要预处理数据并对数据结构有严格的要求否则可能导致检索效果不佳。认知误区4Elasticsearch 可以无限扩展。1纵向扩展得看机器是否支持动态扩内存、CPU等资源取决于硬件。2横向扩展得看多节点集群规模能否适配性能指标不见得是机器越多越好。认知误区5Elasticsearch 安全性很高。Elasticsearch 本身 7.1 之前不提供严格的安全性需要通过相关的插件或配置来实现安全性。7.1含之后 xpack 基础功能免费8.X 之后安全成为必选项认知误区6Elasticsearch 无需维护。不止要维护Elasticsearch 需要定期维护包括数据备份借助快照和恢复功能、性能优化、安全更新等。4、避坑方案探讨4.1 Elasticsearch 版本及架构选型避坑关于版本选型Elastic 官方工程师如是说“我完全理解稳定性是最重要的问题。在那种情况下我们不应该选择最新版本的 Elasticsearch。作为参考所有当前和过去的版本都可以在此页面上找到......作为一种模式我建议比最新版本早发布 4 到 6 个月的版本”。——来自阮一鸣老师和ES官方的讨论帖。关于版本选型张超老师说“对稳定性要求比较高的生产不要用最新的版本谁不也知道有没有严重 bug往前推一些看看社区反馈没有大问题的版本修正版本号用最高的”。如下几点要谨慎考虑考虑功能要求选择支持我们需要的功能的版本比如xpack 功能7.1之后才免费ilm功能 6.7 版本才推出。考虑兼容性确保您选择的版本与正在使用的其他软件和工具兼容比如java、python客户端的选择。考虑数据量: Elasticsearch是否能够满足数据存储和处理的要求考虑硬件资源使用Elasticsearch需要充足的硬件资源包括内存硬盘带宽等。考虑集群架构要根据业务需求选择合适的集群架构并考虑到集群的可用性和扩展性。历史版本下载地址https://www.elastic.co/cn/downloads/past-releases#ela... Elasticsearch架构选型指南——不止是搜索引擎还有......干货 | Elasticsearch方案选型必须了解的10件事干货 | Elasticsearch Java 客户端演进历史和选型指南https://blog.csdn.net/u013613428/article/details/1033178064.2 Elasticsearch 常用工具避坑“工欲善其事必先利其器”没有工具效率无从谈起。推荐优先级Kibana Head / cerebro Postman。学会使用Kibana Dev Tool并用好 ctrl i 快捷键。学会使用Kibana monitor 监控可视化工具。更多推荐严选 | Elasticsearch史上最全最常用工具清单MetricBeat Elasticsearch Kibana 实现监控指标可视化4.3 Elasticsearch 集群避坑结合集群能承载的总数据量、每日的增量在有预留的前提下给出集群规模的评估。避免“拍脑袋”要理性计算给出实际参考依据。布局好节点角色早期版本叫节点类型。要知道节点角色更为便捷。确定是否需要冷热集群架构区分热节点、温节点、冷节点。冷热集群架构是 ILM 的前提没有它ILM无从谈起。更多推荐探究 | Elasticsearch集群规模和容量规划的底层逻辑干货 | Elasticsearch 8.X 节点角色划分深入详解4.4 Elasticsearch 索引避坑确定是否需要 ILM 索引生命周期管理而不是仅适用 rollover 脚本自己维护方式或借助 curator 实现。用好 Kibana 可视化管理好 ILM。考虑索引承载数据上限和大索引可能带来的风险提前做好业务层面的布局不同业务使用不同索引不要混用。能用模板 template 的就不要单独使用 index。能支持 datastream 数据流智能别名就大胆使用。模板和别名搭配、索引和别名搭配干活不累。定期备份集群索引数据尤其业务索引并准备恢复方案以防数据丢失。数据迁移需要认真计划以防迁移不当可能导致数据丢失或损坏问题。更多推荐Elasticsearch ILM 索引生命周期管理常见坑及避坑指南 干货 | Elasticsearch 索引生命周期管理 ILM 实战指南Elasticsearch 7.X data stream 深入详解Elasticsearch 快照生命周期管理 (SLM) 实战指南干货 | Elasitcsearch7.X集群/索引备份与恢复实战 4.5 Elasticsearch 分片避坑由于路由机制原因不同于副本分片支持 update 动态更新Elasticsearch 主分片数一旦设定就不能动态更新除非 reindex。分片设置要不仅满足当下集群的需求也要考虑集群的未来可扩展性。单分片大小参见官方的 30GB-50GB的优化建议因场景而异可能微调。更多推荐Elasticsearch究竟要设置多少分片数4.6 Elasticsearch 同步工具避坑能借助 Ingest 预处理功能解决的就不要使用 logstash。能使用 logstash 解决基于时间递增和基于id递增同步的就不要自己开发。衡量好 Kafka_connector 和 logstash 的性能和适用场景。阿里的 canal 工具在同步删除和更新操作时要优先选择因为 logstash 不支持同步更新和删除操作。更多推荐Elasticsearch的ETL利器——Ingest节点 Elasticsearch 预处理没有奇技淫巧请先用好这一招从一个线上问题看 Elasticsearch 数据清洗方式 实战 | canal 实现Mysql到Elasticsearch实时增量同步 干货 | Logstash Grok数据结构化ETL实战4.7 Elasticsearch 检索选型避坑如果查询语句不正确可能导致查询性能下降例如查询条件过于复杂、数据量过大等。首先建立起 ES 支持的检索类型的全局认知。其次区分好什么是召回率什么是精准率区分好什么是精准匹配什么是全文检索区分好哪些需要评分哪些不需要评分区分好什么叫 query什么叫 filter最后选型成功后做充分的验证再部署到线上环境。涉及性能相关的要做足检索并发性能测试。PS如果所有的已经存在的检索都无法达到业务指标得考虑分词处下功夫得考虑空间换时间。推荐阅读Elasticsearch 8.X 如何实现更精准的检索实战 | Elasticsearch自定义评分的N种方法干货 | Elasticsearch 检索类型选型指南JMeter 如何实现 Elasticsearch 8.X 性能测试esrally 如何进行简单的自定义性能测试4.8 Elasticsearch 数据建模避坑Elasticsearch要求数据结构符合其特定 Mapping 格式如果数据结构不合适可能导致数据存储不完整后续检索可能会非常复杂。建模问题的核心在于前期不会发现往往项目的中后期才会发现。但一旦发现返工的概率就会极大带来了整体工期的延长和效率的降低。所以建议设计初期做足准备。做什么准备呢1业务层面不同索引可能跨索引检索字段的一致性必要性尤为凸显。2能“宽表”就不要或少用 Nested 嵌套字段、Join 多表关联数据类型。3避免字段爆炸设置 strict 最为严谨设置dynamicfalse相对谨慎设置默认的 dynamictrue 要慎之又慎评估好风险。更多推荐干货 | Elasticsearch 数据建模指南干货 | Elasticsearch多表关联设计指南Elasticsearch 8.X 防止 Mapping “爆炸”的三种方案4.9 Elasticsearch 运维避坑不要等出了问题采取看监控而是动态更新监控指标数据考虑将集群各节点的健康状态以定时任务的形式发送到邮箱等。定期监控集群健康状态并及时解决任何问题以保证集群稳定运行。用好运维监控工具。Kibana monitor、grafana 均可。日志建议再归集到一个独立的小ES集群通过 kibana 可视化展示并对于 Warn 及以上级别日志及时预警。推荐如下1使用Elasticsearch的内置监控工具如Node Stats API和Cluster Stats API可用于监控节点和集群的性能。2使用 Kibana Monitoring提供了全面的监控功能包括集群监控、节点监控、索引监控等。3定期评估集群健康使用Elasticsearch的Cluster Health API评估集群的健康状况以检测性能问题。4记录并分析日志记录并分析Elasticsearch的日志以诊断性能问题。5设置告警设置告警以提醒您有关性能问题的变化。建议和监控工具如Zabbix结合。更多推荐MetricBeat Elasticsearch Kibana 实现监控指标可视化干货 | Elasticsearch Top10 监控指标干货 | Elasticsearch 运维实战常用命令清单干货 | Elasticsearch 集群健康值红色终极解决方案4.10 Elasticsearch 安全避坑安全无小事早期版本1.X、2.X、5.X、6.X、7.X“luo奔”导致的安全事故依然屡见不鲜。8.X 的版本已经全线支持默认安全机制用起来是王道。如果非要早期版本5.X、6.X、7.X建议一定至少加上 xpack 安全机制至少设置好密码。如果更早版本1.X、2.X建议不要开放外网权限切记更多推荐你的Elasticsearch在裸奔吗重要Elasticsearch 安全加固指南Elasticsearch 脚本安全使用指南5、小结“坑”是成长过程中的财富提前关注“坑”能提高开发效率。欢迎大家就使用 Elasticsearch 过程中遇到的坑留言交流。5、参考https://articles.zsxq.com/id_oo0h8a5b6b8a.htmlhttps://wx.zsxq.com/dweb2/index/search/%E4%BC%81%E4%B8%9A/alltopics?groupId225224548581https://t.zsxq.com/0bUYswMJn推荐阅读全网首发从 0 到 1 Elasticsearch 8.X 通关视频重磅 | 死磕 Elasticsearch 8.X 方法论认知清单2022年国庆更新版如何系统的学习 Elasticsearch 2023做点事更短时间更快习得更多干货和全球 1800 Elastic 爱好者一起精进比同事抢先一步学习进阶干货
