上海网站建设最好的公司排名,网络营销分类,微网站注意事项,赞叹天河网站建设公司要搞成这样就需要钱来买服务器
开发人员一般不会给服务器权限#xff0c;不能到服务器上直接看日志#xff0c;所以通过ELK看日志。不让开发登录服务器。即使你查出来是开发的问题#xff0c;费时间#xff0c;而且影响了业务了#xff0c;就是运维的问题 开发也不能登录…要搞成这样就需要钱来买服务器
开发人员一般不会给服务器权限不能到服务器上直接看日志所以通过ELK看日志。不让开发登录服务器。即使你查出来是开发的问题费时间而且影响了业务了就是运维的问题 开发也不能登录到容器因为担心他把配置搞坏了。es cluster 有三到7台(存储搜索日志用)接 logstash, 接缓存 kafka再接 web web不经过缓存直接传到es, 几千个容器的话磁盘IO 和网卡会出现瓶颈还会出现丢日志的情况堵塞写不进去了。另外还有开发忘记关debug更加剧了压力es 比如分三台机器主分片和副分片存储在不同的两台机器上。为了就是一个机器down数据不会丢失规划三年左右的业务量避免后期还要扩。要不很麻烦。es服务器的配置是 物理机的总体内存是96Ges用32G 15k RPM性能最高的机械硬盘适合对高I/O密集型任务的需求如数据库和大型服务器系统。
示例
假设有4块硬盘
硬盘1和硬盘2组成一组采用RAID 1镜像硬盘3和硬盘4组成另一组采用RAID 1镜像然后将这两组硬盘再通过RAID 0进行条带化。
这样RAID 10既能保证任意一块硬盘故障时不会丢失数据因为有镜像备份同时也能提升数据传输的速度因为有条带化。
例如在一个需要频繁进行大数据量读写操作的数据库服务器中RAID 10能够提供高效的读取和写入速度同时保证数据安全。在硬盘损坏的情况下数据可以从镜像中恢复不影响正常的服务运行。
logstash需要在每台机器上都安装它是java环境的。也可以daemonset方式部署 日志都在一块的话你就能快速找出有问题的error。不用一个个去看通过统计日志找到同一个ip大量访问把这个有问题的ip加入黑名单。达到安全的作用还可以通过日志找出耗时多的服务logstash放到容器里不可行。因为它需要java环境而且很大要用filebeat替代收集日志后再接 logstash,处理日志开启nginx账号认证功能在kibana前面为了再添加一层认证。安全就像 kafka的topic .es的叫做索引 弄两块盘做raid 1做系统。另外8块盘做raid10. 时间要同步es logstash kibana版本要一致小版本也不要跨。都是rpm包安装到裸机的修改 es.yml 中的cluster.name凡是这个名称一样的都是一个es集群里的。但是node.name不能一样。还要在这里设置 es的存储地址。不能是系统盘因为没有那么大的空间。
监听ip /port 设置设置成本机ip端口默认9200就行。配置哪些节点在集群里哪些节点可以参与选举成master
recover_after_nodes 这个值要设置成超过节点总数半数意思是等过半的机器起来再提供服务否则比如三台你就起来一台万一其他的没起来呢不就丢数据了
三个节点都要改动因为每个节点都有一个es
需要给Useres 得有你指定那个存储目录的读写权限。三台都得改jvm.options 内存设置成物理内存的一半最大不要超过32g, 因为es可能管不过来32g就可以了 es.service 加上 LimitMEMLOCKinfinity
