鲁谷做网站的公司,用什么编辑wordpress,精品课程网站开发平台,凡客诚品售后服务监控是一个系统必不可少的组成部分#xff0c;实时#xff0c;准确的监控#xff0c;将会大大有助于我们排查问题。而当今微服务系统的话有一个监控组合很火那就是 Prometheus Grafana#xff0c;嘿你别说 这俩兄弟配合的相当完美#xff0c;Prometheus负责数据采集… 监控是一个系统必不可少的组成部分实时准确的监控将会大大有助于我们排查问题。而当今微服务系统的话有一个监控组合很火那就是 Prometheus Grafana嘿你别说 这俩兄弟配合的相当完美Prometheus负责数据采集Grafana负责可视化展示,各就其位各司其职一起来完成 监控 这个活儿。 紧接着我们简单对这两工具做个介绍~ 1、Prometheus 与 Grafana 简介 Prometheus 作用 数据收集 Prometheus 是一个开源的系统监控和报警工具主要用于收集、存储和查询时间序列数据。它通过 HTTP 抓取(scrape)方式从被监控的目标获取数据。数据存储Prometheus 使用时间序列数据库来存储所有收集到的指标数据。时间序列数据包括指标名称和标签标签用于唯一标识时间序列。数据查询Prometheus 提供了一种强大的查询语言 PromQL可以用来查询和分析收集到的数据(虽然语法强大 但是还是不如可视化 。哈哈所以要和grafana配合起来)。告警 Prometheus 内置告警管理器(Alertmanager)可以根据预定义的规则触发告警并将告警发送到各种通知渠道(如邮件、Slack、PagerDuty 等)。 特点 开源免费Prometheus 是开源的拥有活跃的社区和丰富的文档。自带存储Prometheus 自带时间序列数据库(TSDB)无需外部依赖。多种数据源支持从多种数据源采集指标数据如 Kubernetes、MySQL、Linux 系统等。可扩展性强可以通过自定义导出器(exporter)扩展数据采集能力。 Grafana 作用 数据可视化Grafana 是一个开源的平台用于数据可视化和分析。它能够连接到多种数据源并将数据以各种形式(图表、表格、仪表盘等)展示出来。仪表盘Grafana 提供丰富的仪表盘功能可以用来创建和共享实时的动态仪表盘。用户可以通过拖拽组件轻松构建仪表盘。多数据源支持Grafana 支持多种数据源包括 Prometheus、Graphite、InfluxDB、Elasticsearch、MySQL、PostgreSQL 等。告警Grafana 也支持告警功能用户可以在图表上设置告警规则并通过通知渠道(如邮件、Slack、PagerDuty 等)接收告警。 特点 开源免费Grafana 也是开源的拥有广泛的用户群体和丰富的插件。多数据源支持Grafana 能够同时从多个数据源获取数据并在同一个仪表盘中展示。灵活的可视化提供丰富的图表类型和可定制的可视化选项能够满足各种数据展示需求。仪表盘共享可以轻松分享仪表盘并支持权限控制和团队协作。 Prometheus 与 Grafana 之间是如何协作的 数据采集与存储Prometheus 负责从各个监控目标收集指标数据并存储在其时间序列数据库中。数据查询与分析Prometheus 提供了强大的查询语言 PromQL可以用来查询和分析数据。数据可视化Grafana 连接到 Prometheus 作为数据源使用 PromQL 查询数据并将结果以图表的形式展示在仪表盘上。告警Prometheus 可以管理和触发告警而 Grafana 可以基于可视化图表设置告警规则。 示例场景 监控应用性能使用 Prometheus 采集应用程序的性能指标(如 CPU 使用率、内存使用率、请求延迟等)并在 Grafana 中创建仪表盘实时展示这些指标。告警管理在 Prometheus 中定义告警规则如 CPU 使用率超过阈值时触发告警并通过 Alertmanager 发送通知。也可以在 Grafana 中基于图表设置告警规则。系统健康检查使用 Prometheus 监控系统的健康状况收集系统级指标(如磁盘使用率、网络流量等)并在 Grafana 中创建健康检查仪表盘。 通过结合使用 Prometheus 和 Grafana你可以实现强大且灵活的监控和可视化方案帮助你更好地了解和管理应用程序和基础设施的性能和健康状况。 好了bb这么多 ~ 下面我就开始对我的IM即时通讯系统做改造让其也能被可视化做到实时监控各项指标一目了然。 2、使用grafana promethues 监控IM服务和中间件 因为我目前是使用docker-compose方式编排管理容器所以也使用docker-compose安装promethues和grafana grafana promethues 使用示例 首先在docker-compose增加内容 首先在我的docker-compose中定义 镜像挂载容器名称端口网络依赖哪些容器启动 等配置如下 java prometheus: image: prom/prometheus containername: prometheus volumes: # 数据挂载 防止容器重启/停止后 数据消失 - /usr/local/softhzz/docker/prometheus/conf/prometheus.yml:/etc/prometheus/prometheus.yml - /usr/local/softhzz/docker/prometheus/data/prometheusdata:/prometheus # 挂载数据到宿主机目录 ports: - 9090:9090 networks: - defaultnetwork dependson: - im-connect - im-console - im-business - im-gateway - im-auth - nodeexporter - cadvisor grafana: image: grafana/grafana containername: grafana ports: - 3000:3000 environment: - GFSECURITYADMIN_PASSWORDgrafana123 # grafana 密码 # 挂载数据到宿主机目录 volumes: /usr/local/softhzz/docker/grafana/grafanadata:/var/lib/grafana 必须指定 网络否则无法通过服务名 如im-business 找到对应的ip networks: defaultnetwork dependson:im-connectim-consoleim-businessim-gatewayim-authprometheus 之后需要有一个prometheus.yml文件用于定义prometheus抓取指标的策略如下 (注意上边这个prometheus.yml文件的路径一定要和docker-compose中的这个保持一致哦 这里我们不做运行了因为这样运行的话没有意义还需要给其配上一堆目标和一堆规则下边我们就开搞。 监控IM服务和中间件 说明 在配置和开干之前我先根据我踩得坑说明几个情况 首先并不是所有的中间件或者服务都能直接让prometheus采集数据因为有些压根就没暴露面对这种情况想要采集要不就是人家写好的 各种 exporter 要不就得自己根据 prometheus client采集 采集的话你也得收集指标并提供指标接口才行我在采集的时候遇到了下边这几种情况。 情况1 硬件指标 硬件指标没啥说的人家已经贴心给你搞好了就是使用 node-exporter这个 exporter去采集就行了如下 情况2 SpringBoot搭建的http服务的指标这种服务的指标很好采集因为SpringBoot框架也已经贴心的给你搞好了就是(SpringBoot Actuator 这个东东)你只需要引入下Maven配置下暴露的端点(url)就可以让prometheus 痛快的采集。配置一下 情况3 中间件指标(我采集了Redis MySQL RocketMQ ) (注意目前只采集三个比较重要的中间件因为采集越多越耗费资源其他中间件暂时不做监控我看了下基本这些中间件都得采用 exporter方式去搞) 很多中间件比如这三个都是没有直接暴露监控指标的也就是说prometheus无法直接向mysql或者redis或者rocketmq抓取指标数据目前大多的方式都是搞了一个 exporter这么个中间人(其实也是个进程) 让他去使用promethues客户端(client)来抓取指定的中间件的指标数据然后再归并汇总为prometheus的格式最终给到prometheus。这三个中间件使用的 exporter 介绍 redis使用 redis-exporter 进行采集 镜像oliver006/redis_exporter:latestmysql使用 mysqld-exporter进行采集 镜像prom/mysqld-exporter:latestrocketMQ使用 rocketmq-exporter进行采集 注意这个没有官方镜像最好是下载代码自己打镜像这样靠谱些 仓库在这: rocketmq-exporter但是按部就班按官方的步骤来我还是遇到点问题所以写了个脚本解决这个问题具体见下边脚本内容 情况4 非http服务无法暴露http接口给 prometheus在我的im项目中 im-connetc是一个比较特殊的服务他使用Springboot框架搭建 但是服务器是netty 也就是说他不是一个http服务而是一个长连接服务他不提供http接口供prometheus采集(虽能在maven集成SpringBoot Actuator 但是你这不是http服务 Actuator的接口根本无法对外暴露出去)面对此情况我一开始是准备搞个 jmx 但是这种方式比较麻烦而且采集的指标也有限后来改用prometheus client我发现我去 好像很爽 想采集什么你自己定 默认的gc 线程 内存 cpu(内存和cpu这些硬件指标需要结合dropwizard去采集) 都有 你也可以定义业务上的指标供 prometheus采集以及后续展示。 情况5 踩坑经历一开始 我想用 jmx_prometheus去采集我的im-connect服务的指标他有两种方式一个是使用javaagent给目标程序插桩一个是单独搞个jmx_prometheus进程去采集im-connect 但是折腾半天发现不是采集不上就是连不上(但是可以通过访问5556端口(jmxprometheus的端口)拿到指标但是很迷我就算压测im-connect指标也不见多少变化我严重怀疑我采集的不是im-connect而是jmxprometheus进程本身stackoverflow看到个人好像和我有类似的疑虑)后来干脆放弃了jmx_prometheus方式反正条条大路通罗马我换成 prometheus client方式采集长连接服务效果也不错还更灵活挺香的~~~ (ps: 但是 prometheus client得自己写点代码其实这点代码也可以将其封装为一个javaagent方式不过时间原因先不搞agent了 先把最近的目标完成后边有时间再说正好我也可以再和javaagent叙叙旧) 下边是代码片段完整的在我的开源项目xzll-im中 开干 在有了上边的铺垫之后接下来我们就开干 docker-compose.yaml文件编写 ps注意有很多我在文件中注释了这里就不详细解释了直接上 docker-compose.yaml 文件 yaml version: 3.9 services: im-gateway: build: context: ./im-gateway dockerfile: Dockerfile image: im-gateway:latest hostname: im-gateway
container_name: im-gateway
restart: always
ports:- 8081:8081
networks:- default_network
volumes:- /tmp/data/logs:/logs
depends_on:- nacos- zookeeper- redis- rmq_broker- rmq_namesrv im-auth: build: context: ./im-auth dockerfile: Dockerfile image: im-auth:latest hostname: im-auth
container_name: im-auth
restart: always
ports:- 8082:8082
networks:- default_network
volumes:- /tmp/data/logs:/logs
depends_on:- nacos- zookeeper- redis- rmq_broker- rmq_namesrv im-business: # 可以根据Dockerfile构建镜像(但是Docker Compose 会在检测到上下文变化时重新构建镜像。也就是说如果你不修改Dockerfile docker-compose应该不是每次都构建镜像 实测确实如此) build: context: ./im-business # 指定Dockerfile文件位置 dockerfile: Dockerfile # 指定名称 image: im-business:latest # 指定生成镜像的 名称 # 也可以直接指定镜像名 但是要确保镜像存在 (如果在docker仓库, 则不需要再本地存在镜像 会自动pull)
# image: im-business:0.0.2# 设置容器的主机名 即修改 /etc/hosts 中的内容,注意 如果是在docker中 容器间相互访问的时使用的是 容器的hostname 那么必须配hostname
hostname: im-business
# 容器名称
container_name: im-business
# 重启策略 always 表示无论哪种状态退出都会重启容器
restart: always
ports:# 设置主机与容器的端口映射- 8083:8083
networks:# 使用默认网络即docker0 桥接- default_network
volumes:# 将主机的 /tmp/data/logs 目录挂载到容器的 /logs 目录。这样可以实现数据的持久化当容器重启时数据不会丢失注意 挂载文件需要给宿主机文件 添加最权限chmod -R 777 目标文件夹- /tmp/data/logs:/logs
depends_on:- nacos- zookeeper- redis- rmq_broker- rmq_namesrv im-connect: build: context: ./im-connect dockerfile: Dockerfile image: im-connect:latest hostname: im-connect containername: im-connect restart: always ports: - 10000:10000 # prometheus指标采集端口 http (注不采用jmx方式采集) - 10001:10001 # netty端口 networks: - defaultnetwork volumes: - /tmp/data/logs:/logs dependson: - nacos - zookeeper - redis - rmqbroker - rmq_namesrv im-console: build: context: ./im-console dockerfile: Dockerfile image: im-console:latest hostname: im-console containername: im-console restart: always ports: - 8084:8084 networks: - defaultnetwork volumes: - /tmp/data/logs:/logs dependson: - nacos - zookeeper - redis - rmqbroker - rmq_namesrv # ######################################### 以下是此im项目 依赖的中间件 ######################################### # rocketMq nameServer rmqnamesrv: image: apache/rocketmq:4.8.0 containername: rmqnamesrv hostname: rmqnamesrv restart: always networks: - default_network ports: - 9876:9876 - 1099:1099 # jmxremote暴露的端口 volumes:- /usr/local/soft_hzz/docker/rocketmq_namesrv/store:/root/store- /usr/local/soft_hzz/docker/rocketmq_namesrv/logs:/root/logs
environment:# 配置jmxremote 以便jmx监控- JAVA_OPTS-Djava.rmi.server.hostnamermq_namesrv -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port1099 -Dcom.sun.management.jmxremote.authenticatefalse -Dcom.sun.management.jmxremote.sslfalse
command: sh mqnamesrv # rocketMq broker rmqbroker: image: apache/rocketmq:4.8.0 containername: rmqbroker restart: always hostname: rmqbroker networks: - default_network ports: - 10911:10911 # 外部通信端口。客户端(生产者和消费者)与 Broker 进行通信时使用此端口 - 10909:10909 # 内部通信端口。用于 Broker 间的同步、复制和其他内部通信 - 11099:11099 # jmxremote暴露的端口 volumes:- /usr/local/soft_hzz/docker/rocketmq_broker/store:/root/store- /usr/local/soft_hzz/docker/rocketmq_broker/logs:/root/logs- /usr/local/soft_hzz/docker/rocketmq_broker/conf/broker.conf:/opt/rocketmq-4.8.0/conf/broker.conf
environment:# 降低内存大小 防止启动失败 并配置 jmxremote 以便jmx监控- JAVA_OPT_EXT-server -Xms512m -Xmx1g -Xmn256m#- JAVA_OPT_EXT-server -Xms512m -Xmx1g -Xmn256m -Djava.rmi.server.hostnamermq_broker -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port11099 -Dcom.sun.management.jmxremote.authenticatefalse -Dcom.sun.management.jmxremote.sslfalse
command: sh mqbroker -c /opt/rocketmq-4.8.0/conf/broker.conf rocketmqexporter: image: rocketmq-exporter:latest containername: rocketmq-exporter restart: always hostname: rocketmq-exporter networks: - defaultnetwork ports: - 5557:5557 environment: - JAVAOPTS-Drocketmq.namesrv.addrrmqnamesrv:9876 -Drocketmq.broker.addrrmqbroker:10911 dependson: - rmqnamesrv - rmq_broker rocketmq-console: image: styletang/rocketmq-console-ng containername: rocketmq-console restart: always ports: - 8080:8080 environment: JAVAOPTS: -Drocketmq.namesrv.addr${LOCALIP}:9876 -Dcom.rocketmq.sendMessageWithVIPChannelfalse dependson: - rmqnamesrv - rmqbroker # nacos nacos: image: nacos/nacos-server:2.0.3 containername: nacos restart: always ports: - 8848:8848 volumes: - /usr/local/softhzz/docker/nacos/data:/home/nacos/data - /usr/local/softhzz/docker/nacos/logs:/home/nacos/logs environment: MODE: standalone #redis redis: image: redis containername: redis restart: always networks: - defaultnetwork ports: - 6379:6379 volumes: - /usr/local/softhzz/docker/redis/data:/data - /usr/local/softhzz/docker/redis/conf/redis.conf:/usr/local/etc/redis/redis.conf command: redis-server /usr/local/etc/redis/redis.conf # zk zookeeper: image: zookeeper containername: zookeeper restart: always ports: - 2181:2181 volumes: - /usr/local/softhzz/docker/zk/data:/data - /usr/local/softhzz/docker/zk/datalog:/datalog - /usr/local/soft_hzz/docker/zk/conf/zoo.cfg:/conf/zoo.cfg prometheus: image: prom/prometheus containername: prometheus volumes: # 数据挂载 防止容器重启/停止后 数据消失 - /usr/local/softhzz/docker/prometheus/conf/prometheus.yml:/etc/prometheus/prometheus.yml # prometheus配置文件配置抓取的规则和抓取目标 - /usr/local/softhzz/docker/prometheus/data/prometheusdata:/prometheus # 挂载数据到宿主机目录 ports:- 9090:9090
networks:- default_network
depends_on:- im-connect- im-console- im-business- im-gateway- im-auth- node_exporter- cadvisor grafana: image: grafana/grafana containername: grafana ports: - 3000:3000 environment: - GFSECURITYADMINPASSWORDgrafana123 # grafana 密码 # 挂载数据到宿主机目录 volumes: - /usr/local/softhzz/docker/grafana/grafanadata:/var/lib/grafana # 必须指定 网络否则无法通过服务名 如im-business 找到对应的ip
networks:- default_network
depends_on:- im-connect- im-console- im-business- im-gateway- im-auth- prometheus # 用于监控linux系统的信息 nodeexporter: image: prom/node-exporter containername: node-exporter ports: - 9100:9100 networks: - defaultnetwork # 用于监控docker容器的信息 cadvisor: image: google/cadvisor:latest containername: cadvisor ports: - 9101:8080 # 8080已经被rocketMQ控制台占用 所以这里选择映射到主机的 9101端口 privileged: true volumes: #- /usr/local/soft_hzz/docker/cadvisor/run/docker.sock:/var/run/docker.sock#- /usr/local/soft_hzz/docker/cadvisor/sys:/sys# - /usr/local/soft_hzz/docker/cadvisor/lib/docker/:/var/lib/docker/
networks:- default_network # 监控虚拟机上的mysql mysqld-exporter: image: prom/mysqld-exporter:latest containername: mysqld-exporter hostname: mysqld-exporter networks: - defaultnetwork environment: DATASOURCENAME: root:xzllaigH95..tcp(${LOCAL_IP}:3306)/ ports: - 9104:9104 # 监控redis redis-exporter: image: oliver006/redisexporter:latest containername: redis-exporter hostname: redis-exporter networks: - defaultnetwork environment: REDISADDR: redis:6379 REDISPASSWORD: 123456 # redis密码 ports: - 9121:9121 dependson: - redis networks: default_network: # 桥接 driver: bridge prometheus.yml 抓取规则配置文件 yaml prometheus 的配置文件定义部分抓取规则以及 监控的目标实例 全局配置 global: scrape_interval: 15s # 抓取间隔每 15 秒抓取一次所有配置的监控目标。 抓取规则定义 Prometheus 要抓取的监控目标以及抓取这些目标的相关配置 scrape_configs: # # ----------------------------------------监控自己的几个服务---------------------------------------- job_name: im-gateway static_configs静态配置定义了要抓取的目标地址和端口 static_configs: targets: [ im-gateway:8081 ] 需要指定 否则的话 prometheus 默认找的路径是ip:端口/metrics 而springboot2.7中是没有 /metrics 这个端点路径的 metrics_path: /actuator/prometheusjobname: im-auth staticconfigs: targets: [ im-auth:8082 ] metrics_path: /actuator/prometheusjobname: im-business staticconfigs: targets: [ im-business:8083 ] metrics_path: /actuator/prometheusjobname: im-console staticconfigs: targets: [ im-console:8084 ] metrics_path: /actuator/prometheus 使用 prometheus 客户端采集netty服务的指标数据给 prometheusjobname: im-connect staticconfigs: md5-ddfe6145998a5d931151c8979b884716 ----------------------------------------对硬件和中间件的监控---------------------------------------- 监控linux硬件系统和资源 grafana模板id: 1860 模板名称 Node Exporter Fulljobname: nodeexporter static_configs: md5-35e0d4e81ba773d33aaf78fc38a4e6fd 用于监控docker容器 grafana模板id: 893名称 Docker and system monitoringjobname: cadvisor staticconfigs: md5-c713c6a83c68ba60e4a4c184180fae31 监控 RocketMQ NameServer 和 RocketMQ Broker (此程序会有定时任务定时扫描rm指标 并归并上报给 prometheus暂无docker镜像 需要手动下载并构建 详见) 此监控也有grafana模板id : 10477 模板名称Rocketmq_dashboardjobname: rocketmqexporter static_configs: md5-19b8ea741e1b3c34f63a3002e1835bbb 监控虚拟机上的mysql(目前除了mysql 其余都是在docker部署) grfnada 模板id使用: 7362 模板名称 MySQL Overviewjobname: mysqld-exporter staticconfigs: md5-807a23fb2de6d630db41ce82370be11d 监控的reds grafana 模板id使用: 763模板名称 Redis Dashboard for Prometheus Redis Exporter 1.xjobname: redis-exporter staticconfigs: md5-7ec1240a81fcbc786e1d92d4b84d31df 本地上传到虚拟机并使用docker-compose部署 我这里写个脚本运行完后不用在虚拟机上执行命令了连上传带启动都有了如下  执行完了  观察指标数据 选几个看下是否正常暴露指标 注意在部署成功后是可以请求如下会返回一堆promethues格式的指标数据 bash 查看硬件指标指标 curl 192.168.1.103:9100/metrics 查看mysql指标 curl 192.168.1.103:9104/metrics 查看redis指标 curl 192.168.1.103:9121/metrics 查看rocketmq指标 curl 192.168.1.103:5557/metrics 查看im-connect指标 curl 192.168.1.103:10000/metrics 查看im-gateway指标 curl 192.168.1.103:8081/actuator/metrics 查看其余web服务指标 ... 返回数据像这样 看下prometheus是否正常采集 在gaafana展示 注意在grafana展示的话 需要先选取数据源告诉grafana去哪里取数据 添加 设置数据源地址 导入已有模板 对于大多数常用的指标都有对应的开源模板人家已经编写好了(见grafana官网) 我使用的几个模板大概就这些 - 模板id: 1860 模板名称 Node Exporter Full 用于展示硬件指标数据 - 模板id: 10477 模板名称Rocketmq_dashboard 展示rocketmq指标数据 - 模板id: 7362 模板名称 MySQL Overview 展示mysql指标数据 - 模板id: 763模板名称 Redis Dashboard for Prometheus Redis Exporter 1.x 展示redis指标数据 - 模板id: 10280模板名称Spring Boot 2.1 Statistics 展示Springboot web服务的数据 - 模板id: 4701模板名称JVM (Micrometer) 展示JVM的数据 这里我们以jvm为例演示下直接点击加号导入 比如输入4701点击load选择数据源并起名后点击import导入JVM (Micrometer) 监控面板 查看 自己定义数据看板 我的im-connect我发现指标不太一样以现有模板展示的不尽人意所以我决定自己编写个模板 当然自己搞你得知道每个指标的含义否则还怎么玩。 创建一个面板 根据内存指标设置内存使用情况的视图 根据线程状态指标设置线程状态视图 根据内存指标 设置内存视图 当然你也可以使用模糊匹配设置变量然后再需要的地方引用 根据xx指标 设置xx视图等等最后看下我自定义的im-connect的效果 最后切记当你自定义好自己的视图后一定要保存并且grafana的数据要挂载到宿主机如果没挂载也没保存的话那数据就丢失了。挂载是必须的保存也是必须的。当然如果你不还是担心辛辛苦苦配的模板丢失(其实配模板挺辛苦的尤其是配好看的齐全的模板 我花了很久时间研究这玩意你说说 哎 )那么你可以在最终编辑完后从这里copy一份json数据下次如果找不到这个视图了在导入模板id那个界面从新导入一份json数据就行啦 看下最终效果 我目前搞了这些 暂时应该够用了 Springboot应用监控效果 jvm效果 自定义模板监控 im-connect效果 花了那么久也没人家开源的那些好看 MySQL效果 Redis效果 RocketMQ效果 有一说一 其实RocketMQ这个视图面板颜值也就那样。不过好在重要指标也都有了。 硬件效果 这颜值杠杠的 花里胡哨的我喜欢 哈哈 好了本文到此结束现在凌晨1.26赶紧睡觉呀。其实还差个告警不过后期再加吧~~~
