企业网络搭建毕业设计,南京专业网站优化公司,白领兼职做网站,服务器绑定网站打不开动态线程池#xff1a;
使用线程池ThreadPoolExecutor过程中你是否有以下痛点呢#xff1f;
① 代码中创建了一个ThreadPoolExecutor#xff0c;但是不知道参数设置多少比较合适。
② 凭经验设置参数值#xff0c;上线后发现需要调整#xff0c;改代码重新发布服务
使用线程池ThreadPoolExecutor过程中你是否有以下痛点呢
① 代码中创建了一个ThreadPoolExecutor但是不知道参数设置多少比较合适。
② 凭经验设置参数值上线后发现需要调整改代码重新发布服务非常麻烦。
③ 线程池相对开发人员来说是个黑盒运行情况不能及时感知到直到出现问题。
如果有以上痛点动态可监控线程 池框架DynamicTp或许能帮助到你。如果看过 ThreadPoolExecutor的源码大概可以知道它对核心参数基本都有提供set/get方法以及一些扩展方法 可以在运行时动态修改、获取相应 的值如图所示 dynamic-tp简介
官网
首页 | dynamictp 基于配置中心的轻量级动态线程池内置监控告警功能集成常用中间件线程池管理可通过SPI自定义扩展实现。
为何要引入配置中心
现在大多数的互联网项目都会微服务化部署有一套自己的服务治理体系微服务组件中的分布式配置中心扮演的就是动态修改配置 实时生效的角色。那么我们是否可以结合 配置中心来做运行时线程池参数的动态调整呢
答案是肯定的而且配置中心相对都是高可用的使用它也不用过于担心配置推送失败这 类问题而且也能减少研发动态线程池组件本身的难度和工作量。综上可以总结出以下 的背景
① 广泛性在 Java 开发中想要提高系统性能线程池已经是一个90%以上开发都 会选择使用的基础工具。
② 不确定性项目中可能会创建很多线程池既有IO密集型的也有CPU密集型的 但线程池的参数并不好确定需要有套机制在运行过程中动态去调整参数。
③ 无感知性线程池运行过程中的各项指标一般感知不到需要有套监控报警机制在事前、事中就能让开发人员感知到线程池的运行状况及时处理。
④ 高可用性配置变更需要及时推送到客户端需要有高可用的配置管理推送服务 配置中心是现在大多数互联网系统都会使用的组件与之结合可以极大提高系统可 用性。
功能介绍
功能描述代码零侵入改变了线程池以往的使用方式所有配置均放在配置中心服务启动时会从配置中心 拉取配置生成线程池对象放到Spring容器中使用时直接从 Spring 容器中获取对 业务代码零侵入通知告警提供多种报警维度配置变更通知、活性报警、容量阈值报警、拒绝触发报警、任务 执行或等待超时报警已支持企业微信、钉钉、飞书、邮件报警同时提供 SPI 接口可自定义扩展实现运行监控定时采集线程池指标数据支持通过MicroMeter、JsonLog日志输出、Endpoint三种 方式可通过SPI接口自定义扩展实现任务增强提供任务包装功能实现TaskWrapper接口即可如MdcTaskWrapper、 TtlTaskWrapper、SwTraceTaskWrapper可以支持线程池上下文信息传递多配置中心支持基于主流配置中心实现线程池参数动态调整实时生效已支持Nacos、Apollo、 Zookeeper、Consul、Etcd、Polaris、ServiceComb同时也提供SPI接口可自定义扩 展实现轻量简单基于SpringBoot实现引入starter接入只需简单4步就可完成顺利3分钟搞定中间件线程池管理集成管理常用第三方组件的线程池已集成 Tomcat、Jetty、Undertow、Dubbo、 RocketMq、Hystrix、Grpc、Motan、Okhttp3、Brpc、Tars、SofaRpc、RabbitMq 等组件的线程池管理调参、监控报警多模式提供了增强线程池 DtpExecutorIO密集型场景使用的线程池 EagerDtpExecutor 调度线程池 ScheduledDtpExecutor有序线程池 OrderedDtpExecutor可以根据业 务场景选择合适的线程池兼容性JUC普通线程池和Spring中的ThreadPoolTaskExecutor也可以被框架管理Bean定 义时加 DynamicTp 注解即可可靠性框架提供的线程池实现了Spring生命周期方法可以在Spring容器关闭前尽可能多的 处理队列中的任务高可扩展框架核心功能都提供 SPI 接口供用户自定义个性化实现配置中心、配置文件解析、 通知告警、监控数据采集、任务包装等等线上大规模应用参考《Java线程池实现原理及其在美团业务中的实践》和《动态线程池在转转平台的 实践》美团及转转内部已经有该理论成熟的应用经验
模块划分
模块名称描述配置变更监听 ① 监听特定配置中心的指定配置文件已实现 Nacos、Apollo、Zookeeper、Consul、 Etcd、Polaris、ServiceComb可通过内部提供的SPI接口扩展其他实现 ② 解析配置文件内容内置实现 yml、properties、json 配置文件的解析可通过内 部提供的SPI接口扩展其他实现 ③ 通知线程池管理模块实现参数的刷新 线程池管理 ① 服务启动时从配置中心拉取配置生成线程池实例注册到内部线程池注册中心以及 Spring容器中 ② 接收配置监听模块的刷新事件实现线程池参数的刷新 ③ 代码中通过依赖注入推荐或者 DtpRegistry.getDtpExecutor() 方法根据线程池 名称来获取线程池实例 第三方组件 线程池管理 ① 利用Spring的事件机制和核心逻辑解耦服务启动获取第三方中间件的线程池被 框架管理起来已集成 Tomcat、Jetty、Undertow、Dubbo、RocketMq、Hystrix、 Grpc、Motan、Okhttp3、Brpc、Tars、SofaRpc、RabbitMq 等组件线程池管理 ② 接受参数刷新、指标收集、通知报警事件进行相应的处理 监控 实现监控指标采集以及输出已支持以下三种方式也可通过内部提供的SPI接口扩展其 他实现 ① 以JsonLog输出到磁盘指定目录可以自己采集解析日志存储展示 ② 以Micrometer采集引入 Micrometer 相关依赖暴露相关端点采集指标数据 结合Grafana做监控大盘 ③ 暴露自定义Endpoint端点dynamic-tp可通过http方式实时访问 通知告警 ① 线程池主要参数变更通知 ② 阻塞队列容量达到设置的告警阈值 ③ 线程池活性达到设置的告警阈值 ④ 触发拒绝策略告警格式A/B A该报警项前后两次报警区间累加数量 B该报警项累计总数 ⑤ 任务执行超时告警格式A/B A该报警项前后两次报警区间累加数量 B该报警项累计总数 ⑥ 任务等待超时告警格式A/B A该报警项前后两次报警区间累加数量 B该报警项累计总
代码结构
package描述adapter主要是适配第三方组件的线程池管理目前已经实现的有SpringBoot内置的三大web容器 Tomcat、Jetty、Undertow、Dubbo、RocketMq、Hystrix、Grpc、Motan、Okhttp3、 Brpc、Tars、SofaRpc、RabbitMq的线程池管理后续会接入其他常用组件的线程池管理common主要是一些各个模板都会用到的类解耦依赖复用代码大家日常开发中可能也经常会 这样组织代码core该框架的核心代码都在这个模块里包括动态调整参数监控报警以及串联整个项目流 程都在此处example提供一个简单使用示例方便使用者参照extension放一些扩展功能实现比如基于redis的流控扩展、邮件发送扩展、skywalking上下文传递 扩展等logging用于配置框架内部日志的输出目前主要用于输出线程池监控指标数据到指定文件starter提供独立功能模块的依赖封装、自动配置等相关test主要是一些单元测试
DynamicTP技术架构图 动态线程池在大厂中的应用
Java线程池实现原理及其在美团业务中的实践
Java线程池实现原理及其在美团业务中的实践 - 美团技术团队
动态线程池在转转平台的实践
动态线程池在转转平台的实践
环境搭建
启动nacos服务
进入到nacos\bin目录下startup.cmd -m standalone 访问nacoshttp://localhost:8848/nacos/
初始账号密码均为nacos
启动redis 安装Node-Exporter
前提安装了DockerDocker安装参考
