网站建设人员工资,凡科做网站不好,网站排名优化外包价钱,企业名记录的是一个 3.0 比较难搞的问题#xff0c;相信不少使用过 3.0 的用户都遇到过 Master 服务中存在一些工作流或者任务流一直不停的死循环的问题#xff0c;导致疯狂刷日志。不过本人到现在也没找到最关键的触发原因#xff0c;只是看到一些连锁反应带来的结果…… 影响因素… 记录的是一个 3.0 比较难搞的问题相信不少使用过 3.0 的用户都遇到过 Master 服务中存在一些工作流或者任务流一直不停的死循环的问题导致疯狂刷日志。不过本人到现在也没找到最关键的触发原因只是看到一些连锁反应带来的结果…… 影响因素
CPU飙高每个工作流的运行在 Master 中都是一个线程当这个线程一直没有结束时是会占用CPU资源的当服务中存在大量的线程死循环时可想而知服务器的资源压力有多大。
磁盘打满循环的线程内存在日志打印当大量的线程无时无刻在打印日志时日志文件会迅速堆积磁盘的大小是固定的当磁盘使用率超过一定的阀值时其他的程序也会因为磁盘可用空间不足而受影响。有些人设置了 Logback 等日志框架配置限定了日志文件的总大小但是这样也会引发日志快速覆盖问题无法找到可用的日志。
数据库压力每个循环里面都有相关的数据库查询操作大量的查询会造成数据库压力短期内迅速增大如果数据库性能不能很好的话可能数据库就会先挂了。 异常分类
工作流异常经过排查大概率发现工作流 state 4 状态的实例会刷日志
任务流异常经过排查大概率发现任务流 state 6 状态的实例会刷日志
状态枚举异常工作流、任务流一些异常状态会集中到一个异常状态集合里监听该异常状态集合时导致会刷日志
以上 3 种情况也分别对应代码里 3 个关键实体类ProcessInstanceExecCacheManagerImpl、StreamTaskInstanceExecCacheManagerImpl、StateEventHandlerManager
我们见名知意可知这 3 个实体类分别对应以上 3 种异常分类而且都属于 Java 缓存级别管理类 解决思路
基本的 master 服务处理工作流的一个事件流程工作流的线程类WorkflowExecuteRunnable被放到缓存中缓存的 key 是工作流实例的 ID同时每一个工作流都有对应的事件事件中存储工作流实例的 ID每次执行事件时都会从缓存中获取线程类当线程类执行失败时便重新创建一个事件加入事件队列中执行依次往复除非缓存中的数据被清除了才会结束循环。具体流程如下图 清空异常的工作流或任务流实例数据库否则重启又会重新读取问题流实例数据又开始刷……清空以上相关的 Java 缓存重点看异常分类的 3 个关键类这一步是关键不重启也可解决刷日志问题否则需要重启来替代清空缓存的操作不优雅 具体操作
1、进入 Master-Server 的日志目录
2、通过 grep 筛选日志中存在的问题流实例 ID工作流实例、任务流实例
# 工作流实例
cat dolphinscheduler-master.log |grep ERROR | awk -F WorkflowInstance- {print $2}
| awk -F] {print $1} | sort | uniq# 任务流实例
cat dolphinscheduler-master.log |grep ERROR | awk -F TaskInstance- {print $2}
| awk -F] {print $1} | sort | uniq
Tips这里有一点要注意如果筛选出来有『0』的实例ID这个经排查并没用猜测属于系统默认ID无视即可而且发现规律在日志中如果 A 或 B 等于 0 或都等于 0其实只要关心有正常业务值实例ID一方即可意味着每次业务主要问题是由他工作流实例或任务流实例引起如果都有正常值那么属于任务流实例问题引起 ……[WorkflowInstance-A][TaskInstance-B]…… 3、分别在 Api-Server 和 Master-Server 搭建 Arthas 框架将筛选出来的实例 ID 替换 OGNL 调用函数参数
Arthas 快速入门见文档快速入门 | arthas
4、删除工作流实例、任务流实例数据库数据Api-Server 执行
ognl org.apache.dolphinscheduler.service.bean.SpringApplicationContextapplicationContext.getBean(processServiceImpl).deleteWorkProcessInstanceById(工作流实例ID)
ognl org.apache.dolphinscheduler.service.bean.SpringApplicationContextapplicationContext.getBean(processServiceImpl).deleteAllSubWorkProcessByParentId(工作流实例ID)
ognl org.apache.dolphinscheduler.service.bean.SpringApplicationContextapplicationContext.getBean(processServiceImpl).deleteWorkProcessMapByParentId(工作流实例ID)
ognl org.apache.dolphinscheduler.service.bean.SpringApplicationContextapplicationContext.getBean(processServiceImpl).deleteWorkTaskInstanceByProcessInstanceId(工作流实例ID)
如果不想清空数据库实例我们刚讲过主要也是因为 state 4 引起的问题可以通过改工作流数据库状态也是可以的
UPDATE t_ds_process_instance SET state 5 WHERE state 4 AND id 工作流实例ID;
5、清空 Java 缓存Master-Server 执行
# 工作流实例缓存
ognl org.apache.dolphinscheduler.service.bean.SpringApplicationContextapplicationContext.getBean(processInstanceExecCacheManagerImpl).removeByProcessInstanceId(工作流实例ID)# 任务流实例缓存
ognl org.apache.dolphinscheduler.service.bean.SpringApplicationContextapplicationContext.getBean(streamTaskInstanceExecCacheManagerImpl).removeByTaskInstanceId(任务流实例ID)# 异常枚举缓存
ognl org.apache.dolphinscheduler.server.master.event.StateEventHandlerManagerstateEventHandlerMap.clear()
Tips最后一步因为一刀切可能会误伤正常业务状态所以最好等到只剩这些异常业务的时候再执行也可进一步做一些定位异常业务的工作流实例ID进行精准清空后续更新…… 附加
Arthas - Can not read arthas version from: https://arthas.aliyun.com/api/latest_versionArthas - Unable to open socket file: target process not responding or HotSpot VM not loaded 近期在跟社区的沟通中3.1.9 和 3.2.0 版本都有涉及过该 BUG 的代码修复使得该问题已经得到解决感兴趣可以了解最新版本
