企业大学网站建设计划,东莞做商城网站建设,网络营销推广渠道,百度搜索风云榜官网有一个Task OOM#xff1a; 通过概览信息#xff0c;发现Stage 10的Task 36失败了4次导致Job失败。概览信息中显示最后一次失败的退出代码#xff08;exit code#xff09;是143#xff0c;意味着发生了内存溢出#xff08;OOM#xff0c;即Out of Memory#xff09;。…有一个Task OOM 通过概览信息发现Stage 10的Task 36失败了4次导致Job失败。概览信息中显示最后一次失败的退出代码exit code是143意味着发生了内存溢出OOM即Out of Memory。 可以点击Stage链接查看为什么导致了Executor OOMOut of Memory。 通过上述图片发现大部分Task都成功了只有一个失败了这高度怀疑是数据倾斜问题。 如果是Driver逻辑失败导致App失败例如输入路径不存在、Driver OOM等应直接查看Driver日志。如果Driver OOM可能需要查看Yarn UI。 通过Task日志进一步确认发现日志中打印的这个Task拉取远程的Shuffle数据远超过上述成功的Task的最大值。明确失败原因为数据倾斜。
Driver fail Driver逻辑导致失败的可能原因包括 路径没有权限读取路径为空SparkContext初始化失败作业代码自己抛出异常等 首先Spark UI上没有显示失败的Job。 转而查看Driver log 可以从Driver日志中看到访问目录没有权限
