黄页推广软件网站,阿里云个人网站建设,网站开发 维护岗位职责,电商平台商城系统搭建【背景】
新搭建的Hadoop环境没怎么用#xff0c;就一个环境天天空跑#xff0c;结果今天运维告诉我说有一台服务器磁盘超过80%了#xff0c;真是太奇怪了#xff0c;平台上就跑了几个spark测试程序#xff0c;哪来的数据呢#xff1f; 【问题调查】
既然是磁盘写满了就一个环境天天空跑结果今天运维告诉我说有一台服务器磁盘超过80%了真是太奇怪了平台上就跑了几个spark测试程序哪来的数据呢 【问题调查】
既然是磁盘写满了那首先就要找到具体是什么数据写满的磁盘。
用df查看是根目录还不是数据盘
df -h
于是用du命令再挨个检查目录看看具体是什么文件这么大
du -h --maxx-depth1 .
终于发现在Hadoop的日志目录下有一堆hdfs-audit.log日志并且每个都有好几百M删除之后跟目录瞬间从81%减低到了42% 问题是暂时解决了可这样不是长久之计审计日志还在写过几天还得来删除。 【解决办法】
从Ambari页面上查看hdfs的配置搜索关键字“audit” 接着往下拉发现审计日志配置的是INFO级别 于是改为WARN级别保存后重启hdfs相关组件。 过了几天后再检查服务器发现磁盘根目录使用率没有明显增大问题完美解决了~
