淘宝客如何建设推广网站,东风地区网站建设,上海优化营商环境,上海建设银行网站上班时间新搭建的一个Hadoop环境#xff0c;用Sqoop批量抽数的时候发现特别慢#xff0c;我们正常情况下是一个表一分钟左右#xff0c;批量抽十几个表#xff0c;也就是10分钟的样子#xff0c;结果发现用了2个小时#xff1a; 查看yarn日志 发现有如下情况#xff1a; 主要有两… 新搭建的一个Hadoop环境用Sqoop批量抽数的时候发现特别慢我们正常情况下是一个表一分钟左右批量抽十几个表也就是10分钟的样子结果发现用了2个小时 查看yarn日志 发现有如下情况 主要有两个情况
1.有大量的等待日志Waiting for AsyncDispatcher to drain.Thread state is :WAITING
2.异常中断Interrupted while publishing entity 经网上查询得知这个是因为ATSv2的嵌入式HBASE崩溃需要重置HBASE数据库
步骤如下
1. 停止yarn
在ambari页面上停止yarn
2. 删除zk上的ATSv2 Znode
rmr /atsv2-hbase-unsecure或rmr /atsv2-hbase-secure
3. 删除HDFS上的Hbase嵌入式数据库
hdfs dfs -mv /atsv2/hbase/tmp/
4. 启动yarn
在ambari页面上重新启动yarn 再次重跑任务时间已经明显的降低了。
