深圳华维网站建设,石家庄现状,贴吧网站怎么做,东莞网站优化关键词费用数据倾斜是#xff1a;多个分区中#xff0c;某个分区的数据比其他分区的数据多的多
数据倾斜导致的问题#xff1a;
导致某个spark任务耗时较长#xff0c;导致整个任务耗时增加#xff0c;甚至出现OOM运行速度慢#xff1a;主要发生在shuffle阶段#xff0c;同样的k… 数据倾斜是多个分区中某个分区的数据比其他分区的数据多的多
数据倾斜导致的问题
导致某个spark任务耗时较长导致整个任务耗时增加甚至出现OOM运行速度慢主要发生在shuffle阶段同样的key的数据太多了导致了某个key所在的task需要处理的数据量太大了远超其他的task的处理时间 一条经验一般出现运行速度异常慢或者OOM的主要原因是数据倾斜
数据倾斜的解决方案
过滤不需要的key有些key是脏数据直接过滤降低数据量调整并行度增大partition的数量这个每个task要处理的数据量就降低了各个key可以均匀的分配到多个partition中。但是如果某个key的数据量就是很多还是会出现数据倾斜将reduce侧的join转化为map侧join如用reduceBykey来替换groupByKey让map侧也发生aggr聚合减少shuffle的数据量随机前缀扩容如果某个key就是很多在此key之前加随机数来打散key,然后聚合如果在加载数据时就发生了数据倾斜可以在加载后进行repartition对于join数据倾斜一般是小表join大表用map join ,避免reduce joinshuffle join 总结一般在shuffle时容易发生数据倾斜因此主要思路是降低shuffle的量
spark的map join 和reduce join的区别
都是将2个数据集进行join连接的操作但是实现方式不同
map join小表join 大表 将小表通过广播的方式广播到所有excutors节点的内存中然后在每个excutor节点上将大数据和小数据进行连接这样可以快速连接从而提高了join的效率优点由于将小数据加载到内存中join的速度很快缺点由于数据会加载到内存中会导致内存溢出的问题。reduce join : 大表join大表 将2个数据集都进行分区然后将相同的key的数据分发到同一个节点上进行连接操作。因为同一个key的数据被分发到同一个节点上所以每个节点只需要处理一部分数据从而减少了每个节点需要处理的数据量提高了join的效率优点通过分布式的方式能够处理大数据集 缺点需要进行shuffle网络传输如果传输速度较慢可能会导致连接操作的效率较低。
