spark中的数据倾斜的现象、原因、后果

(1)、数据倾斜的现象

• 多数task执行速度较快,少数task执行时间非常长，或者等待很长时间后提示你内存不足，执行失败。

(2)、数据倾斜的原因

• 数据问题

  • 1、key本身分布不均衡（包括大量的key为空）

  • 2、key的设置不合理

• spark使用问题

  • 1、shuffle时的并发度不够

  • 2、计算方式有误

(3)、数据倾斜的后果

• 1、spark中的stage的执行时间受限于最后那个执行完成的task,因此运行缓慢的任务会拖垮整个程序的运行速度（分布式程序运行的速度是由最慢的那个task决定的）。

• 2、过多的数据在同一个task中运行，将会把executor撑爆。