橋声. + 关注

## Spark作业性能调优总结

发布时间:2017-07-18 17:34:22 浏览:3124 评论 :0

Spark作业性能调优总结 前段时间在集群上运行Spark作业,但是发现作业运行到某个stage之后就卡住了,之后也不再有日志输出。于是开始着手对作业进行调优,下面是遇到的问题和解决过程: 运行时错误 Out Of Memory: Java heap space / GC overhead limit exceeded 使用yarn logs -applicationId=appliation_xxx_xxx 命令查看Yarn收集的各个Executor的日志。

性能优化 性能 集群 OOM spark 存储