2016中国spark技术峰会见闻摘要

  1. 云栖社区>
  2. 阿里云E-MapReduce(EMR)>
  3. 博客>
  4. 正文

2016中国spark技术峰会见闻摘要

鸿初 2016-05-20 20:41:04 浏览2639
展开阅读全文

5-15号笔者参加了2016中国spark技术峰会,各演讲嘉宾分享了很多spark实践经验,本文整理了笔者印象比较深的内容,ppt详见峰会ppt

《spark and yarn :better together》

Hortonworks技术专家邵赛赛分享了spark如何更好地跑在yarn上,主要以下三点:

  • Better use the resources
  • Better run on cluster
  • Easy to debug

Better use the resources
使用资源讲了计算内存和CPU,内存有几个公式,要注意不要 将spark executor的内存总和分配的太接近容器内容,要给堆外内存留一些空间:

  • container memory = spark executor memory + overhead memory
  • yarn.sc

网友评论

登录后评论
0/500
评论
鸿初
+ 关注
所属云栖号: 阿里云E-MapReduce(EMR)