【Spark Summit East 2017】用Yarn监控Scala和Python Spark工作的动态资源使用情况

  1. 云栖社区>
  2. 博客>
  3. 正文

【Spark Summit East 2017】用Yarn监控Scala和Python Spark工作的动态资源使用情况

小猫吃鱼569 2017-02-18 20:40:23 浏览2251
展开阅读全文

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data;此外,通过Maxcompute及其配套产品,低廉的大数据分析仅需几步,详情访问https://www.aliyun.com/product/odps


本讲义出自Ed Barnes与Ruslan Vaulin在Spark Summit East 2017上的演讲,我们都害怕“失去的任务”和“容器由于超出内存限制被Yarn关闭”的消息在Spark Yarn的应用程序出现的比例增多。甚至在分布式Yarn环境中,回答“应用程序使用了多少内存?”这个问题都是非常棘手的。为观察Spark的重要统计工作,包括executor-by-executor内存和CPU使用,JDK以及pySpark Yarn容器中的python的部分,Sqrrl已经开发了一个测试框架。


15c0f75faf05a23cc65dd869c44a7808748afad5

72ae48ad020a2af4663c3f969e3c1ede70dbeeb9

c99224b1fb98aaf20be31dafe5bcafa77ebf1342

c69ba5cfcbf826bfbd4a0557946d963ddc79b867

ba898094111ccfab3b55d1e29de04e824484baf1

d3288c608cda601e5034dabecb0d54d9a9573b0e

df32b7d6edc03ea9212844913d43e0c8aad47fd2

bc106c481d752bd9051f4e5279ee2e63d35df39f

e6b84bf0710b3be284540f65d1d6469e00f0566c

62ca30fed7ab6e998d6fc8e7fffebb691e1a347f

8ff5dfb6c279ba260f4dbe4f8063f3900af49f2c

8253a68f53003a25f1acd571b2349b3e0452d8f5

9e704c5a8f8ab514bdc98480d1ed789e03304a40

c91f2b473702f27ed223b38d1e6ac48d5febd3bc

b7904434d00163a24272dd3ff666c213420b29ec

a8e3dd6a7ad1aabb4b80b532202f1440e2961651

b4fdd04c1e568a23ce208e310eb691cee2d20f1e

c7142b9f810a222c3f64d1f9f54194310d781f61

1c7196711eaafee63211b31bfde037ab5832933e

b43ab7e87abe824614e4ed62f3387b7a5488c7c8

656c211ebc927d6609c3f0f6ceaaffd8fa4ad15d

ee22dd5b66a00529dedff2c95fed0f936d0469c6

86e621832502dfee51e30743cf21588ddff5ad13

5752984f6f41509c3bcaca7764b3bf71f9b79976

009671c137c68af6feeaccbc3669b188c4e52f61

网友评论

登录后评论
0/500
评论
小猫吃鱼569
+ 关注