健身不健身 + 关注

健身不健身 参与了问答:

小文件能通过参数设置,比如1000个文件,小余100m的文件,占总的比例90%, 然后自动优化

小文件能通过参数设置,比如1000个文件,小余100m的文件,占总的比例90%, 然后自动优化

“是的,这也是一种方法”

健身不健身 参与了问答:

Smart Shuffle , map task 还没执行完, reduce task就启动了??

Smart Shuffle , map task 还没执行完, reduce task就启动了??

“不会的,只是map任务自己把作业写到远端,远端接收而已”

健身不健身 参与了问答:

smartshuffle 贡献出来了吗,在哪可以体验一把

smartshuffle 贡献出来了吗,在哪可以体验一把

“这个代码已经在最新版的emr里面了,具体的代码公开还要一段时间”

健身不健身 参与了问答:

一般是使用spark的standalone集群还是spark on yarn的方式呢,哪种比较好

一般是使用spark的standalone集群还是spark on yarn的方式呢,哪种比较好

“是和别的应用共享的建议用yarn”
暂未提供

感兴趣or擅长的领域:

暂无
更多>
社区小助手
社区小助手
文章:12丨 粉丝:1363丨 话题:0
云无谓
云无谓
文章:11丨 粉丝:1274丨 话题:0
鱼跟猫
鱼跟猫
文章:16丨 粉丝:1286丨 话题:0
江宇-燕回
江宇-燕回
文章:1丨 粉丝:1120丨 话题:0
开源大数据EMR
开源大数据EMR
文章:278丨 粉丝:3064丨 话题:0
xy_xind
xy_xind
文章:4丨 粉丝:1272丨 话题:0
更多>
游客2vm5omnvezwus
游客2vm5omnvezwus
文章:0丨 粉丝:0丨 话题:0
游客5wui32rz7mnpy
游客5wui32rz7mnpy
文章:0丨 粉丝:0丨 话题:0
游客lbyejf45lwdau
游客lbyejf45lwdau
文章:0丨 粉丝:0丨 话题:0
游客mcfecy5u4s6wa
游客mcfecy5u4s6wa
文章:0丨 粉丝:0丨 话题:0
游客lahbkj2c666lm
游客lahbkj2c666lm
文章:0丨 粉丝:0丨 话题:0
游客avo4qzh7op5tc
游客avo4qzh7op5tc
文章:0丨 粉丝:0丨 话题:0