MaxCompute MapReduce的7个性能优化策略

  1. 云栖社区>
  2. 阿里巴巴大数据 —玩家社区>
  3. 博客>
  4. 正文

MaxCompute MapReduce的7个性能优化策略

隐林 2016-10-11 14:22:46 浏览3434
展开阅读全文

1. 输入表的列裁剪

对于列数特别多的输入表,Map阶段处理只需要其中的某几列,可以通过在添加输入表时明确指定输入的列,减少输入量;
例如只需要c1,c2俩列,可以这样设置:

InputUtils.addTable(TableInfo.builder().tableName("wc_in").cols(newString[]{"c1","c2"}).build(), job);

设置之后,你在map里的读取到的Record也就只有c1,c2俩列,如果之前是使用列名获取Record数据的,不会有影响,而用下标获取的需要注意这个变化。

2. 减少中间环节

如果有多个MR作业,之间有关联关系,前一个作业的输出是后一个作业的输入,可以考虑采用Pipeline的模式,将多个串行的MR作业合并为一个,这样可以用更少的作业数量完成同样的任务,一方面减少

网友评论

登录后评论
0/500
评论
隐林
+ 关注