AI 助理
备案控制台登录注册
开发者社区 问答 正文

关于MaxCompute ＭＲ 一个 reduce 的输入数据可以来自于多个 map 的输出吗? 一个 MR 处理可以不包含任何 reduce吗? 一个 MR 处理可以不包括任何 map吗?

已解决

关于MaxCompute ＭＲ
一个 reduce 的输入数据可以来自于多个 map 的输出吗?
一个 MR 处理可以不包含任何 reduce吗?
一个 MR 处理可以不包括任何 map吗?

展开
收起
祁同伟 2017-08-24 14:10:11 4911 分享
分享
 版权
举报

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

2 条回答
写回答
取消 提交回答
  • 琴瑟
    TA有点害羞，没有介绍自己...
    采纳回答

    1.多路输入输出可以参考
    https://help.aliyun.com/document_detail/27888.html
    2.可以只做map，参考
    https://help.aliyun.com/document_detail/27887.html
    3.不能不包含map
    MR入门文档您可以看下
    https://help.aliyun.com/document_detail/27875.html

    2019-07-17 21:31:36 举报
    赞同 2 评论

    评论

    全部评论 (0)

    登录后可评论
  • chenxuali
    多年行业经验，专注互联网产品架构及数据分析系统。熟悉虚拟现实、物联网及信息安全，在企业私有云构建方面有较多经验。获得阿里云云计算ACP认证、大数据ACP认证和微软人工智能专业学位认证

    一个MR处理可以不包括reduce，但必须有map，这种情况是map-only。
    Map Worker在输出数据时，需要给每一个输出数据指定一个Key，这个Key决定了这条数据将会被发送给哪个Reduce Worker。
    Key和Reduce Worker是多对一关系，相同Key的数据会被发送给同一个Reduce Worker，单个Reduce Worker也有可能会接收到多个Key的数据。

    2019-07-17 21:31:36 举报
    赞同 评论

    评论

    全部评论 (0)

    登录后可评论
问答分类：
分布式计算 MaxCompute 云原生大数据计算服务 MaxCompute
问答标签：
云原生大数据计算服务 MaxCompute数据 云原生大数据计算服务 MaxCompute mr Map数据 云原生大数据计算服务 MaxCompute reduce Map reduce
问答地址：
开发者社区 > 大数据 > 问答
相关问答
MaxCompute的SQL作业如何增加reduce端的并行度
61
1
0
在大数据计算MaxCompute中，发现数据有点不准确，是因为走的mr任务吗？
37
1
0
在大数据计算MaxCompute中内存是map和reduce或者join阶段的内存吗？
41
0
0
大数据计算MaxCompute的odps上写MR，是支持配置化访问oss的吗？
53
1
0
在大数据计算MaxCompute是如何设置map和reduce个数的？
72
1
0
如果大数据计算MaxCompute中 map失败了10个对结果有影响吗？
47
1
0
大数据计算MaxCompute执行mr任务 如果任务取消，会导致插入一些中间数据吗？
30
1
0
大数据计算MaxCompute跑数据 44分钟跑了 41% 的map ，有没有好的建议啊？
42
0
0
maxcompute 和odps的关系是什么啊，我第一次做这个，有点不懂
1007
1
0
大数据中maxcompute跟emr的区别是什么呢？
799
1
0
AI助理

你好，我是AI助理

可以解答问题、推荐解决方案等