开发者社区> 问答> 正文

你好,MaxCompute UDAF自定义函数iterate里面是按什么规则分片的按group by的字段吗?UDAF同一个字段值会有两个分片吗,每个分片容量限制是多少?

已解决

你好,MaxCompute UDAF自定义函数iterate里面是按什么规则分片的按group by的字段吗?UDAF同一个字段值会有两个分片吗,每个分片容量限制是多少?

展开
收起
祁同伟 2017-08-24 14:05:46 4799 0
1 条回答
写回答
取消 提交回答
  • TA有点害羞,没有介绍自己...
    采纳回答

    是按照group by分片的,跟聚合函数使用方法类似,比如sum一类。
    以一个group by语句为例,
    数据先根据SQL本身的设置,比如splitsize进行分片,分片后进入map阶段后调用到iterate,然后根据group by进入terminate,中间shuffle阶段可能需要做merge,这样说您不知道是否更加清楚一些

    splitsize请参考
    https://help.aliyun.com/document_detail/27834.html?spm=5176.doc27867.6.584.MQ2zrq

    2019-07-17 21:31:35
    赞同 2 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
大数据AI一体化的解读 立即下载
极氪大数据 Serverless 应用实践 立即下载
大数据&AI实战派 第2期 立即下载