开发者社区> 问答> 正文

我在product这个项目中运行 insert overwrite table tmp_0 partition (pt) select id, to_char(gmt,'yyyymmdd') as pt from tmp_1 ; 即使用动态分区,把gmt格式化作为分区字段,大约产生的分区是1800多个,tmp_1 这个表的记录数量在>5000w。目前这个语句运行了20来分钟了,一直没有运行完成,是有什么问题吗?

我在product这个项目中运行 insert overwrite table tmp_0 partition (pt) select id, to_char(gmt,'yyyymmdd') as pt from tmp_1 ; 即使用动态分区,把gmt格式化作为分区字段,大约产生的分区是1800多个,tmp_1 这个表的记录数量在>5000w。目前这个语句运行了20来分钟了,一直没有运行完成,是有什么问题吗?

展开
收起
琴瑟 2017-05-31 10:34:45 3771 0
1 条回答
写回答
取消 提交回答
  • TA有点害羞,没有介绍自己...

    动态分区涉及的分区比较多,所以数据分发花费较多的时间。

    2019-07-17 21:14:15
    赞同 1 展开评论 打赏
问答标签:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
对 2000 多亿条数据做一次 group by 需要多久? 立即下载
对2000多亿条数据做一次Group By 需要多久 立即下载
Get rid of traditional ETL, Move to Spark! 立即下载