1. 云栖社区>
  2. 全部标签>
  3. #RuntimeFilter#
RuntimeFilter

#RuntimeFilter#

已有0人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

EMR Spark Runtime Filter性能优化

Join是一个非常耗费资源耗费时间的操作,特别是数据量很大的情况下。一般流程上会涉及底层表的扫描/shuffle/Join等过程, 如果我们能够尽可能的在靠近源头上减少参与计算的数据,一方面可以提高查询性能,另一方面也可以减少资源的消耗(网络/IO/CPU等),在同样的资源的情况下可以支撑更多的查询。

性能 spark e-mapreduce EMR sparksql RuntimeFilter

1
GO