1. 云栖社区>
  2. 全部标签>
  3. #RelationalCache#
RelationalCache

#RelationalCache#

已有0人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

EMR Spark Relational Cache 利用数据预组织加速查询

在利用Relational Cache进行查询优化时,我们需要通过预计算,存储大量数据。而在查询时,我们真正需要读取的数据量也许并不大。为了能让查询实现秒级响应,这就涉及到优化从大量数据中快速定位所需数据的场景。

Cache 排序 spark aliyun 索引 EMR Group 存储 big data sparksql RelationalCache ZOrder

EMR Spark Relational Cache的执行计划重写

背景 EMR Spark提供的Relational Cache功能,可以通过对数据模型进行预计算和高效地存储,加速Spark SQL,为客户实现利用Spark SQL对海量数据进行即时查询的目的。Relational Cache的工作原理类似物化视图,在用户提交SQL语句时对语句进行分析,并选出可用的预计算结果来加速查询。

Cache spark e-mapreduce EMR Hive aggregate kylin sparksql adhoc RelationalCache Jindo Cube

1
GO