EMR Spark Runtime Filter性能优化

作者: 寒沙牧 5072人浏览

Join是一个非常耗费资源耗费时间的操作，特别是数据量很大的情况下。一般流程上会涉及底层表的扫描/shuffle/Join等过程, 如果我们能够尽可能的在靠近源头上减少参与计算的数据，一方面可以提高查询性能，另一方面也可以减少资源的消耗(网络/IO/CPU等)，在同样的资源的情况下可以支撑更多的查询。

性能 spark e-mapreduce EMR sparksql RuntimeFilter

【大数据 】SparkSQL连接查询中的谓词下推处理(二)

作者: 2020Labs 8701人浏览

本篇文章要介绍的是--外连接查询中的谓词下推规则，这相比内连接中的规则要复杂一些，不过使用简单的表格来进行分析也是可以分析清楚的。

大数据 oschina sparksql 数据查询

Hadoop大数据平台实战(02)：HBase vs. Hive vs. Impala 对比

作者: 徐雷frank 1890人浏览

Hadoop大数据平台实战(02)：HBase vs. Hive vs. Impala 对比。

大数据 java NOSQL hbase hdfs hadoop SQL Hive impala sparksql 对比 分析引擎

Spark SQL 性能优化再进一步：CBO 基于代价的优化

作者: 开源大数据EMR 3848人浏览

本文将介绍 CBO，它充分考虑了数据本身的特点（如大小、分布）以及操作算子的特点（中间结果集的分布及大小）及代价，从而更好的选择执行代价最小的物理执行计划，即 SparkPlan。

大数据 性能优化 SQL spark string analyze statistics CBO sparksql catalyst

SparkSQL在有赞的实践

作者: 邹有福 8201人浏览

作者： 邹晨俊 有赞大数据离线计算负责人 本文介绍了SparkSQL在有赞数据仓库的实践，以及离线任务从Hive向SparkSQL迁移的一些经验

大数据 STS SQL 数据仓库 集群 spark 分布式计算 Hive sparksql

[转载] 是时候学习真正的 spark 技术了

作者: 开源大数据EMR 2266人浏览

spark sql 可以说是 spark 中的精华部分了，我感觉整体复杂度是 spark streaming 的 5 倍以上，现在 spark 官方主推 structed streaming， spark streaming 维护的也不积极了， 我们基于 spark 来构建大数据计算任务，重心也要...

函数 SQL spark 表达式 EMR sparksql

SparkSQL Catalyst解析

作者: 寒沙牧 4031人浏览

Catalyst Optimizer是SparkSQL的核心组件(查询优化器)，它负责将SQL语句转换成物理执行计划，Catalyst的优劣决定了SQL执行的性能。

e-mapreduce 查询优化 Other bigdecimal CBO sparksql catalyst RBO

SparkSQL自适应执行

作者: 寒沙牧 6338人浏览

阿里云EMR-3.13.0版本的SparkSQL支持自适应执行功能，用来解决Reduce个数的动态调整/数据倾斜/执行计划的动态优化问题。

SQL reduce spark e-mapreduce adaptive statistics sparksql

sparksql-cache小表实现mapjoin优化性能

作者: mvpydq 7531人浏览

性能 SQL 源码 reduce spark sparksql