已有1人关注此标签
浅析Hive/Spark SQL读文件时的输入任务划分
作者: 健身不健身
34人浏览
Hive以及Spark SQL等大数据计算引擎为我们操作存储在HDFS上结构化数据提供了易于上手的SQL接口，大大降低了ETL等操作的门槛，也因此在实际生产中有着广泛的应用。SQL是非过程化语言，我们写SQL的时候并不能控制具体的执行过程，它们依赖执行引擎决定。
EMR Spark Relational Cache 利用数据预组织加速查询
作者: 健身不健身
660人浏览
在利用Relational Cache进行查询优化时，我们需要通过预计算，存储大量数据。而在查询时，我们真正需要读取的数据量也许并不大。为了能让查询实现秒级响应，这就涉及到优化从大量数据中快速定位所需数据的场景。
EMR Spark Runtime Filter性能优化
作者: 寒沙牧
4482人浏览
Join是一个非常耗费资源耗费时间的操作，特别是数据量很大的情况下。一般流程上会涉及底层表的扫描/shuffle/Join等过程, 如果我们能够尽可能的在靠近源头上减少参与计算的数据，一方面可以提高查询性能，另一方面也可以减少资源的消耗(网络/IO/CPU等)，在同样的资源的情况下可以支撑更多的查询。
EMR Spark Relational Cache的执行计划重写
作者: 健身不健身
2608人浏览
背景 EMR Spark提供的Relational Cache功能，可以通过对数据模型进行预计算和高效地存储，加速Spark SQL，为客户实现利用Spark SQL对海量数据进行即时查询的目的。Relational Cache的工作原理类似物化视图，在用户提交SQL语句时对语句进行分析，并选出可用的预计算结果来加速查询。
【大数据 】SparkSQL连接查询中的谓词下推处理(二)
作者: 2020Labs
8509人浏览
本篇文章要介绍的是--外连接查询中的谓词下推规则，这相比内连接中的规则要复杂一些，不过使用简单的表格来进行分析也是可以分析清楚的。
Hadoop大数据平台实战(02)：HBase vs. Hive vs. Impala 对比
作者: 徐雷frank
1398人浏览
Hadoop大数据平台实战(02)：HBase vs. Hive vs. Impala 对比。
Spark SQL 性能优化再进一步：CBO 基于代价的优化
作者: 开源大数据EMR
3469人浏览
本文将介绍 CBO，它充分考虑了数据本身的特点（如大小、分布）以及操作算子的特点（中间结果集的分布及大小）及代价，从而更好的选择执行代价最小的物理执行计划，即 SparkPlan。
SparkSQL在有赞的实践
作者: 邹有福
7097人浏览
作者： 邹晨俊 有赞大数据离线计算负责人 本文介绍了SparkSQL在有赞数据仓库的实践，以及离线任务从Hive向SparkSQL迁移的一些经验
[转载] 是时候学习真正的 spark 技术了
作者: 开源大数据EMR
1926人浏览
spark sql 可以说是 spark 中的精华部分了，我感觉整体复杂度是 spark streaming 的 5 倍以上，现在 spark 官方主推 structed streaming， spark streaming 维护的也不积极了， 我们基于 spark 来构建大数据计算任务，重心也要...
SparkSQL Catalyst解析
作者: 寒沙牧
3304人浏览
Catalyst Optimizer是SparkSQL的核心组件(查询优化器)，它负责将SQL语句转换成物理执行计划，Catalyst的优劣决定了SQL执行的性能。
