已有0人关注此标签
钉钉群直播【E-MapReduce产品探秘，快速构建可扩展的高性能大数据平台】
作者: 阿里云E-MapReduce团队
640人浏览
E-MapReduce整体介绍。通过EMR如何构建一个云上的大数据集群，常见的使用场景和硬件选型指南。
钉钉群直播【Koalas 介绍】
作者: 阿里云E-MapReduce团队
683人浏览
Koalas是Spark社区推出的新项目，旨在为Spark提供与pandas完全兼容的接口，在降低pandas用户的学习和迁移成本的同时，充分利用Spark强大的分布式处理能力。本次分享介绍Koalas的基本用法和原理。
EMR Spark Runtime Filter性能优化
作者: 寒沙牧
3884人浏览
Join是一个非常耗费资源耗费时间的操作，特别是数据量很大的情况下。一般流程上会涉及底层表的扫描/shuffle/Join等过程, 如果我们能够尽可能的在靠近源头上减少参与计算的数据，一方面可以提高查询性能，另一方面也可以减少资源的消耗(网络/IO/CPU等)，在同样的资源的情况下可以支撑更多的查询。
钉钉群直播【MLFlow和spark在机器学习方面的进展、Project Hydrogen和spark在深度学习方面的进展 】
作者: 开源大数据EMR
1028人浏览
直播主题：【MLFlow和spark在机器学习方面的进展、Project Hydrogen和spark在深度学习方面的进展 】 时间：6月19日 19：30-20：30 分享嘉宾：江宇，阿里云EMR技术专家。
钉钉群直播【E-MapReduce产品探秘，快速构建可扩展的高性能大数据平台】
作者: 开源大数据EMR
556人浏览
E-MapReduce整体介绍。通过EMR如何构建一个云上的大数据集群，常见的使用场景和硬件选型指南。
钉钉群直播Spark + AI 北美峰会参会分享
作者: 开源大数据EMR
791人浏览
Spark + AI 北美峰会 2019 盛况依然，这两天正如火如荼。大会的主题是 Build，Unify，Scale，对此如何理解？砖厂这次有哪些重磅消息和重要发布，并作如何解读？Spark 过去几年发展的基调和线索是什么，从这次峰会上又如何看出 Spark 在未来几年的发展端倪？阿里巴巴计算平台.
钉钉群直播【Spark Relational Cache 原理和实践】
作者: 开源大数据EMR
8303人浏览
主要介绍Relational Cache/物化视图的历史和背景，以及EMR Spark基于Relational Cache加速Spark查询的技术方案，及如何通过基于Relational Cache的数据预计算和预组织，使用Spark支持亚秒级响应的交互式分析使用场景。
钉钉群直播【Koalas 介绍】
作者: 开源大数据EMR
602人浏览
将每个关联结果都作为relational cache构建代价太大，并不现实，我们需要找到一种方式可以通过单个Relational Cache支持优化多个关联查询的方式，从而在加速用户查询的同时，减少创建和更新relational cache的代价。
钉钉群直播【MLFlow和spark在机器学习方面的进展、Project Hydrogen和spark在深度学习方面的进展 】
作者: 阿里云E-MapReduce团队
1012人浏览
mlflow为企业提供一套开源的机器学习端到端工具，同时，project hydrogen项目旨在将AI框架与Spark更好的结合。本次直播介绍mlflow的场景和使用方式，project hydrogen的进展以及我们如何通过project hydrogen提供的能力更好的将Spark与AI结合。
钉钉群直播【Spark Relational Cache 原理和实践】
作者: 阿里云E-MapReduce团队
1121人浏览
主要介绍Relational Cache/物化视图的历史和背景，以及EMR Spark基于Relational Cache加速Spark查询的技术方案，及如何通过基于Relational Cache的数据预计算和预组织，使用Spark支持亚秒级响应的交互式分析使用场景。
钉钉群直播Spark + AI 北美峰会参会分享
作者: 阿里云E-MapReduce团队
534人浏览
Spark + AI 北美峰会 2019 盛况依然，这两天正如火如荼。大会的主题是 Build，Unify，Scale，对此如何理解？砖厂这次有哪些重磅消息和重要发布，并作如何解读？Spark 过去几年发展的基调和线索是什么，从这次峰会上又如何看出 Spark 在未来几年的发展端倪？阿里巴巴计算平台.
EMR Spark Relational Cache如何支持雪花模型中的关联匹配
作者: 阿里云E-MapReduce团队
5074人浏览
我们需要找到一种方式可以通过单个Relational Cache支持优化多个关联查询的方式，从而在加速用户查询的同时，减少创建和更新relational cache的代价。Record Preserve Join是支持这种优化的非常有效的方式。
EMR Spark Relational Cache如何支持雪花模型中的关联匹配
作者: 司麟嘟嘟嘟
3656人浏览
在Spark中，Join通常是代价比较大，尤其是shuffle join。Relational Cache将反范式化表（即关联后的大表）保存为relational cache，便可以使用cache重写执行计划，提高查询效率。
EMR Spark Relational Cache的执行计划重写
作者: 开源大数据EMR
8020人浏览
作者：王道远，花名健身， 阿里巴巴计算平台EMR技术专家。 背景 EMR Spark提供的Relational Cache功能，可以通过对数据模型进行预计算和高效地存储，加速Spark SQL，为客户实现利用Spark SQL对海量数据进行即时查询的目的。
EMR Spark Relational Cache的执行计划重写
作者: 健身不健身
2222人浏览
背景 EMR Spark提供的Relational Cache功能，可以通过对数据模型进行预计算和高效地存储，加速Spark SQL，为客户实现利用Spark SQL对海量数据进行即时查询的目的。Relational Cache的工作原理类似物化视图，在用户提交SQL语句时对语句进行分析，并选出可用的预计算结果来加速查询。
Spark内置图像数据源初探
作者: 阿里云E-MapReduce团队
1517人浏览
在Apache Spark 2.4中引入了一个新的内置数据源, 图像数据源.用户可以通过DataFrame API加载指定目录的中图像文件,生成一个DataFrame对象.通过该DataFrame对象,用户可以对图像数据进行简单的处理,然后使用MLlib进行特定的训练和分类计算.
使用EMR Spark Relational Cache跨集群同步数据 | 6月6号云栖夜读
作者: yq传送门
1913人浏览
在本刊开篇文章中，讲述了：Relational Cache是EMR Spark支持的一个重要特性，主要通过对数据进行预组织和预计算加速数据分析，提供了类似传统数据仓库物化视图的功能。除了用于提升数据处理速度，Relational Cache还可以应用于其他很多场景，本文主要介绍如何使用Relational Cache跨集群同步数据表。
使用EMR Spark Relational Cache跨集群同步数据
作者: 阿里云E-MapReduce团队
1232人浏览
Relational Cache是EMR Spark支持的一个重要特性，主要通过对数据进行预组织和预计算加速数据分析，提供了类似传统数据仓库物化视图的功能。除了用于提升数据处理速度，Relational Cache还可以应用于其他很多场景，本文主要介绍如何使用Relational Cache跨集群同步数据表。
使用EMR Spark Relational Cache跨集群同步数据
作者: 开源大数据EMR
1100人浏览
Relational Cache是EMR Spark支持的一个重要特性，主要通过对数据进行预组织和预计算加速数据分析，提供了类似传统数据仓库物化视图的功能。除了用于提升数据处理速度，Relational Cache还可以应用于其他很多场景，本文主要介绍如何使用Relational Cache跨集群同步数据表。
