1. 云栖社区>
  2. 全部标签>
  3. #EMR#
EMR

#EMR#

已有0人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

E-MapReduce产品探秘,扩展开源生态云上的能力

E-MapReduce的产品能力介绍,通过EMR来构建高效的云上大数据平台,优化云上的使用成本,更快的计算效率。

云栖社区 编程语言 系统研发与运维 大数据 aliyun e-mapreduce EMR

7月10日直播【E-MapReduce产品探秘,扩展开源生态云上的能力】

E-MapReduce的产品能力介绍,通过EMR来构建高效的云上大数据平台,优化云上的使用成本,更快的计算效率。

安全与风控 数据存储与数据库 系统研发与运维 大数据 aliyun e-mapreduce EMR

EMR Spark Runtime Filter性能优化 | 7月5号云栖夜读

今天的首篇文章,讲述了:Join是一个非常耗费资源耗费时间的操作,特别是数据量很大的情况下。一般流程上会涉及底层表的扫描/shuffle/Join等过程, 如果我们能够尽可能的在靠近源头上减少参与计算的数据,一方面可以提高查询性能,另一方面也可以减少资源的消耗(网络/IO/CPU等),在同样的资源的情况下可以支撑更多的查询。

分布式 大数据 架构 性能优化 NOSQL 数据库 runtime spark aliyun EMR 容灾 权限管理 MaxCompute

EMR Spark Runtime Filter性能优化

Join是一个非常耗费资源耗费时间的操作,特别是数据量很大的情况下。一般流程上会涉及底层表的扫描/shuffle/Join等过程, 如果我们能够尽可能的在靠近源头上减少参与计算的数据,一方面可以提高查询性能,另一方面也可以减少资源的消耗(网络/IO/CPU等),在同样的资源的情况下可以支撑更多的查询。

安全与风控 编程语言 系统研发与运维 大数据 性能优化 性能 runtime spark EMR 存储 安全问道

钉钉群直播【E-MapReduce产品探秘,快速构建可扩展的高性能大数据平台】

E-MapReduce整体介绍。通过EMR如何构建一个云上的大数据集群,常见的使用场景和硬件选型指南。

nginx 系统软件 数据存储与数据库 大数据 集群 Image 钉钉 e-mapreduce EMR 高性能 安全问道

钉钉群直播【Koalas 介绍】

Koalas是Spark社区推出的新项目,旨在为Spark提供与pandas完全兼容的接口,在降低pandas用户的学习和迁移成本的同时,充分利用Spark强大的分布式处理能力。本次分享介绍Koalas的基本用法和原理。

云栖社区 数据存储与数据库 系统研发与运维 分布式 大数据 Apache 钉钉 spark pandas EMR

EMR Spark Runtime Filter性能优化

Join是一个非常耗费资源耗费时间的操作,特别是数据量很大的情况下。一般流程上会涉及底层表的扫描/shuffle/Join等过程, 如果我们能够尽可能的在靠近源头上减少参与计算的数据,一方面可以提高查询性能,另一方面也可以减少资源的消耗(网络/IO/CPU等),在同样的资源的情况下可以支撑更多的查询。

性能 spark e-mapreduce EMR sparksql RuntimeFilter

钉钉群直播【MLFlow和spark在机器学习方面的进展、Project Hydrogen和spark在深度学习方面的进展 】

直播主题:【MLFlow和spark在机器学习方面的进展、Project Hydrogen和spark在深度学习方面的进展 】 时间:6月19日 19:30-20:30 分享嘉宾:江宇,阿里云EMR技术专家。

云栖社区 编程语言 系统研发与运维 深度学习 大数据 hadoop 钉钉 spark EMR

钉钉群直播【E-MapReduce产品探秘,快速构建可扩展的高性能大数据平台】

E-MapReduce整体介绍。通过EMR如何构建一个云上的大数据集群,常见的使用场景和硬件选型指南。

云栖社区 系统软件 数据存储与数据库 系统研发与运维 大数据 集群 Image 钉钉 e-mapreduce EMR 高性能

钉钉群直播Spark + AI 北美峰会参会分享

Spark + AI 北美峰会 2019 盛况依然,这两天正如火如荼。大会的主题是 Build,Unify,Scale,对此如何理解?砖厂这次有哪些重磅消息和重要发布,并作如何解读?Spark 过去几年发展的基调和线索是什么,从这次峰会上又如何看出 Spark 在未来几年的发展端倪?阿里巴巴计算平台.

云栖社区 系统软件 数据存储与数据库 系统研发与运维 网络与数据通信 linux 分布式 阿里技术协会 钉钉 spark EMR

钉钉群直播【Spark Relational Cache 原理和实践】

主要介绍Relational Cache/物化视图的历史和背景,以及EMR Spark基于Relational Cache加速Spark查询的技术方案,及如何通过基于Relational Cache的数据预计算和预组织,使用Spark支持亚秒级响应的交互式分析使用场景。

云栖社区 系统软件 数据存储与数据库 系统研发与运维 大数据 hadoop Apache Cache 钉钉 spark EMR Hive 分布式系统

钉钉群直播【Koalas 介绍】

将每个关联结果都作为relational cache构建代价太大,并不现实,我们需要找到一种方式可以通过单个Relational Cache支持优化多个关联查询的方式,从而在加速用户查询的同时,减少创建和更新relational cache的代价。

云栖社区 数据存储与数据库 系统研发与运维 分布式 大数据 Apache 钉钉 spark pandas EMR

钉钉群直播【MLFlow和spark在机器学习方面的进展、Project Hydrogen和spark在深度学习方面的进展 】

mlflow为企业提供一套开源的机器学习端到端工具,同时,project hydrogen项目旨在将AI框架与Spark更好的结合。本次直播介绍mlflow的场景和使用方式,project hydrogen的进展以及我们如何通过project hydrogen提供的能力更好的将Spark与AI结合。

数据存储与数据库 深度学习 大数据 hadoop 钉钉 spark EMR 天池直播

钉钉群直播【Spark Relational Cache 原理和实践】

主要介绍Relational Cache/物化视图的历史和背景,以及EMR Spark基于Relational Cache加速Spark查询的技术方案,及如何通过基于Relational Cache的数据预计算和预组织,使用Spark支持亚秒级响应的交互式分析使用场景。

云栖社区 编程语言 网络与数据通信 大数据 hadoop Apache Cache 钉钉 spark EMR Hive 分布式系统 安全问道

钉钉群直播Spark + AI 北美峰会参会分享

Spark + AI 北美峰会 2019 盛况依然,这两天正如火如荼。大会的主题是 Build,Unify,Scale,对此如何理解?砖厂这次有哪些重磅消息和重要发布,并作如何解读?Spark 过去几年发展的基调和线索是什么,从这次峰会上又如何看出 Spark 在未来几年的发展端倪?阿里巴巴计算平台.

系统软件 编程语言 深度学习 大数据 安全 钉钉 spark EMR

EMR Spark Relational Cache如何支持雪花模型中的关联匹配

我们需要找到一种方式可以通过单个Relational Cache支持优化多个关联查询的方式,从而在加速用户查询的同时,减少创建和更新relational cache的代价。Record Preserve Join是支持这种优化的非常有效的方式。

云栖社区 数据存储与数据库 系统研发与运维 大数据 Cache spark EMR 多维分析

EMR Spark Relational Cache的执行计划重写

作者:王道远,花名健身, 阿里巴巴计算平台EMR技术专家。 背景 EMR Spark提供的Relational Cache功能,可以通过对数据模型进行预计算和高效地存储,加速Spark SQL,为客户实现利用Spark SQL对海量数据进行即时查询的目的。

云栖社区 编程语言 系统研发与运维 移动开发与客户端 Cache spark EMR aggregate

上一页 1 ... 3 4 5 6 7 ... 11 下一页
11
GO