备案控制台
探索云世界
开发者社区 大数据与机器学习 开源大数据平台 E-MapReduce 文章 正文

8月14日Spark社区直播【Spark Shuffle 优化】

2019-08-12 1438
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本次直播介绍EMR Spark 在shuffle方面的相关优化工作，主要包含shuffle 优化的背景以及shuffle 优化的设计方案，最后会介绍Spark shuffle 在 TPC-DS测试中的性能数据

直播间直达链接：（回看链接）

https://tianchi.aliyun.com/course/live?&liveId=41076

或钉钉扫描海报上二维码，进群直接观看。

时间

8月14日19:00

主讲人：

辰石，阿里巴巴计算平台事业部EMR团队技术专家，目前从事大数据存储以及Spark相关方面的工作。

简介：

本次直播介绍EMR Spark 在shuffle方面的相关优化工作，主要包含shuffle 优化的背景以及shuffle 优化的设计方案，最后会介绍Spark shuffle 在 TPC-DS测试中的性能数据

_Spark_Shuffle____spark_

文章标签：
开源大数据平台 E-MapReduce
分布式计算
Spark
相关实践学习
数据湖构建DLF快速入门
本教程通过使⽤数据湖构建DLF产品对于淘宝用户行为样例数据的分析，介绍数据湖构建DLF产品的数据发现和数据探索功能。
快速掌握阿里云 E-MapReduce
E-MapReduce 是构建于阿里云 ECS 弹性虚拟机之上，利用开源大数据生态系统，包括 Hadoop、Spark、HBase，为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。 本课程主要介绍阿里云 E-MapReduce 的使用方法。
阿里云E-MapReduce团队
目录
相关文章
一名技术开发者
|
6月前
|
消息中间件 分布式计算 Kafka
知乎 Flink 取代 Spark Streaming 的实战之路
知乎 Flink 取代 Spark Streaming 的实战之路
一名技术开发者
71 0
skdg26tulds2a
|
分布式计算 搜索推荐 算法
Spark的两种核心Shuffle详解（一）
在 MapReduce 框架中， Shuffle 阶段是连接 Map 与 Reduce 之间的桥梁， Map 阶段通过 Shuffle 过程将数据输出到 Reduce 阶段中。由于 Shuffle 涉及磁盘的读写和网络 I/O，因此 Shuffle 性能的高低直接影响整个程序的性能。 Spark 也有 Map 阶段和 Reduce 阶段，因此也会出现 Shuffle 。
skdg26tulds2a
377 0
Spark的两种核心Shuffle详解（一）
auqbllxiu
|
分布式计算 Apache Spark
《# Apache Spark系列技术直播# 第五讲【 Spark RDD编程入门 】》电子版地址
# Apache Spark系列技术直播# 第五讲【 Spark RDD编程入门 】
auqbllxiu
85 0
《# Apache Spark系列技术直播# 第五讲【 Spark RDD编程入门 】》电子版地址
柯广
|
分布式计算 Java Spark
Spark面试题（八）——Spark的Shuffle配置调优
对Spark的Shuffle配置调优建议。
柯广
435 0
开源大数据EMR
|
分布式计算 数据可视化 IDE
5月21日 Spark 社区直播【Spark on Zeppelin】
Apache Zeppelin 是一个交互式的大数据开发Notebook，从一开始就是为Spark定制的。Zeppelin Notebook的开发环境与传统IDE开发环境相比有几大优势：不需要编译Jar，环境配置简单，交互式开发，数据结果可视化等等。 本次直播将会介绍Spark on Zeppelin的一些基本使用方式以及应用场景。
开源大数据EMR
767 0
5月21日 Spark 社区直播【Spark on Zeppelin】
xiaohei.info
|
SQL 分布式计算 API
Spark最佳实践-项目规范
前言 大数据开发的日常工作中，开发人员经常需要使用 Spark、Flink 等计算引擎作为工具来实现一些 业务逻辑 的计算。 以 Spark 为例，开发人员会使用 SparkSQL、DataFrame、RDD 等不同形式的API来实现业务需求。
xiaohei.info
2189 0
开源大数据EMR
|
分布式计算 Spark
8月14日Spark社区直播【Spark Shuffle 优化】
本次直播介绍EMR Spark 在shuffle方面的相关优化工作，主要包含shuffle 优化的背景以及shuffle 优化的设计方案，最后会介绍Spark shuffle 在 TPC-DS测试中的性能数据
开源大数据EMR
792 0
8月14日Spark社区直播【Spark Shuffle 优化】
开源大数据EMR
|
存储 分布式计算 Apache
7月24日晚Spark社区直播：【Apache Spark 基于 Apache Arrow 的列式存储优化】
Apache Arrow 是一个基于内存的列式存储标准，旨在解决数据交换和传输过程中，序列化和反序列化带来的开销。目前，Apache Spark 社区的一些重要优化都在围绕 Apache Arrow 展开，本次分享会介绍 Apache Arrow 并分析通过 Arrow 将给 Spark 带来哪些特性。
开源大数据EMR
2406 0
社区小助手
|
分布式计算 API Apache
# Apache spark系列技术直播# 第五讲【 Spark RDD编程入门 】
主讲人：王道远(健身) 阿里巴巴计算平台EMR技术专家 直播时间：2018.12.13（本周四）19:00 - 20:00 内容提要：本次讲座主要涵盖Spark RDD编程入门基础，包括： Spark、RDD简介 RDD API简介 打包与spark-submit 性能分析与调优基础 ppt链接：https://yq.
社区小助手
1512 0
社区小助手
|
分布式计算 API Apache
# Apache Spark系列技术直播# 第五讲【 Spark RDD编程入门 】
内容提要：本次讲座主要涵盖Spark RDD编程入门基础，包括：1. Spark、RDD简介 2. RDD API简介 3. 打包与spark-submit 4. 性能分析与调优基础主讲人：王道远(健身) 阿里巴巴计算平台EMR技术专家直播时间：2018.
社区小助手
1469 0
大数据与机器学习

开源大数据平台 E-MapReduce

热门文章

最新文章

  • 1
    阿里封神谈hadoop生态学习之路
  • 2
    分布式快照算法: Chandy-Lamport
  • 3
    Spark in action on Kubernetes - Playground搭建与架构浅析
  • 4
    梨视频：基于阿里云E-MapReduce搭建视频推荐系统的实践
  • 5
    基于Alluxio系统的Spark DataFrame高效存储管理技术
  • 6
    HIVE MapJoin异常问题处理总结
  • 7
    漫谈分布式计算框架
  • 8
    JindoFS概述：云原生的大数据计算存储分离方案
  • 9
    5W1H(六何分析法)全景洞察大数据
  • 10
    助力云上开源生态 - 阿里云开源大数据平台的发展
  • 1
    基于阿里云向量检索 Milvus 版与 PAI 搭建高效的检索增强生成（RAG）系统
    73
  • 2
    通过阿里云向量检索 Milvus 版和通义千问快速构建基于专属知识库的问答系统
    234
  • 3
    EMR Notebook 开启公测，提供交互式数据分析平台
    145
  • 4
    Apache Hadoop入门指南：搭建分布式大数据处理平台
    58
  • 5
    阿里云向量检索 Milvus 版开启公测，助力企业打造高质量 AI 服务
    399
  • 6
    Paimon 与 Spark 的集成（二）：查询优化
    117488
  • 7
    阿里云 EMR Serverless Spark 版免费邀测中
    393
  • 8
    实用工具推荐：适用于 TypeScript 网络爬取的常用爬虫框架与库
    194
  • 9
    1688API接口推荐：1688口令转换真实链接接口
    12
  • 10
    1688API接口推荐：1688按图搜索拍立淘数据接口
    288

    • 相关课程

    更多
  • 大数据实时计算框架Spark快速入门
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段

    • 相关电子书

    更多
  • Spark优化实践
  • # Apache Spark系列技术直播# 第五讲【 Spark RDD编程入门 】
  • 云HBaseSQL及分析 ——Phoenix&Spark
    • 下一篇
    部署LAMP环境（Alibaba Cloud Linux 3）