备案控制台
探索云世界
开发者社区 大数据 文章 正文

【Spark Summit EU 2016】规模不断扩展的服务器集群上Spark的性能表征

2017-02-13 1790
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本讲义出自Ahsan Javed Awan在Spark Summit EU 2016上的演讲，主要介绍了在服务器集群的规模不断扩展的状态下，如何获取运行于服务器集群上的Spark的性能指标并对于性能进行优化，并分享了为了使得架构设计能够提升节点级别的性能表现，该如何确定衡量指标，以及如何设计可扩展的架构。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。

本讲义出自Ahsan Javed Awan在Spark Summit EU 2016上的演讲，主要介绍了在服务器集群的规模不断扩展的状态下，如何获取运行于服务器集群上的Spark的性能指标并对于性能进行优化，并分享了为了使得架构设计能够提升节点级别的性能表现，该如何确定衡量指标，以及如何设计可扩展的架构。


dc240a591b2c3994b985c5e7be14ac8b8cb81860

7d89ededff0682974d181828a6b3d61f315b61dc

24459cf8773ee24a452946989bba1809d01c66d6

fb95b74daed5896ab6be7f03dfd951a339490a6d

9558f8af17425f972bb3f790f8313eae8dde5b9e

27586bf93dbb9603c839b07941189daba9693f54

857968ac066384ba909838be01f943919f547ff5

a4e49194c50bc8fe60baae2ab9b9417d2df3aae1

77966d76ca517e5c2ac0394035efa888a66d7963

d92017372d85f7bfc48e42ab88dea18daa192686e356387f31a286c6f2816f049cbbd54c491104b8e127e5fb67a1245d8ad84d70ab49c3be2574bf5a07dd6273df43b4115705f9f2b8af3b96f8a000c46b45f8d127e64206edeecacd69435ec12b4094dc7385431df3397b7e56ba8887413e3870c9817d2c

f4981d721031f6c5a9592570d0c5124dbb453af9

7c42119ea201a626942242afce2dbe44829ba4e5

84c4ebc0fb1f4b6046b2e68adac63cb92684c51a

f75149700b886a6c75782093e02a10c6665fe8b6

ac1f915cfbf44ad07cb325250cf90768d1fcc267

1a718e59a6c6e4d986392faf19eb790241376772

41beb67b46f452fd4d9fd881e0408b1d4f8a6fac

7693e0c5704a558b56a1785daeb61ba0d1b260f2

0569ec26e2d9789e7b334c21123e26f839aeaabb

02296113dbb17192af8b216738ee05a9970ff13d

673656012a3d66634f21dcaa26767b05111cf940

6258e6af1f6a18dcf3c322769f617b97e677af2b

aba605c785b43f581b08d9cec9b0513a9579eafd

d0502f9f2e6a2b6ed701bd51d65b935c8eb4c6f7

文章标签：
分布式计算
Spark
大数据
MaxCompute
关键词：
云服务器 ECS性能
apache spark扩展
apache spark性能
apache spark规模
apache spark summit
小猫吃鱼569
目录
相关文章
弹性计算-小弹
|
2月前
|
存储 弹性计算 算法
倚天产品介绍|倚天ECS加速国密算法性能
倚天ECS是阿里云基于平头哥自研数据中心芯片倚天710推出arm架构实例，采用armv9架构，支持SM3/SM4指令，可以加速国密算法性能。本文基于OpenSSL 3.2和Tongsuo 实测对比了倚天ECS g8y实例和Intel g7 实例国密性能。为用户选择ECS提供参考。
弹性计算-小弹
101 0
弹性计算-小弹
|
2月前
|
编解码 弹性计算 Cloud Native
倚天使用|倚天ECS视频编解码之x264性能
在平头哥发布了首颗为云而生的 CPU 芯片倚天710之后，搭载倚天 710 的 ECS 实例表现出强劲的性能实力，在x264编解码场景下有着极高的性价比。
弹性计算-小弹
129 0
云计算小子258号
|
2月前
|
存储 弹性计算 关系型数据库
阿里云服务器ESSD云盘性能等级PL0、PL1、PL2、PL3区别，云盘性能级别PL知识点参考
在我们选择阿里云服务器系统盘和数据盘时，如果是选择ESSD云盘，还需要选择云盘的云盘性能级别PL，PL性能级别有PL3、PL2、PL1、PL0四个性能级别的云盘规格，如果是通过阿里云的活动来购买云服务器的话，由于系统盘默认一般为20G或40G容量，可选的PL性能级别通常只有PL0（单盘IOPS性能上限1万）和PL1（单盘IOPS性能上限5万）可选择，有的用户肯能并不清楚ESSD云盘的性能等级之间有何区别，单盘IOPS性能指的是什么，本文为大家介绍一下ESSD云盘的云盘性能级别PL3、PL2、PL1、PL0相关知识点。
云计算小子258号
262 0
阿里云服务器ESSD云盘性能等级PL0、PL1、PL2、PL3区别，云盘性能级别PL知识点参考
游客677xsv64z
|
2月前
|
存储 弹性计算 数据挖掘
阿里云4核8G云服务器价格多少钱？2024年阿里云4核8G云服务器价格及性能测评参考
2024年，阿里云针对4核8G配置的云服务器提供了多种实例规格，包括经济型e实例、通用算力型u1、计算型c7等。这些不同实例规格的服务器在性能参数和费用上都有所不同，以满足不同用户的需求。其中，通用算力型u1实例的4核8G云服务器在价格上表现出色。新用户专享活动价仅需955.58元一年，折合每月仅需80元。这一价格相较于同类产品来说，性价比极高。同时，该服务器配备了高性能的ESSD云盘，能够确保用户在存储操作系统、应用程序和数据时获得最佳体验。
游客677xsv64z
146 0
云服务器小助手
|
4天前
|
存储 弹性计算 运维
深度解读：阿里云服务器ECS经济型e实例配置整理和性能参数表
阿里云推出经济型ECS e系列服务器，适用于个人开发者、学生和小微企业。该系列采用Intel Xeon Platinum处理器，支持多种CPU内存配比，性价比高，2核2G3M配置只需99元/年，新老用户不限量购买且续费不涨价。提供相同可用性SLA和安全标准，具备ESSD Entry云盘等企业级特性。适合中小型网站、开发测试和轻量级应用
云服务器小助手
26 0
弹性计算小冉
|
1月前
|
存储 弹性计算 缓存
阿里云服务器经济型e和通用算力型u1实例性能、适用场景简介及常见问题参考
在2024年阿里云活动中，价格比较优惠的云服务器实例主要有经济型e和通用算力型u1实例，经济型e实例（如2核2G3M，99元/年）适合个人和小型企业建站、开发测试，而通用算力型u1实例（如2核4G5M，199元/年）适合多种企业应用。在目前的活动中，经济型e和通用算力型u1实例还有2核4G、2核8G、4核8G、4核16G、8核16G等配置可选，有的新手用户由于是初次使用阿里云服务器，对于经济型e和通用算力型u1实例的相关性能并不是很清楚，本文为大家做个简单的介绍，以供参考。
弹性计算小冉
39 2
阿里云服务器经济型e和通用算力型u1实例性能、适用场景简介及常见问题参考
sunrr
|
1月前
|
人工智能 安全 Linux
在云智融合浪潮下，服务器操作系统产业的未来发展将更加注重性能、安全性、稳定性以及对于AI和云计算的支持
在云智融合浪潮下，服务器操作系统产业的未来发展将更加注重性能、安全性、稳定性以及对于AI和云计算的支持
sunrr
15 4
qtuzunbex43fk
|
2月前
|
弹性计算 小程序 开发者
阿里云服务器性能测评：25M带宽阿里云云服务器支持多少人访问？
在深入探讨25M带宽云服务器的性能时，我们首先要明确一个核心概念：带宽与服务器能够支持的同时访问量之间存在着直接的关联。那么，大家可能会好奇，带宽为25M的云服务器究竟能够支持多少用户同时访问呢？
qtuzunbex43fk
133 0
云小子9527号
|
2月前
|
存储 人工智能 安全
阿里云第八代云服务器实例通用型g8i实例性能和适用场景介绍
随着云计算技术的不断演进，阿里云作为国内领先的云服务提供商，持续推出创新的云服务器实例以满足不同用户的需求。近日，阿里云宣布其第八代云服务器ECS g8i实例已经完成全新升级。g8i实例采用CIPU+飞天技术架构，并搭载最新的Intel 第五代至强可扩展处理器（代号EMR），不仅性能得到大幅提升，同时还拥有AMX加持的AI能力增强，以及全球范围内率先支持的TDX机密虚拟机能力。这些特性使得g8i实例在AI增强和全面安全防护两大方面表现出色，尤其适用于在线音视频及AI相关应用。
云小子9527号
403 3
阿里云第八代云服务器实例通用型g8i实例性能和适用场景介绍
弹性计算-小弹
|
2月前
|
弹性计算 算法 应用服务中间件
倚天使用|Nginx性能高27%，性价比1.5倍，基于阿里云倚天ECS的Web server实践
倚天710构建的ECS产品，基于云原生独立物理核、大cache，结合CIPU新架构，倚天ECS在Nginx场景下，具备强大的性能优势。相对典型x86，Http长连接场景性能收益27%，开启gzip压缩时性能收益达到74%。 同时阿里云G8y实例售价比G7实例低23%，是Web Server最佳选择。
弹性计算-小弹
259 0

热门文章

最新文章

  • 1
    Linux基础与服务器架构综合小实践
  • 2
    服务器中常用的几个资源监控工具整理
  • 3
    使用阿里云 mqtt serverless 版本超低成本快速实现 webscoket 长链接服务器
  • 4
    阿里云服务器实例、CPU内存、带宽、操作系统选择参考
  • 5
    ecs服务器shell常用脚本练习（十）
  • 6
    ecs服务器shell常用脚本练习（九）
  • 7
    阿里云数据库服务器价格表，数据库创建、连接和使用教程
  • 8
    ecs服务器shell常用脚本练习（六）
  • 9
    ecs服务器shell常用脚本练习（二）
  • 10
    阿里云ECS服务器上从零开始搭建nginx服务器
  • 1
    Spark学习---SparkSQL（概述、编程、数据的加载和保存、自定义UDFA、项目实战）
    123
  • 2
    安装Spark
    35
  • 3
    Spark学习---day07、Spark内核（Shuffle、任务执行）
    42
  • 4
    Spark读取变更Hudi数据集Schema实现分析
    42
  • 5
    实战|使用Spark Streaming写入Hudi
    49
  • 6
    adb spark的lakehouse api访问内表数据，还支持算子下推吗
    107
  • 7
    Spark学习---day06、Spark内核（源码提交流程、任务执行）
    43
  • 8
    Spark学习--day05、SparkCore电商网站实操、SparkCore-工程代码
    67
  • 9
    Spark【Spark学习大纲】简介+生态+RDD+安装+使用（xmind分享）
    33
  • 10
    Spark【基础知识 03】【RDD常用算子详解】（图片来源于网络）
    60

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive

    • 相关实验场景

    更多
  • 使用阿里云ECS监控您的特斯拉
  • 使用阿里云ECS安装家用内网穿透服务
  • ECS实例选型最佳实践
  • ECS服务保活和宕机启动
  • 云原生场景自动化响应ECS系统事件
  • 幻兽帕鲁联机服务快速部署【有ECS用户】
    • 下一篇
    2024年阿里云免费云服务器及学生云服务器申请教程参考