更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。
【Spark Summit EU 2016】Sparklint:Spark监控，识别与优化利器
2017-02-14
3279
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
本讲义出自Simon Whitear在Spark Summit EU 2016上的演讲，主要介绍了用于监控，识别并优化低效Spark的工具Sparklint。由于成功的Spark集群的规模往往会迅速扩张，往往会出现能力与任务不匹配的情况并造成资源竞争，为了使得Spark集群的效率得到提升，所以需要Sparklint这样的监控优化工具。
目录
相关文章
|
6月前
|
分布式计算
资源调度
监控
没有监控的流处理作业与茫茫大海中的裸泳无异 - 附 flink 与 spark 作业监控脚本实现
没有监控的流处理作业与茫茫大海中的裸泳无异 - 附 flink 与 spark 作业监控脚本实现
54
0
0
|
3月前
|
分布式计算
资源调度
监控
|
存储
SQL
分布式计算
如何用 Uber JVM Profiler 等可视化工具监控 Spark 应用程序？
关键要点
持续可靠地运行 Spark 应用程序是一项具有挑战性的任务，而且需要一个良好的性能监控系统。
- 在设计性能监控系统时有三个目标——收集服务器和应用程序指标、在时序数据库中存储指标，并提供用于数据可视化的仪表盘。
Uber JVM Profiler 被用于监控 Spark 应用程序，用到的其他技术还有 InfluxDB（用于存储时序数据）和 Grafana（数据可视化工具）。性能监控系统可帮助 DevOps 团队有效地监控系统，用以满足应用程序的合规性和 SLA。
233
0
0
|
数据采集
消息中间件
存储
【译】Databricks使用Spark Streaming和Delta Lake对流式数据进行数据质量监控介绍
本文主要对Databricks如何使用Spark Streaming和Delta Lake对流式数据进行数据质量监控的方法和架构进行了介绍，本文探讨了一种数据管理架构，该架构可以在数据到达时，通过主动监控和分析来检测流式数据中损坏或不良的数据，并且不会造成瓶颈。
2086
0
0
|
分布式计算
监控
Spark
X-Pack Spark 监控指标详解
概述
本文主要介绍X-Pack Spark集群监控指标的查看方法。Spark集群对接了Ganglia和云监控。下面分别介绍两者的使用方法。
Ganglia
Ganglia是一个分布式监控系统。
Ganglia 入口
打开Spark集群依次进入：数据库连接>UI访问>详细监控UI>Ganglia。
1447
0
0
|
分布式计算
监控
NoSQL
海量监控日志基于EMR Spark Streaming SQL进行实时聚合
从EMR-3.21.0 版本开始将提供Spark Streaming SQL的预览版功能，支持使用SQL来开发流式分析作业。结果数据可以实时写入Tablestore。
本文以LogHub为数据源，收集ECS上的日志数据，通过Spark Streaming SQL进行聚合后，将流计算结果数据实时写入Tablestore，展示一个简单的日志监控场景。
1528
0
0
|
监控
NoSQL
流计算
海量监控日志基于EMR Spark Streaming SQL进行实时聚合
从EMR-3.21.0 版本开始将提供Spark Streaming SQL的预览版功能，支持使用SQL来开发流式分析作业。结果数据可以实时写入Tablestore。
本文以LogHub为数据源，收集ECS上的日志数据，通过Spark Streaming SQL进行聚合后，将流计算结果数据实时写入Tablestore，展示一个简单的日志监控场景。
5720
0
2
|
JSON
资源调度
分布式计算
基于Yarn API的Spark程序监控
一.简述
通过对Yarn ResourceManager中运行程序的状态（RUNNING、KILLED、FAILED、FINISHED）以及ApplicationMaster中Application的Job执行时长超过批次时间的监控，来达到对Spark on Yarn程序的失败重启、超时重启等功能
二.
4789
0
0
|
消息中间件
分布式计算
监控
|
机器学习/深度学习
分布式计算
大数据
热门文章
最新文章
1
Paimon 与 Spark 的集成（二）：查询优化
2
阿里云 EMR Serverless Spark 版免费邀测中
3
Paimon与Spark
4
大数据技术与Python：结合Spark和Hadoop进行分布式计算
5
bigdata-36-Spark转换算子与动作算子
6
图解大数据 | 使用Spark分析新冠肺炎疫情数据@综合案例
7
Spark 源码分析 -- BlockStore
8
BR-MLP基于spark+Hadoop分布式数据挖掘解决方案功能剖析
9
Spark RDD类源码阅读
10
7月24日晚Spark社区直播：【Apache Spark 基于 Apache Arrow 的列式存储优化】
1
Spark学习---SparkSQL（概述、编程、数据的加载和保存、自定义UDFA、项目实战）
76
2
安装Spark
34
3
Spark环境搭建与使用
33
4
Spark学习---day07、Spark内核（Shuffle、任务执行）
40
5
Spark读取变更Hudi数据集Schema实现分析
36
6
实战|使用Spark Streaming写入Hudi
39
7
adb spark的lakehouse api访问内表数据，还支持算子下推吗
107
8
Spark学习---day06、Spark内核（源码提交流程、任务执行）
39
9
Spark学习--day05、SparkCore电商网站实操、SparkCore-工程代码
65
10
Spark【Spark学习大纲】简介+生态+RDD+安装+使用（xmind分享）
30