如何使用X-Pack Spark的YarnUI、SparkUI、Spark日志、任务运行状况的分析

  1. 云栖社区>
  2. 博客>
  3. 正文

如何使用X-Pack Spark的YarnUI、SparkUI、Spark日志、任务运行状况的分析

云hbase+spark 2019-06-22 12:07:28 浏览2073
展开阅读全文

概述

X-Pack Spark目前是通过Yarn管理资源。在提交Spark 任务后我们经常需要知道任务的运行状况,例如任务失败了在哪里看日志、怎么查看每个Executor的运行状态、每个task的运行状态,性能瓶颈点在哪里等信息。
本文主要介绍如何使用X-Pack Spark的Yarn UI 和Spark Job UI来获取上述的信息。

Yarn 基础知识介绍

Yarn 是hadoop体系中的一个资源管理和调度的组件。网上搜索Spark on Yarn有很多学习资料,这里只做简单入门级介绍:Spark作业的运行是向Yarn提交一个任务,Yarn拿到任务后分配、调度资源,然后调研Spark集群跑任务。过程如下图所示:
image
关于Yarn的官网资料可参考:Apache Hadoop Yarn

X-Pack Spark 作业管理链接介绍

X-Pack S

网友评论

登录后评论
0/500
评论