阿里巴巴大数据 —玩家社区 关注
手机版

MaxCompute Studio使用心得系列4——可视化查看所有job并分析运行情况

  1. 云栖社区>
  2. 阿里巴巴大数据 —玩家社区>
  3. 博客>
  4. 正文

MaxCompute Studio使用心得系列4——可视化查看所有job并分析运行情况

海清 2017-11-14 17:05:59 浏览3192 评论0

摘要: “通过`show p -all;`命令查看所有执行过的job,再通过`wait instanceid;`查看这个job的logview,最后通过logview再查看具体的执行日志。” 这样的方式查看所有job并分析运行情况实在太麻烦,MaxCompute Studio已经可以轻松完成了。

在使用MaxCompute的时候,很多同学会关注当前项目有多少任务在执行,哪些任务耗时长,哪些任务已经完成,并且能通过任务的logview来分析任务耗时长的原因。

ofo的同学选择自己搭建任务管理平台通过sdk函数获取MaxCompute 相关job信息进行管理。如《MaxCompute的任务状态和多任务执行》所分享。

其他的没有精力自己搭建平台,可以通过show p -all;命令查看所有job,再通过wait instanceid;查看这个job的logview,最后通过logview再查看具体的执行日志。如《如何在客户端上追踪一个任务信息》所介绍。

今天我要分享的是通过MaxCompute Studio可以可视化查看项目想的所有job并分析运行情况。具体操作如下:

  • 查看某个项目下,过去24小时的所有job列表,并查看那些job耗时最长。
    进入Studio的job explorer选项卡,选择需要查看的项目(该项目链接必须已经配置好,可以参考《项目空间连接管理》);状态选择’全部作业‘;提交者选择’任何人‘(项目owner肯定有权限,其他同学有project的list权限也可以否则只能看自己提交的job):

image
在查询结果列表中,点击“总时长”进行高到低排序既可得出上图列表。

注意,界面最多显示满足条件的前1000条记录。

假如只想看正在活动的作业,可以过滤状态:
image
假如还想看更长久的作业,可以过滤日期:
image

  • 查看耗时最长的job的具体运行情况。

可以直接双击查询列表中总时长按高到低排列后时长最高的job,既可打开该作业的详情显示区。

注意,如果job已经超过7天,详情中只能查看基本的一些基本信息包括脚本信息。

image
在作业详情显示区,如果该job没超过7天,那么可以查看详细的执行过程日志,具体分析操作参考可以上一篇的分享《MaxCompute Studio使用心得系列3——可视化分析作业运行》

假如你查看的是running状态的job详情,还可以进行kill操作非常方便。
image

  • 如果从其他途径知道了某个logview地址,也可以通过Studio直接打开这个logview进行分析:
    image

好了,想可视化查看所有job以及job的具体运行信息,就分享到这。若能通过instance id搜索想看的job,以及通过脚本内容关键字搜索哪些job执行过这些内容就更好了!

用云栖社区APP,舒服~

【云栖快讯】《阿里巴巴Java开发手册》(详尽版)已经上线!您的Java学好了吗?如果没有,那就赶紧加入学习吧!  详情请点击

网友评论