日志服务数据加工:规则洞察仪表盘

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 日志服务加工功能对每个配置的任务,都提供了免费的规则洞察报表与诊断功能,覆盖了总览指标、消费延迟与速率指标、活跃Shard指标、异常详等

作者:唐恺

数据加工诊断仪表盘

日志服务加工功能的运行状态可以通过该仪表盘进行查看,入口是加工列表页的“规则洞察”按钮:

image

点击改按钮跳转到仪表盘后,可以分别按照作业名称、实例ID、源LogStore筛选其它任务状态。例如下图是默认查看当前实例ID(90c9d47714dbb807d47c13b819d3e7df)的作业:

image

:预览任务的状态数据不计入本报表。

总览指标

image

  • 读日志数总计:从源LogStore各shard读取到的日志条数总计
  • 投递日志数总计:从源LogStore各shard读取到日志并成功投递到目标LogStore的日志条数总计
  • 失败日志数总计:从源LogStore各shard读取到日志并在加工过程中发生失败的日志条数总计
  • 投递日志数占比:成功投递到目标LogStore的日志条数占源LogStore读取到日志条数的比例

加工速率指标

image

统计每分钟窗口内,数据加工处理的日志条数,包括四条指标:

  • accept:从源LogStore读到的日志条数
  • dropped:从源LogStore读到并按代码预期丢弃的日志条数
  • delivered:从源LogStore读到并成功投递目标LogStore的日志条数
  • failed:从源LogStore各shard读取到日志并在加工过程中发生失败的日志条数

消费延迟与速率指标

image

统计每分钟窗口内,加工任务读取源LogStore时每个Shard指标:

  • 消费延迟:当前时间 - 该Shard最近的已完成日志时间(日志写入日志服务时间,也级Server Arrived Time)
  • 消费速率:Shard在该分钟窗口内每秒钟读取到的日志条数

:处理实时(最新)日志时消费延迟一般是1s左右;如果处理的是历史时间范围的日志数据,在任务开始的阶段消费延迟可能会很高,并随这数据加工的进行,消费进度不断追赶最终达到低延迟水平。

活跃Shard指标

image

展示最近一段时间内发生的,Shard级别每秒处理的日志行数(accept、dropped、delivered、failed)。

异常详情

image

您可以根据reason字段,查看可能导致出错的代码问题。你还可以深入到当前Project下的internal-etl-log LogStore(免费提供使用):

image

通过关键词ERROR或者WARNING查看完整的代码执行错误日志。

如果问题仍无法解决,可以提供该部分信息联系日志服务进行支持。

进一步参考

欢迎扫码加入官方钉钉群获得实时更新与阿里云工程师的及时直接的支持:
image

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
4月前
|
SQL 关系型数据库 MySQL
我使用flinkcdc的sql形式进行全量同步,4张表,有两张表数据没进去,看日志,id怎么是null呢?
我使用flinkcdc的sql形式进行全量同步,4张表,有两张表数据没进去,看日志,id怎么是null呢?
117 40
|
1天前
|
Java
log4j异常日志过滤规则配置
log4j异常日志过滤规则配置
7 0
|
5天前
工具变量法(两阶段最小二乘法2SLS)线性模型分析人均食品消费时间序列数据和回归诊断2
工具变量法(两阶段最小二乘法2SLS)线性模型分析人均食品消费时间序列数据和回归诊断
10 0
|
5天前
|
机器学习/深度学习 前端开发 数据挖掘
R语言计量经济学:工具变量法(两阶段最小二乘法2SLS)线性模型分析人均食品消费时间序列数据和回归诊断
R语言计量经济学:工具变量法(两阶段最小二乘法2SLS)线性模型分析人均食品消费时间序列数据和回归诊断
37 0
|
4月前
|
SQL 关系型数据库 MySQL
⑩⑥ 【MySQL】详解 触发器TRIGGER,协助 确保数据的完整性,日志记录,数据校验等操作。
⑩⑥ 【MySQL】详解 触发器TRIGGER,协助 确保数据的完整性,日志记录,数据校验等操作。
38 0
|
5天前
|
存储 数据库 流计算
Flink CDC为什么我几张表十来条数据就产生了那么大日志?
Flink CDC为什么我几张表十来条数据就产生了那么大日志?
109 0
|
5月前
|
存储 数据采集 监控
从存储统一到数据融合,SLS在可观测场景的思考和行动
介绍SLS在可观测数据融合分析的一系列技术升级,融合Trace、全栈监控、Continuous Profiling、移动端监控等功能,帮助大家更快速地构筑全栈、自动化的观测能力。
127614 52
|
6月前
|
存储 JSON 监控
日志分析:内网监控系统数据与ELK堆栈
日志分析一直是信息技术领域中至关重要的一项任务。随着互联网的不断发展,组织和企业积累了大量的数据,而其中很大一部分是日志数据。这些日志数据包含了系统的运行状态、事件发生记录以及性能指标,为了更好地理解和管理这些数据,ELK堆栈(Elasticsearch、Logstash和Kibana)成为了一种非常强大的工具。本文将探讨如何使用ELK堆栈进行内网监控系统数据的分析,同时提供一些代码示例来演示其功能和用法。
246 0
|
7月前
|
运维 监控 安全
使用日志数据的方式
使用日志数据的方式
44 0
|
7月前
|
人工智能 运维 监控
在日常开发工作中,日志数据该如何利用?
在日常开发工作中,日志数据是一个宝贵的资源,它可以提供关于应用程序运行状态、错误报告、性能指标和用户行为等方面的重要信息。正确地利用和分析日志数据可以帮助开发人员更好地理解应用程序的运行情况,快速定位和解决问题,改进应用程序的性能,并为业务决策提供有力支持。尤其是在现代科技发展的背景下,日志数据作为一种重要的信息资源,对于运维工作具有极大的价值。然而,如何充分利用日志数据,并将其应用于运维和开发工作中,仍然是许多企业和运维和开发人员关注的问题。那么本文就来分享一下在日常开发中关于日志数据的利用方面的探讨。
130 1
在日常开发工作中,日志数据该如何利用?

相关产品

  • 日志服务