日志服务数据加工:控制台操作

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 本文介绍日志服务数据加工的控制台的基本操作步骤

功能入口

进入Logstore页面,通过加工菜单右边的+号直接进入数据加工模式,如下图1所示。
image

图1 Logstore页面加工入口

或者进入查询页面,手动切换到数据加工模式,如下图2所示。
image图2 查询页面切换加工模式

加工效果预览

进入数据加工模式之后,通过如下步骤进行调试:
1)选择时间的范围,确保对应时间范围内有日志接入。注意: 这里选择的时间是日志接收时间为准.
2)在代码编辑框编辑加工规则,规则语法参考加工规则
3)点击预览,等待返回加工结果。在首次点击预览时,需要输入AccessKey 用于消费源Logstore中的数据。
4)等待加工结果返回。
image

图 3 加工界面

结果展示区中的输出目标对应加工规则中的输出目标。如果加工规则存在语法错误或者Access Key不合法等原因导致加工失败,会提示如下错误信息:
image

图 4 异常日志

创建任务

如果规则预览符合预期结果,点击保存数据加工按钮保存为加工任务,如下图5所示。
image

图 5 创建加工任务

在左侧弹窗中输入加工任务必需的配置:
image

图 6 创建加工任务

除了所需的Access key 之外,还需要输入任务名称,存储目标和加工范围等信息。

1)存储目标

加工规则结果支持输出到多个Logstore,每个存储目标对应一个当前Project或者当前地域内其他Project内的Logstore,需要提供用于写入数据的Access Key。
注意: 在加工规则中可以通过存储目标名称进行引用, 在加工规则中不指定目标的情况下, 默认会输出到第一个配置的目标中. 
注意:目前只支持相同地域的Project。

限制

  • 目前只支持相同地域的Project,
  • 最多20个固定目标. 如果希望存储更多目标, 且动态配置. 可以参考动态多目标分发.
  • 存储目标的长度: 4~64, 字符集: 任意

2)加工范围

加工过范围对应三种类型:

  • 所有:对Logstore中的数据从开始位置持续加工,直到任务被手动停止。
  • 某时间开始:指定开始时间点,从该时间点对应的位置开始加工,直到任务被手动停止。
  • 特定时间范围:指定任务的起止时间,加工到结束时间之后自动结束。
  • 注意: 时间是以日志接收时间为准.

3)高级参数配置

对于加工规则代码中需要使用的密码信息,如数据库连接密码等,可以以Key-Value的形式保存在密钥对中,在代码中通过变量引用res_local("key")的方式进行使用。
某些特殊配置项,例如简单的维表信息也可以存储于高级秘钥配置中. 具体参考资源.

加工规则保存之后自动开始运行。

限制

  • 目前支持最多10个参数对
  • 关键字: 最大长度100, 字符集[a-zA-Z0-9u4E00-u9FA5 ._-]
  • 值: 最大长度2000, 字符集任意

任务管理

加工任务创建后,可以从左侧导航栏源logstore的数据加工中直接找到对应的任务, 如图:
image

也可以在源logstore的的数据处理下加工下找到对应任务, 如下图7所示。
image

图 7 加工任务管理

操作

image

停止

对于运行中的任务,点击任务列表右侧操作栏的停止按钮,可以停止任务。
注意:停止任务会保存当前的加工位置,如果任务再次启动会从停止的位置继续加工。如果需要从配置的时间范围重新开始执行,请参考 重新执行。

启动

对于状态为停止的任务,点击任务列表右侧操作栏的启动按钮,可以继续开始执行加工。

重新执行

任务在任何状态都可以通过点击列表右侧的重新执行按钮来重新执行任务,重新执行不会从已经加工结束的位置继续运行,而是从头开始执行。如果希望继续之前的位置加工可以参考停止任务和启动任务。

修改规则

通过修改按钮可以进入加工规则配置页面,重新调试规则后,可以通过修改配置按钮修改。
注意: 如果在修改了代码之后希望能够使用新的代码继续运行,需要停止任务,再启动任务。控制台会在修改时会提示进行这样的操作.

删除

如图7所示,点击任务列表右侧操作栏的删除按钮,可以删除任务。

任务状态

加工任务可能的状态有:启动中,运行中,停止中,已停止,成功,失败。各个状态和允许的操作如下表所示:

状态操作 停止 启动 重新运行 修改 删除
启动中 支持 支持
运行中 支持 支持 支持 支持
停止中 支持 支持
已停止 支持 支持 支持 支持
成功 支持 支持 支持
失败 支持 支持 支持

进一步参考

欢迎扫码加入官方钉钉群获得实时更新与阿里云工程师的及时直接的支持:
image

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
3月前
|
Java 数据库 数据安全/隐私保护
基于JavaSE+JDBC使用控制台操作的简易购物系统【源码+数据库】
基于JavaSE+JDBC使用控制台操作的简易购物系统【源码+数据库】
|
4月前
|
SQL 关系型数据库 MySQL
我使用flinkcdc的sql形式进行全量同步,4张表,有两张表数据没进去,看日志,id怎么是null呢?
我使用flinkcdc的sql形式进行全量同步,4张表,有两张表数据没进去,看日志,id怎么是null呢?
116 40
|
5月前
|
SQL IDE Java
IDEA控制台如何查看格式化的SQL(MyBatis Log插件)
IDEA控制台如何查看格式化的SQL(MyBatis Log插件)
292 0
|
4月前
|
Java
如何实现一个高效的二叉搜索树(BST)?请给出时间复杂度分析。 要求:设计一个二叉搜索树,支持插入、删除和查找操作。要求在平均情况下,这些操作的时间复杂度为O(log n)。同时,考虑树的平衡性,使得树的高度保持在对数级别。
如何实现一个高效的二叉搜索树(BST)?请给出时间复杂度分析。 要求:设计一个二叉搜索树,支持插入、删除和查找操作。要求在平均情况下,这些操作的时间复杂度为O(log n)。同时,考虑树的平衡性,使得树的高度保持在对数级别。
34 0
|
2月前
|
XML 机器学习/深度学习 JSON
在火狐浏览器调ajax获取json数据时,控制台提示“XML 解析错误:格式不佳”。
在火狐浏览器调ajax获取json数据时,控制台提示“XML 解析错误:格式不佳”。
29 0
在火狐浏览器调ajax获取json数据时,控制台提示“XML 解析错误:格式不佳”。
|
1天前
工具变量法(两阶段最小二乘法2SLS)线性模型分析人均食品消费时间序列数据和回归诊断2
工具变量法(两阶段最小二乘法2SLS)线性模型分析人均食品消费时间序列数据和回归诊断
|
2天前
|
机器学习/深度学习 前端开发 数据挖掘
R语言计量经济学:工具变量法(两阶段最小二乘法2SLS)线性模型分析人均食品消费时间序列数据和回归诊断
R语言计量经济学:工具变量法(两阶段最小二乘法2SLS)线性模型分析人均食品消费时间序列数据和回归诊断
32 0
|
1月前
|
SQL NoSQL Java
【七】springboot整合AOP实现日志操作
【七】springboot整合AOP实现日志操作
41 0
|
2月前
|
Java
SpringAop实现记录用户操作日志
java实现记录用户操作日志功能
|
3月前
|
测试技术 Python
pycharm使用pytest运行测试用例,无法在控制台输出print语句、log语句的解决办法
pycharm使用pytest运行测试用例,无法在控制台输出print语句、log语句的解决办法
68 1

相关产品

  • 日志服务