日志服务数据加工:语法功能概述

  1. 云栖社区>
  2. 阿里云存储服务>
  3. 博客>
  4. 正文

日志服务数据加工:语法功能概述

成喆 2019-06-10 06:12:57 浏览1437
展开阅读全文

自由编排

通过一个Python兼容ETL语言进行自由编排,对各种逻辑进行复杂组合, 可以满足大部分数据加工的需求和自由度.

例如, 可以自由编排达到如下一个场景:
image

完整的加工功能

支持近30种全局步骤函数, 支持通过各种参数调节行为, 且可以接受其他表达式函数的调用组合的结果作为参数, 其中控制的函数不仅可以搭配表达式函数, 也可以搭配其他步骤函数操作.

  • 控制: 支持基于条件判断后的流程分支, 包括if-else, if条件-操作配对组合, switch分派, compose组合等场景. 借助e_search等简单搜索语法可以对不同类型日志进行灵活的加工.
  • 事件操作: 支持对事件进行丢弃, 保留, 分裂, 输出, 复制等
  • 字段操作: 支持保留, 删除, 重命名字段等
  • 字段赋值: 支持基于任意表达式组合结果设置字段的值
  • 字段值提取: 支持基于正则

网友评论

登录后评论
0/500
评论
成喆
+ 关注
所属云栖号: 阿里云存储服务