日志服务CLI ETL - 扩展UDF

  1. 云栖社区>
  2. 阿里云存储服务>
  3. 博客>
  4. 正文

日志服务CLI ETL - 扩展UDF

成喆 2019-01-19 02:51:51 浏览2314
展开阅读全文

背景

CLI的命令中,可以看到有一个重要的参数config进行ETL的规则配置。这其实是一个Python模块,通过import其他Python模块,或者直接编写符合协议的UDF来扩展ETL的规则。本篇介绍CLI ETL规则的扩展协议与机制。

扩展与UDF

条件式事件转换UDF

在转换列表中支持UDF扩展:

UDF (Python):
@support_event_list_simple     # 自动支持多事件处理
def update_fields(e):
    e["some_field_x"] = "100"
    del e["some_feild_y"]
    return e   # 也可以返回None(表示丢弃), 返回列表(表示分裂)

TRANSFORM_LIST_data = [  ({"data": "^LTE

网友评论

登录后评论
0/500
评论
成喆
+ 关注
所属云栖号: 阿里云存储服务