新功能:日志服务命令行工具ETL发布!

  1. 云栖社区>
  2. 阿里云存储服务>
  3. 博客>
  4. 正文

新功能:日志服务命令行工具ETL发布!

成喆 2019-01-19 02:43:17 浏览2251
展开阅读全文

日志服务托管服务数据加工已经发布,参考: https://yq.aliyun.com/articles/704935

背景

使用日志服务,在搜索、分析时是否经常遇到以下数据格式规整的痛点?

image

1. 采集时ETL的痛点:

  • 交换机、服务器、容器、Logging模块等,通过文件、标准输出、syslog、网络等途径收集时,里面是各种日志格式的混合,只能做部分提取,例如使用logtail先提取某些基础字段,例如时间、log level、IP等,但是日志主体message中很多有价值的信息因为混合了各种日志,无法在导入时提取?
  • 单一场景下的日志,例如NGNIX,的QueryString中的字符串,或者HttpCookie、甚至HttpBody信息等,里面字段内容变化巨大,格式信息复杂度也很高,难以在提取的时候一次性使用正则表达式完成提取。
  • 某些常规日志包含

网友评论

登录后评论
0/500
评论
成喆
+ 关注
所属云栖号: 阿里云存储服务