极简日志的分析方法

  1. 云栖社区>
  2. 阿里云存储服务>
  3. 博客>
  4. 正文

极简日志的分析方法

云雷 2019-03-28 14:21:17 浏览2306
展开阅读全文

极简模式的分析需求

极简模式是按照行为单位,把一行日志打包作为一个字段上传到日志服务。对于用户而言,极简模式避免了去配置复杂的正则式,极大的简化了日志接入云端的流程,上传后只需要开启全文索引即可完成搜索。

但是,在某些场景下,我们需要对日志中的某些部分进行分析,例如分析日志中的ip,这种情况下,就需要通过SQL先完成一些字段提取工作,然后再进行分析。

普通文本的分析

分析IP

例如下图中的Nginx访问日志。打包到了一个content字段中。

image.png

当我们需要分析日志中的IP归属地的时候, 首先要从这一串文本中提取出IP日志。为了提取IP地址,我们有这些手段可以使用:

  1. 通过正则式函数
  2. 通过json 函数
  3. 通过url函数

上边的文本,不是json也不是url,而是一串普通文本,那么我们只能用正则式函数进行提取

* | select  content, reg

网友评论

登录后评论
0/500
评论
云雷
+ 关注
所属云栖号: 阿里云存储服务