极简日志的分析方法

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 极简模式是按照行为单位,把一行日志打包作为一个字段上传到日志服务。对于用户而言,极简模式避免了去配置复杂的正则式,极大的简化了日志接入云端的流程,上传后只需要开启全文索引即可完成搜索。 但是,在某些场景下,我们需要对日志中的某些部分进行分析,例如分析日志中的ip,这种情况下,就需要通过SQL先完成一些字段提取工作,然后再进行分析。

极简模式的分析需求

极简模式是按照行为单位,把一行日志打包作为一个字段上传到日志服务。对于用户而言,极简模式避免了去配置复杂的正则式,极大的简化了日志接入云端的流程,上传后只需要开启全文索引即可完成搜索。

但是,在某些场景下,我们需要对日志中的某些部分进行分析,例如分析日志中的ip,这种情况下,就需要通过SQL先完成一些字段提取工作,然后再进行分析。

普通文本的分析

分析IP

例如下图中的Nginx访问日志。打包到了一个content字段中。

image.png

当我们需要分析日志中的IP归属地的时候, 首先要从这一串文本中提取出IP日志。为了提取IP地址,我们有这些手段可以使用:

  1. 通过正则式函数
  2. 通过json 函数
  3. 通过url函数

上边的文本,不是json也不是url,而是一串普通文本,那么我们只能用正则式函数进行提取

* | select  content, regexp_extract(content, '(\d+\.\d+\.\d+\.\d+)',1)

通过以上函数,可以从content中提取ip:

image.png

IP 提取完成之后,接下来就可以IP函数分析用户的地理位置信息了。

例如分析省份:

* | select   ip_to_province(regexp_extract(content, '(\d+\.\d+\.\d+\.\d+)',1)) as ip , count(1) as count group by ip

image.png

分析URL参数

image.png

在nging日志中, 如果我们想要提取url中的type这个参数,需要用到通过url函数

* | select url_extract_path(request),request from
      ( 
       
       select    regexp_extract(content, 'GET\s+([\S]+)',1) as request from log
      )

image.png

从图中可以看出,成功提取了type这个参数,url还有N多好玩的用户,例如提取域名,url路径等,期待你的挖掘。

日志上云进阶

日志服务(Log Service,简称LOG/原SLS)是针对实时数据一站式全托管服务,在阿里集团经历大量大数据场景锤炼而成。
提供日志类数据采集、智能查询分析、消费与投递等功能,全面提升海量日志处理/分析能力。

日志服务用户手册,最完整的资料

日志服分析试用Demo,Nginx日志、CDN日志、DDOS日志、SLB日志Demo,grafana、Datav大屏Demo

5分钟搭建网站实时分析:Grafana+日志服务实战

以下5个子帐号供试用,请随机选择一个登录,登录地址,若登录不成功请换一个子帐号尝试:

用户名 密码
sls_reader1@1654218965343050 pnX-32m-MHH-xbm
sls_reader2@1654218965343050 pnX-32m-MHH-xbm
sls_reader3@1654218965343050 pnX-32m-MHH-xbm
sls_reader4@1654218965343050 pnX-32m-MHH-xbm
sls_reader5@1654218965343050 pnX-32m-MHH-xbm
相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
3月前
|
存储 监控 iOS开发
iOS应用崩溃了,如何通过崩溃手机连接电脑查找日志方法
在iOS应用开发过程中,调试日志和奔溃日志是开发者必不可少的工具。当iOS手机崩溃时,我们可以连接电脑并使用Xcode Console等工具来查看日志。然而,这种方式可能不够方便,并且处理奔溃日志也相当繁琐。克魔助手的出现为开发者带来了极大的便利,本文将详细介绍其功能和使用方法。 克魔助手会提供两种日志,一种是实时的,一种的是崩溃的。(由于崩溃日志的环境很麻烦,目前只展示实时日志操作步骤)
|
3月前
|
监控 Android开发 C语言
深度解读Android崩溃日志案例分析2:tombstone日志
深度解读Android崩溃日志案例分析2:tombstone日志
84 0
|
1月前
|
Linux 应用服务中间件 nginx
【PUSDN】centos查看日志文件内容,包含某个关键字的前后5行日志内容,centos查看日志的几种方法
【PUSDN】centos查看日志文件内容,包含某个关键字的前后5行日志内容,centos查看日志的几种方法
48 0
|
3月前
|
Go 数据处理 Docker
elk stack部署自动化日志收集分析平台
elk stack部署自动化日志收集分析平台
80 0
|
3月前
|
缓存 固态存储 关系型数据库
MySQL性能优化指南:深入分析重做日志刷新到磁盘的机制
MySQL性能优化指南:深入分析重做日志刷新到磁盘的机制
|
4月前
|
Kubernetes Shell Linux
linux|shell脚本|有趣的知识---格式化输出日志和脚本调试方法以及kubernetes集群核心服务重启和集群证书备份脚本
linux|shell脚本|有趣的知识---格式化输出日志和脚本调试方法以及kubernetes集群核心服务重启和集群证书备份脚本
60 0
|
1天前
|
机器学习/深度学习 前端开发 数据挖掘
工具变量法(两阶段最小二乘法2SLS)线性模型分析人均食品消费时间序列数据和回归诊断(下)
工具变量法(两阶段最小二乘法2SLS)线性模型分析人均食品消费时间序列数据和回归诊断
32 11
|
6天前
工具变量法(两阶段最小二乘法2SLS)线性模型分析人均食品消费时间序列数据和回归诊断2
工具变量法(两阶段最小二乘法2SLS)线性模型分析人均食品消费时间序列数据和回归诊断
13 0
|
4月前
|
存储 监控 安全
带你读《Apache Doris 案例集》——07查询平均提速700% ,奇安信基于 Apache Doris 升级日志安全分析系统(1)
带你读《Apache Doris 案例集》——07查询平均提速700% ,奇安信基于 Apache Doris 升级日志安全分析系统(1)
|
4月前
|
SQL 存储 安全
带你读《Apache Doris 案例集》——07查询平均提速700% ,奇安信基于 Apache Doris 升级日志安全分析系统(2)
带你读《Apache Doris 案例集》——07查询平均提速700% ,奇安信基于 Apache Doris 升级日志安全分析系统(2)
107 0

相关产品

  • 日志服务