使用Data Lake Analytics快速分析OSS上的日志文件

  1. 云栖社区>
  2. 阿里云Data Lake Analytics>
  3. 博客>
  4. 正文

使用Data Lake Analytics快速分析OSS上的日志文件

金络 2018-12-14 15:11:10 浏览1085
展开阅读全文

背景

Data Lake Analytics (后文简称 DLA)是Serverless化的云上交互式查询分析服务,用户可以通过标准的SQL语句对存储在OSS, OTS, RDS等介质上的数据进行快速地查询分析。

日志文件在大数据分析中的地位举足轻重。对于一个服务来说,其日志文件往往记录了其运行的所有详细信息。无论是故障排除,状态监控,还是预测告警,都离不开对日志文件的查询分析。由于OSS的高性价比,越来越多的用户倾向把大量的日志文件存储在OSS中。DLA可以无需移动OSS上的日志文件,直接对其做查询分析。

本文将介绍如何使用DLA对常见格式的日志文件做查询。

使用DLA查询日志文件

DLA可以分析的日志文件需要满足下面的条件:

  1. 日志文件是纯文本的格式,每行可以映射为表中的一条记录;
  2. 每行的内容有固定的模式,可以用一个正则表达式去匹配

目前对日志


网友评论

登录后评论
0/500
评论
金络
+ 关注
所属云栖号: 阿里云Data Lake Analytics