日志服务-分隔符模式配置Nginx日志采集

简介:

日志服务支持通过数据接入向导配置采集Nginx日志,并自动创建索引和Nginx日志仪表盘,帮助您快速采集并分析Nginx日志。
参考:
https://help.aliyun.com/document_detail/28988.html
https://help.aliyun.com/document_detail/56728.html
下面介绍另一种方式,用分隔符模式采集Nginx日志。

背景信息

使用nginx log_format配置采集,会根据log_format生成正则,因为一些特殊字段,生成的正则可能会和原始日志不匹配,而用分隔符模式采集就会避免这个问题。

安装Nginx

相关命令

安装Nginx

sudo yum install nginx

查看Nginx版本

nginx -v

设置Nginx开机启动

sudo systemctl enable nginx

启动Nginx

sudo systemctl start nginx

重启Nginx

sudo systemctl restart nginx

检查Nginx运行状态

sudo systemctl status nginx

编辑配置文件

vim /etc/nginx/nginx.conf

日志路径

/var/log/nginx/access.log

用分隔符配置log_format

这个里分隔符设置为|#|

log_format main  '$remote_addr|#|$remote_user|#|$time_local|#|$request|#|'
                '$request_time|#|$request_length|#|'
                '$status|#|$body_bytes_sent|#|$http_referer|#|'
                '$http_user_agent';

nginx.conf配置截图
image.png


日志样例

127.0.0.1|#|-|#|13/Apr/2020:09:44:41 +0800|#|GET /1 HTTP/1.1|#|0.000|#|74|#|404|#|3650|#|-|#|curl/7.29.0

配置日志采集

1. 登录

日志服务控制台

2. 选择数据源类型

采集分隔符日志请选择分隔符-文本日志

3. 选择日志空间

请选择Project和Logstore,您也可以直接单击立即创建新建Project和Logstore。具体步骤请参见准备流程
如果您是通过日志库下的数据接入后的加号进入采集配置流程,系统会直接跳过该步骤。

4. 创建机器组

在创建机器组之前,您需要首先确认已经安装了Logtail。

5. 安装完Logtail后单击确认安装完毕创建机器组

具体请参见简介。如果您之前已经创建好机器组 ,请直接单击使用现有机器组

6. 机器组配置

选择一个机器组,将该机器组从源机器组移动到应用机器组

image.png

7. Logtail配置

将上文的日志样例粘贴到下图的对应位置中,分隔符选择自定义,设置为|#|,在key上依次填入字段名,点击保存。

image.png
image.png
分隔符详细配置参考:
https://help.aliyun.com/document_detail/31724.html

8. 查询分析配置

查询日志需要开启索引,点击“开启索引”,再点击确定,如果预览可以看到数据,可以点击自动生成索引。


9. 视频

https://v.youku.com/v_show/id_XNDY2NzkxNzQxMg==.html

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
26天前
|
监控 Serverless 数据库
Serverless 应用引擎常见问题之biphon-education-配置了SLS后一直重启如何解决
Serverless 应用引擎(Serverless Application Engine, SAE)是一种完全托管的应用平台,它允许开发者无需管理服务器即可构建和部署应用。以下是Serverless 应用引擎使用过程中的一些常见问题及其答案的汇总:
28 5
|
29天前
|
存储 JSON 应用服务中间件
Higress的日志收集中,底层用的是Envoy,可不可以实现类似NGINX的rsyslog发送?
【2月更文挑战第30天】Higress的日志收集中,底层用的是Envoy,可不可以实现类似NGINX的rsyslog发送?
15 2
|
1月前
|
存储 JSON 监控
可以通过配置Filebeat来将Higress日志持久化到磁盘
【2月更文挑战第10天】可以通过配置Filebeat来将Higress日志持久化到磁盘
27 4
|
2月前
|
Java
flume的log4j.properties配置说明
flume的log4j.properties配置说明
|
11天前
|
运维 监控 应用服务中间件
LNMP详解(十四)——Nginx日志详解
LNMP详解(十四)——Nginx日志详解
16 2
|
1月前
|
域名解析 网络协议 应用服务中间件
nginx-ingress通过ipv6暴露服务,并在nginx ingress日志中记录客户端真实ipv6的ip地址
本文主要通过阿里云提供的clb和nlb来实现,建议是提前创建好双栈的vpc和vsw(使用clb可以不用双栈vpc和vsw)
175 1
|
2月前
|
应用服务中间件
weblogic配置、修改日志保存目录、配置滚动日志
weblogic配置、修改日志保存目录、配置滚动日志
|
2月前
log4j2.xml的日志打印配置
log4j2.xml的日志打印配置
28 0
|
应用服务中间件 Apache nginx
nginx自己写日志切割脚本
转自本人的博客:http://blog.teier.cn
1436 0
|
监控 应用服务中间件 nginx

相关产品

  • 日志服务