Linux下定时切割nginx日志并删除指定天数前的日志记录

简介:

nginx的log日志分为access.log和error.log;其中access.log 记录了哪些用户、哪些页面以及用户浏览器、ip和其他的访问信息;error.log则是记录服务器错误日志.


error.log日志的形式如下:

1
2
201.158.69.116 - - [03 /Jan/2013 :21:17:20 -0600] fwf[-] tip[-] 127.0.0.1:9000 0.007 0.007 MX pythontab.com GET  /html/test .html HTTP /1 .1  "200"  2426  "http://a.com"  "es-ES,es;q=0.8"  "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.97 Safari/537.11"
187.171.69.177 - - [03 /Jan/2013 :21:17:20 -0600] fwf[-] tip[-] 127.0.0.1:9000 0.006 0.006 MX pythontab.com GET  /html/test2 .html HTTP /1 .1  "200"  2426  "http://a.com"  "es-ES,es;q=0.8"  "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.97 Safari/537.11"

从上面我们可以看出几部分信息:

1.客户端(用户)IP地址。如:上例中的 201.158.69.116

2.访问时间。如:上例中的 [03/Jan/2013:21:17:20 -0600]

3.访问端口。如:上例中的 127.0.0.1:9000

4.响应时间。如:上例中的 0.007

5.请求时间。如:上例中的 0.007

6.用户地理位置代码(国家代码)。如:上例中的 MX(墨西哥)

7.请求的url地址(目标url地址)的host。如:上例中的 pythontab.com

8.请求方式(GET或者POST等)。如:上例中的 GET

9.请求url地址(去除host部分)。如:上例中的 /html/test.html

10.请求状态(状态码,200表示成功,404表示页面不存在,301表示永久重定向等,具体状态码可以在网上找相关文章,不再赘述)。如:上例中的 "200"

11.请求页面大小,默认为B(byte)。如:上例中的 2426

12.来源页面,即从哪个页面转到本页,专业名称叫做“referer”。如:上例中的 "http://a.com"

13.用户浏览器语言。如:上例中的 "es-ES,es;q=0.8"

14.用户浏览器其他信息,浏览器版本、浏览器类型等。如:上例中的  "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.11 (KHTML,like Gecko) Chrome/23.0.1271.97 Safari/537.11"


access.log日志的格式不是一成不变的,是可以自定义的。在nginx的nginx.conf配置文件找到:log_format 这里就是日志的格式

1
2
3
4
5
     #log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
     #                  '$status $body_bytes_sent "$http_referer" '
     #                  '"$http_user_agent" "$http_x_forwarded_for"';
 
     #access_log  logs/access.log  main;

log_format是Nginx的HttpLog模块指令,用于指定Nginx日志的输出格式。main为此日志输出格式的名称,可以在下面的access_log指令中引用。

eg:

1
192.168.21.1 - - [27 /Jan/2014 :11:28:53 +0800]  "GET /2.php HTTP/1.1"  200 133  "-"  "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/33.0.1707.0 Safari/537.36"  "-" 192.168.21.128 200 127.0.0.1:9000 0.119 0.119

$remote_addr:客户端地址  192.168.21.1

$remote_user:客户端用户 -

$time_local:时间和时区   27/Jan/2014:11:28:53 +0800

$request:请求的URL路径和HTTP协议   GET /2.php HTTP/1.1

$status: HTTP状态  200

$body_bytes_sent:发送给客户端页面大小  133

$http_referer:页面跳转来源 -

$http_user_agent:用户访问终端  Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/33.0.1707.0 Safari/537.36

$http_x_forwarded_for:HTTP 代理中,请求端真实IP -

$http_host:用户在浏览器中输入的URL(IP或着域名)地址  192.168.21.128

$upstream_status: upstream状态    200

$upstream_addr: 后端upstream地址及端口  127.0.0.1:9000

$request_time: 页面访问总时间  0.119

$upstream_response_time:页面访问中upstream响应时间   0.119

如果在客户端和Web服务器之间增加了中间层(比如反向代理服务器),此时Web服务器无法直接拿到客户端的lP,通过$remote_addr变量拿到的将是反向代理服务器的IP地址。但是,反向代理服务器在转发请求的HTTP头信息中,可以增加X-Forwarded-For信息,用以记录原有的客户端lP地址和原来客户端请求的服务器地址。 wKioL1Va0ZXxnDe9AAB9HcijJTs307.jpg

这时候,就要用log_format指令来设置日志格式,让日志记录X-Forwarded-For信息中的lP地址,即客户的真实IP。例如,创建一个名为mylogformat的日志格式,再用$http_x_forwarded_for变量记录用户的X-Forwarded-For lP地址: 

1
2
3
     log_format  mylogformat   '$http_x_forwarded_for - $remote_user [$time_local] "$request" '
                       '$status $body_bytes_sent "$http_referer" '
                       '"$http_user_agent" "$http_x_forwarded_for"' ;

如果不想记录日志,可以使用以下指令关闭日志记录: 

1
  access_log off

nginx日志文件的切割

生产环境中的服务器,由于访问日志文件增长速度非常快,日志太大会严重影响服务器效率。同时,为了方便对日志进行分析计算,须要对日志文件进行定时切割。定时切割的方式有按月切割、按天切割、按小时切割等。最常用的是按天切割。 
Nginx不支持像Apache 一样使用cronolog来轮转日志,但是可以采用以下方式来实现日志文件的切割: 
mv /usr/local/nginx/logs/access.log /usr/local/nginx/logs/access_20150519084513.log 
kill -USR1 Nginx主进程号 
通过mv命令将日志文件重命名为/usr/local/nginx/logs/access_20150519084513.log,然后发送kill -USR1信号给Nginx的主进程号,让Nginx重新生成一个新的日志文件/usr/local/nginx/logs/access.log。 
如果想每天定时切割日志,还须要借助crontab。我们可以写一个按天切割的日志,按年、月份目录存放日志的shell脚本: 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
[root@localhost logs] # vim /usr/local/nginx/sbin/cut_nginx_log.sh 
 
#!/bin/bash
logs_path= "/usr/local/nginx/logs/"
DAYS=30
mv  ${logs_path}access.log ${logs_path}access_$( date  -d  "yesterday"  + "%Y%m%d%H%M%S" ).log
#mv ${logs_path}access.log ${logs_path}access_$(date +"%Y年%m月%d日%H时%M分%S秒星期%w").log
#mv ${logs_path}access.log ${logs_path}access_$(date -d "yesterday" +"%Y年%m月%d日%H时%M分%S秒星期%w").log
kill  -USR1 ` cat  /usr/local/nginx/logs/nginx .pid`
find  ${logs_path} -name  "access_*.log"  - type  f -mtime +$DAYS - exec  rm  {} \;
[root@localhost logs] # chmod +x /usr/local/nginx/sbin/cut_nginx_log.sh 
[root@localhost logs] # crontab -e
0 0 * * *  /usr/local/nginx/sbin/cut_nginx_log .sh     
[root@localhost logs] # service crond restart
Stopping crond:                                            [  OK  ]
Starting crond:                                            [  OK  ]
[root@localhost logs] # chkconfig crond on
[root@localhost logs] #

如果脚本在执行过程中出现下面错误

1
nginx: [error]  open () " /usr/local/nginx/logs/nginx .pid" failed

解决办法:

1
[root@localhost logs] # /usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf




本文转自 justin_peng 51CTO博客,原文链接:http://blog.51cto.com/ityunwei2017/1653088,如需转载请自行联系原作者
相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
15天前
|
Linux Shell
Linux手动清理Linux脚本日志定时清理日志和log文件执行表达式
Linux手动清理Linux脚本日志定时清理日志和log文件执行表达式
70 1
|
25天前
|
监控 Shell Linux
【Shell 命令集合 系统管理 】Linux 自动轮转(log rotation)日志文件 logrotate命令 使用指南
【Shell 命令集合 系统管理 】Linux 自动轮转(log rotation)日志文件 logrotate命令 使用指南
45 0
|
8天前
|
存储 监控 安全
Linux系统日志
【4月更文挑战第6天】Linux系统日志,关键用于记录系统状态和事件,包括内核、系统、安全和应用日志,助力管理员诊断问题、确保系统正常运行。日志管理涉及收集、分析、备份等,常用工具如rsyslog、systemd-journal和logrotate(用于日志轮转)。重视日志文件的存储管理,防止空间占用过多。
16 1
Linux系统日志
|
1天前
|
SQL 监控 安全
Linux&Windows 日志分析 陇剑杯 CTF
Linux&Windows 日志分析 陇剑杯 CTF
6 0
|
8天前
|
运维 监控 应用服务中间件
LNMP详解(十四)——Nginx日志详解
LNMP详解(十四)——Nginx日志详解
16 2
|
15天前
|
运维 监控 安全
linux日志分析与追踪
在Linux中,日志分析涉及检查 `/var/log` 下的不同文件,如`messages`、`auth.log`、`kern.log`等,以及Web服务器和数据库日志。使用`tail`、`grep`、`awk`等工具实时查看和搜索日志,`logrotate`管理日志大小,`journalctl`处理Systemd日志,而`Splunk`等工具则用于集中式分析。分析技巧包括异常检测、时间关联和阈值监控。安全事件追踪结合登录失败日志、网络嗅探和IDS/IPS。日志链路追踪在分布式系统中尤为重要,帮助定位服务调用问题。有效的日志管理和分析能增强系统安全和故障排除能力。
19 7
|
25天前
|
监控 Shell Linux
【Shell 命令集合 系统管理 】Linux 实时监控日志文件 swatch命令 使用指南
【Shell 命令集合 系统管理 】Linux 实时监控日志文件 swatch命令 使用指南
33 1
|
存储 监控 网络协议
Linux日志分析工具之AWStats
AWStats是一款功能强大且功能强大的免费工具,可以图形方式生成高级Web,流媒体,ftp或邮件服务器统计信息。此日志分析器用作CGI或命令行, 并在几个图形网页中显示您的日志包含的所有可能信息。
Linux日志分析工具之AWStats
|
监控 Linux
15.8 Linux日志分析工具
日志是非常重要的系统文件,管理员每天的重要工作就是分析和查看服务器的日志,判断服务器的健康状态。但是日志管理又是一项非常枯燥的工作,如果需要管理员手工查看服务器上所有的日志,那实在是一项非常痛苦的工作。有些管理员就会偷懒,省略日志的检测工作,但是这样做非常容易导致服务器出现问题。
276 0
15.8 Linux日志分析工具