使用cron,logrotate来管理日志文件

简介:

1) logrotate配置
   logrotate 程序是一个日志文件管理工具。用来把旧的日志文件删除,并创建新的日志文件,我们把它叫做“转储”。
   我们可以根据日志文件的大小,也可以根据其天数来转储,这个过程一般通过 cron 程序来执行。
   logrotate 程序还可以用于压缩日志文件,以及发送日志到指定的E-mail 。

   logrotate 的配置文件是 /etc/logrotate.conf  主要参数如下表:

   参数                         功能
   compress                     通过gzip 压缩转储以后的日志
   nocompress                   不需要压缩时,用这个参数
   copytruncate                 用于还在打开中的日志文件,把当前日志备份并截断
   nocopytruncate               备份日志文件但是不截断
   create mode owner group      转储文件,使用指定的文件模式创建新的日志文件
   nocreate                     不建立新的日志文件
   delaycompress 和 compress 一起使用时,转储的日志文件到下一次转储时才压缩
   nodelaycompress              覆盖 delaycompress 选项,转储同时压缩。
   errors address               专储时的错误信息发送到指定的Email 地址
   ifempty                      即使是空文件也转储,这个是 logrotate 的缺省选项。
   notifempty                   如果是空文件的话,不转储
   mail address                 把转储的日志文件发送到指定的E-mail 地址
   nomail                       转储时不发送日志文件
   olddir directory             转储后的日志文件放入指定的目录,必须和当前日志文件在同一个文件系统
   noolddir                     转储后的日志文件和当前日志文件放在同一个目录下
   prerotate/endscript          在转储以前需要执行的命令可以放入这个对,这两个关键字必须单独成行
   postrotate/endscript         在转储以后需要执行的命令可以放入这个对,这两个关键字必须单独成行
   daily                        指定转储周期为每天
   weekly                       指定转储周期为每周
   monthly                      指定转储周期为每月
   rotate count                 指定日志文件删除之前转储的次数,0 指没有备份,5 指保留5 个备份
   tabootext [+] list           让logrotate 不转储指定扩展名的文件,缺省的扩展名是:.rpm-orig, .rpmsave, v, 和 ~ 
   size size                    当日志文件到达指定的大小时才转储,Size 可以指定 bytes (缺省)以及KB (sizek)或者MB (sizem).

2) 缺省配置 logrotate
   logrotate 缺省的配置文件是 /etc/logrotate.conf
   
   Red Hat Linux 缺省安装的文件内容是:

    #  see  " man logrotate "   for  details
   
#  rotate log  files  weekly
   weekly

   
#  keep  4  weeks worth of backlogs
   rotate 
4

   
#  send errors to root
   errors root
   
#  create new  ( empty )  log  files  after rotating old ones
   create

   
#  uncomment this  if  you want your log  files  compressed
   
# compress
   
1
   
#  RPM packages drop log rotation information into this directory
   include 
/ etc / logrotate . d

   
#  no packages own lastlog or wtmp --we'll rotate them here
   
/ var / log / wtmp {
   monthly
   create 
0664  root utmp
   rotate 
1
   }

   
/ var / log / lastlog {
   monthly
   rotate 
1
   }

   
#  system-specific logs may be configured here


   缺省的配置一般放在logrotate.conf 文件的最开始处,影响整个系统。在本例中就是前面12行。

   第三行 weekly 指定所有的日志文件每周转储一次。
   第五行 rotate 4 指定转储文件的保留 4份。
   第七行 errors root 指定错误信息发送给root。
   第九行 create 指定 logrotate 自动建立新的日志文件,新的日志文件具有和原来的文件一样的权限。
   第11行 #compress 指定不压缩转储文件,如果需要压缩,去掉注释就可以了。

3) 使用include 选项读取其他配置文件
   include 选项允许系统管理员把分散到几个文件的转储信息,集中到一个主要的配置文件。当 logrotate 从logrotate.conf 读到include 选项时,会从指定文件读入配置信息,就好像他们已经在/etc/logrotate.conf 中一样。

   第13行 include /etc/logrotate.d 告诉 logrotate 读入存放在/etc/logrotate.d 目录中的日志转储参数,当系统中安装了RPM 软件包时,使用include 选项十分有用。RPM 软件包的日志转储参数一般存放在/etc/logrotate.d 目录。

   include 选项十分重要,一些应用把日志转储参数存放在 /etc/logrotate.d 。

   典型的应用有:apache, linuxconf, samba, cron 以及syslog。

   这样,系统管理员只要管理一个 /etc/logrotate.conf 文件就可以了。

4) 使用include 选项覆盖缺省配置
   当 /etc/logrotate.conf 读入文件时,include 指定的文件中的转储参数将覆盖缺省的参数,如下例:

 

    #  linuxconf 的参数
   
/ var / log / htmlaccess . log
   {
   errors jim
   notifempty
   nocompress
   weekly
   prerotate
     
/ usr / bin / chattr -a  / var / log / htmlaccess . log
   endscript
   postrotate
     
/ usr / bin / chattr  + / var / log / htmlaccess . log
   endscript
   }
   
/ var / log / netconf . log
   {
   nocompress
   monthly
   }

 

   在这个例子中,当 /etc/logrotate.d/linuxconf 文件被读入时,下面的参数将覆盖/etc/logrotate.conf中缺省的参数。

   Notifempty
   errors jim

5) 为指定的文件配置转储参数
   经常需要为指定文件配置参数,一个常见的例子就是每月转储/var/log/wtmp。为特定文件而使用的参数格式是:

   # 注释
   /full/path/to/file
   {
   option(s)
   }

   下面的例子就是每月转储 /var/log/wtmp 一次:

    # Use  logrotate to rotate wtmp
   
/ var / log / wtmp
   {
   monthly
   rotate 
1
   }

 

6) 其他需要注意的问题
   a. 尽管花括号的开头可以和其他文本放在同一行上,但是结尾的花括号必须单独成行。

   b. 使用 prerotate 和 postrotate 选项
   下面的例子是典型的脚本 /etc/logrotate.d/syslog,这个脚本只是对 /var/log/messages 有效。

 

    / var / log / messages
   { 
   prerotate
     
/ usr / bin / chattr -a  / var / log / messages
   endscript
   postrotate
     
/ usr / bin / kill -HUP syslogd
     
/ usr / bin / chattr  + / var / log / messages
   endscript
   }

 

   第一行指定脚本对 /var/log messages 有效
   prerotate 命令指定转储以前的动作
     /usr/bin/chattr -a 去掉/var/log/messages文件的“只追加”属性 
   endscript 结束
   postrotate 指定转储后的动作
     /usr/bin/killall -HUP syslogd 用来重新初始化系统日志守护程序 syslogd
     /usr/bin/chattr +a /var/log/messages 重新为 /var/log/messages 文件指定“只追加”属性,这样防治程序员或用户覆盖此文件。
   最后的 endscript 用于结束 postrotate 部分的脚本

   c. logrotate 的运行分为三步:
   判断系统的日志文件,建立转储计划以及参数,通过cron daemon 运行下面的代码是 Red Hat Linux 缺省的crontab 来每天运行logrotate。

 

    #/ etc / cron . daily / logrotate
   
# / bin / sh

   
/ usr / sbin / logrotate  / etc / logrotate . conf

 

   d. /var/log/messages 不能产生的原因:
   这种情况很少见,但是如果你把/etc/services 中的 514/UDP 端口关掉的话,这个文件就不能产生了。

7) cron
   cron 是一个可以用来根据时间、日期、月份、星期的组合来调度对重复任务的执行的守护进程。

   cron 假定系统持续运行。如果当某任务被调度时系统不在运行,该任务就不会被执行。 
   要使用 cron 服务,你必须安装了 vixie-cron RPM 软件包,而且必须在运行 crond 服务。要判定该软件包是否已安装,使用 rpm -q vixie-cron 命令。要判定该服务是否在运行,使用 /sbin/service crond status 命令。

   a. 配置 cron 任务
   cron 的主配置文件是 /etc/crontab,它包括下面几行:

 

    SHELL =/ bin / bash
   
PATH =/ sbin: / bin: / usr / sbin: / usr / bin
   MAILTO
= root
   HOME
=/

   
#   run -parts
   
01  * * * * root  run -parts  / etc / cron . hourly
   
02   4  * * * root  run -parts  / etc / cron . daily
   
22   4  * *  0  root  run -parts  / etc / cron . weekly
   
42   4   1  * * root  run -parts  / etc / cron . monthly 

 

   前四行是用来配置 cron 任务运行环境的变量。SHELL 变量的值告诉系统要使用哪个 shell 环境(在这个例子里是 bash shell);PATH 变量定义用来执行命令的路径。cron 任务的输出被邮寄给 MAILTO 变量定义的用户名。如果 MAILTO 变量被定义为空白字符串(MAILTO=""),电子邮件就不会被寄出。HOME 变量可以用来设置在执行命令或脚本时使用的主目录。

   /etc/crontab 文件中的每一行都代表一项任务,它的格式是: 
   minute   hour   day   month   dayofweek   command

   minute — 分钟,从 0 到 59 之间的任何整数
   hour — 小时,从 0 到 23 之间的任何整数
   day — 日期,从 1 到 31 之间的任何整数(如果指定了月份,必须是该月份的有效日期)
   month — 月份,从 1 到 12 之间的任何整数(或使用月份的英文简写如 jan、feb 等等)
   dayofweek — 星期,从 0 到 7 之间的任何整数,这里的 0 或 7 代表星期日(或使用星期的英文简写如 sun、mon 等等)
   command — 要执行的命令(命令可以是 ls /proc >> /tmp/proc 之类的命令,也可以是执行你自行编写的脚本的命令。)

   在以上任何值中,星号(*)可以用来代表所有有效的值。譬如,月份值中的星号意味着在满足其它制约条件后每月都执行该命令。 
   整数间的短线(-)指定一个整数范围。譬如,1-4 意味着整数 1、2、3、4。 
   用逗号(,)隔开的一系列值指定一个列表。譬如,3, 4, 6, 8 标明这四个指定的整数。 
   正斜线(/)可以用来指定间隔频率。在范围后加上 /<integer> 意味着在范围内可以跳过 integer。譬如,0-59/2 可以用来在分钟字段定义每两分钟。间隔频率值还可以和星号一起使用。例如,*/3 的值可以用在月份字段中表示每三个月运行一次任务。 
   开头为井号(#)的行是注释,不会被处理。

   如你在 /etc/crontab 文件中所见,它使用 run-parts 脚本来执行 /etc/cron.hourly、/etc/cron.daily、/etc/cron.weekly 和 /etc/cron.monthly 目录中的脚本,这些脚本被相应地每小时、每日、每周、或每月执行。这些目录中的文件应该是 shell 脚本。

   如果某 cron 任务需要根据调度来执行,而不是每小时、每日、每周、或每月地执行,它可以被添加到 /etc/cron.d 目录中。该目录中的所有文件使用和 /etc/crontab 中一样的语法。范例请参见下例。

 

    #  record the memory usage of the system every monday 
   
#  at  3 :30AM in the file  / tmp / meminfo
   
30   3  * * mon cat  / proc / meminfo  >>   / tmp / meminfo
   
#   run  custom script the first day of every month at  4 :10AM
   
10   4   1  * *  / root / scripts / backup . sh 

 

   根用户以外的用户可以使用 crontab 工具来配置 cron 任务。所有用户定义的 crontab 都被保存在 /var/spool/cron 目录中,并使用创建它们的用户身份来执行。要以某用户身份创建一个 crontab 项目,登录为该用户,然后键入 crontab -e 命令,使用由 VISUAL 或 EDITOR 环境变量指定的编辑器来编辑该用户的 crontab。该文件使用的格式和 /etc/crontab 相同。当对 crontab 所做的改变被保存后,该 crontab 文件就会根据该用户名被保存,并写入文件 /var/spool/cron/username 中。

   cron 守护进程每分钟都检查 /etc/crontab 文件、etc/cron.d/ 目录、以及 /var/spool/cron 目录中的改变。如果发现了改变,它们就会被载入内存。这样,当某个 crontab 文件改变后就不必重新启动守护进程了。

   b. 控制对 cron 的使用
   /etc/cron.allow 和 /etc/cron.deny 文件被用来限制对 cron 的使用。这两个使用控制文件的格式都是每行一个用户。两个文件都不允许空格。如果使用控制文件被修改了,cron 守护进程(crond)不必被重启。使用控制文件在每次用户添加或删除一项 cron 任务时都会被读取。

   无论使用控制文件中的规定如何,根用户都总是可以使用 cron。 
   如果 cron.allow 文件存在,只有其中列出的用户才被允许使用 cron,并且 cron.deny 文件会被忽略。 
   如果 cron.allow 文件不存在,所有在 cron.deny 中列出的用户都被禁止使用 cron。

   c. 启动和停止服务
   要启动 cron 服务,使用 /sbin/service crond start 命令。要停止该服务,使用 /sbin/service crond stop 命令。推荐你在引导时启动该服务。

 

eg.

[root@itlong /etc/cron.d]# cat go

59 23 * * * root /usr/sbin/logrotate -v -f /usr/local/go/logrotate.conf

[shenhongxi@itlong /usr/local/go]$ cat logrotate.conf

/home/shenhongxi/go/*.log /data/whatsapp/log/* {

  create

  dateext

  missingok

  notifempty

  nocompress

  daily

  rotate 50

 

}



原文链接:[http://wely.iteye.com/blog/2376270]

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
23天前
|
Linux Shell
Linux手动清理Linux脚本日志定时清理日志和log文件执行表达式
Linux手动清理Linux脚本日志定时清理日志和log文件执行表达式
77 1
|
1月前
|
Dubbo Java 应用服务中间件
Dubbo日志文件输出到指定目录 如何定义?
Dubbo日志文件输出到指定目录 如何定义?
|
1月前
|
Shell Linux C语言
【Shell 命令集合 网络通讯 】Linux 查看系统中的UUCP日志文件 uulog命令 使用指南
【Shell 命令集合 网络通讯 】Linux 查看系统中的UUCP日志文件 uulog命令 使用指南
29 0
|
1月前
|
Linux 应用服务中间件 nginx
【PUSDN】centos查看日志文件内容,包含某个关键字的前后5行日志内容,centos查看日志的几种方法
【PUSDN】centos查看日志文件内容,包含某个关键字的前后5行日志内容,centos查看日志的几种方法
48 0
|
1月前
|
监控 Shell Linux
【Shell 命令集合 系统管理 】Linux 自动轮转(log rotation)日志文件 logrotate命令 使用指南
【Shell 命令集合 系统管理 】Linux 自动轮转(log rotation)日志文件 logrotate命令 使用指南
50 0
|
4月前
【云备份|| 日志 day6】文件业务处理模块
【云备份|| 日志 day6】文件业务处理模块
|
3月前
|
SQL Java 数据库连接
Mybatis之Mybatis简介、搭建Mybatis相关步骤(开发环境、maven、核心配置文件、mapper接口、映射文件、junit测试、log4j日志)
【1月更文挑战第2天】 MyBatis最初是Apache的一个开源项目iBatis, 2010年6月这个项目由Apache Software Foundation迁移到了Google Code。随着开发团队转投Google Code旗下,iBatis3.x正式更名为MyBatis。代码于2013年11月迁移到Github iBatis一词来源于“internet”和“abatis”的组合,是一个基于Java的持久层框架。iBatis提供的持久层框架包括SQL Maps和Data Access Objects(DAO)
202 3
Mybatis之Mybatis简介、搭建Mybatis相关步骤(开发环境、maven、核心配置文件、mapper接口、映射文件、junit测试、log4j日志)
|
1月前
|
Dubbo Java 应用服务中间件
Dubbo日志文件输出到指定目录 如何定义?
Dubbo日志文件输出到指定目录 如何定义?
|
1月前
|
Dubbo Java 应用服务中间件
Dubbo日志文件输出到指定目录 如何定义?
Dubbo日志文件输出到指定目录 如何定义?
|
5天前
|
运维 Oracle 关系型数据库
Oracle日志文件:数据王国的“记事本”
【4月更文挑战第19天】Oracle日志文件是数据库稳定运行的关键,记录数据变更历史,用于恢复和故障处理。它们协调并发操作,确保数据一致性和完整性。日志文件实时写入操作信息并定期刷新到磁盘,便于数据恢复。然而,日志文件需备份和归档以保证安全性,防止数据丢失。日志文件,数据王国的“记事本”,默默守护数据安全。

热门文章

最新文章