应用程序的日志使用rsyslog传送

简介:

rsyslog默认只可以传送系统的日志,比如DHCP,cron等,现在要传送一个服务的日志到远端的rsyslog服务器,该怎么实现呢?

解决方法:要使用rsyslog的imfile模块。

参考官方url:http://www.rsyslog.com/doc/v8-stable/configuration/modules/imfile.html

参考网上url:http://www.tuicool.com/articles/Jv2eUvn


rsyslog的配置文件(过滤掉了注释的内容):

[root@pf ~]# cat /etc/rsyslog.conf  | egrep -v  "#|^$"
$ActionFileDefaultTemplate RSYSLOG_TraditionalFileFormat
$IncludeConfig /etc/rsyslog.d/*.conf
*.info;mail.none;authpriv.none;cron.none                /var/log/messages
authpriv.*                                              /var/log/secure
mail.*                                                  -/var/log/maillog
cron.*                                                  /var/log/cron
*.emerg                                                 *
uucp,news.crit                                          /var/log/spooler
local7.*                                                /var/log/boot.log
$ModLoad imfile
$InputFileName /usr/local/pf/logs/packetfence.log
$InputFileTag packetfence:
$InputFileSeverity info 
$InputFileStateFile stat-packetfence ##文件名变了,这个StateFile标志必须变,否则无法传输
$InputFileFacility local5
$InputFilePollInterval 1
$InputFilePersistStateInterval 1
$InputRunFileMonitor
local5.*  @10.64.41.223:514

[root@pf ~]# 

修改完配置文件,重启服务

[root@pf ~]# /etc/init.d/rsyslog  restart
Shutting down system logger:                               [  OK  ]
Starting system logger:                                    [  OK  ]
[root@pf ~]#

红色字体是为了传送/usr/local/pf/logs/packetfence.log到10.64.41.223:514而新加的配置。


以上是imfile模块旧版本(rsyslog v5)的配置语法,下面是imfile模块新版本(rsyslog v8)配置的语法(仅供参考):


###bak wifi log to syslog-server,add by wuxiaoyu
#module(load="imfile" PollingInterval="5") 
#input(type="imfile"
#       File="/usr/local/pf/logs/packetfence.log"
#       Tag="packetfence"
#       Severity="error"
#       Facility="local5")


rsylog遇到的问题:

 1,报错:rhel6 rsyslogd-2177: imuxsock begins to drop messages from pid 24542 due to rate-limiting 怎么解决?

编辑/etc/rsyslog.conf,紧接着$ModLoad imuxsock这行后面,加入如下2行:
$IMUXSockRateLimitInterval 0
$SystemLogRateLimitInterval 0
保存退出,然后重启rsyslog:
service rsyslog restart
解决!

2,/var/log/message报错。rsyslog被自动重启

Oct 11 03:32:18 pf rsyslogd: [origin software="rsyslogd" swVersion="5.8.10" x-pid="16441" x-info="http://www.rsyslog.com"] rsyslogd was HUPed

解决方法:

[root@cobber logrotate.d]# cat /etc/logrotate.d/syslog 

/var/log/cron

/var/log/maillog

/var/log/messages

/var/log/secure

/var/log/spooler

{

    sharedscripts

    postrotate

        /bin/kill -HUP `cat /var/run/syslogd.pid 2> /dev/null` 2> /dev/null || true

    endscript

}

[root@cobber logrotate.d]# 

去掉红色的部分。

3,/usr/local/pf/logs/packetfence.log被logrotate自动切割后,imfile就无法将新生成的packetfence.log传送到远端的syslog server,google后发现问题的原因是packetfence.log相关的logrotate配置文件中的一个参数的问题,如下:

[root@pf logrotate.d]# cat packetfence

# logrotate file for packetfence

/usr/local/pf/logs/*log {

    daily

    rotate 52

    missingok

    compress

    create 640 pf pf

    #copytruncate   ##要注释掉,否则切割后imfile无法传送新的文件

}

copytruncate的作用:参加转载的另一篇博文:http://tenderrain.blog.51cto.com/9202912/1704463

这样出现了一个问题,去掉了这个参数后,程序记录的日志不是正常的日志,需要重启服务才可以记录正常的认证日志。所以后来采取的是下面一种方法。

4,如果上面的方法去掉之后参数之后还是会传不过去,用下面的方法:

/etc/rsyslog.conf 的103行,如下:

103 $InputFileStateFile stat-packetfence24

脚步(作用是修改103行的最后一个数字):

[root@cobber scripts]# cat /etc/scripts/packetfence-rsyslog.sh 
#!/bin/bash
n=`sed -n '103 s#$.*fence\([0-9]\)#\1#gp' /etc/rsyslog.conf`
m=$(($n+1))
eval sed -i '/stat-packetfence/s/$n/$m/' /etc/rsyslog.conf
[root@cobber scripts]# 

日志切割后调用脚步修改最后一个数字,然后重启rsyslog服务(正常情况是重启应用程序的服务,但是这个服务不能随便重启,所以改成重启rsyslog)。

[root@cobber logrotate.d]# cat /etc/logrotate.d/test 
/usr/local/pf/logs/packetfence.log {
    daily
    rotate 52
    missingok
    compress
    create 640 root root
    copytruncate

    postrotate
    /bin/bash /etc/scripts/packetfence-rsyslog.sh > /dev/null 2&>1 && /etc/init.d/rsyslog restart
    endscript

}
[root@cobber logrotate.d]# 

强制切割做测试:

[root@cobber logrotate.d]# logrotate  -f /etc/logrotate.d/test
关闭系统日志记录器:                                       [确定]
启动系统日志记录器:                                       [确定]
[root@cobber logrotate.d]#



Centos搭建rsyslog服务的方法:

服务端:

1,修改rsyslog.conf

[root@cobber ~]# cat /etc/rsyslog.conf  | egrep -v "#|^$"

$ModLoad imudp

$UDPServerRun 514   ##----这两行去掉注释。

$ActionFileDefaultTemplate RSYSLOG_TraditionalFileFormat

$IncludeConfig /etc/rsyslog.d/*.conf

*.info;mail.none;authpriv.none;cron.none                /var/log/messages

authpriv.*                                              /var/log/secure

mail.*                                                  -/var/log/maillog

cron.*                                                  /var/log/cron

*.emerg                                                 *

uucp,news.crit                                          /var/log/spooler

local7.*                                                /var/log/boot.log

local5.* /var/log/local5.log  ##将远程传输过来的local5级别的日志保存到local5.log(自动创建)

[root@cobber ~]# 

2,修改rsyslog

[root@cobber ~]# cat /etc/sysconfig/rsyslog 

# Options for rsyslogd

# Syslogd options are deprecated since rsyslog v3.

# If you want to use them, switch to compatibility mode 2 by "-c 2"

# See rsyslogd(8) for more details

SYSLOGD_OPTIONS="-c 2 -r -m 0"  ##-c指定的范围0-2,否则重启的时候会报错。

[root@cobber ~]# 

3,重启服务并检查端口

[root@cobber ~]# /etc/init.d/rsyslog  restart

关闭系统日志记录器:                                       [确定]

启动系统日志记录器:                                       [确定]

[root@cobber ~]# netstat  -nplu | grep 514

udp        0      0 0.0.0.0:514                 0.0.0.0:*                               24799/rsyslogd      

udp        0      0 :::514                      :::*                                    24799/rsyslogd      

[root@cobber ~]# 

客户端:

1,修改rsyslog.conf

[root@pf logs]# egrep -v "#|^$" /etc/rsyslog.conf 

$IMUXSockRateLimitInterval 0

$SystemLogRateLimitInterval 0

$ActionFileDefaultTemplate RSYSLOG_TraditionalFileFormat

$IncludeConfig /etc/rsyslog.d/*.conf

*.info;mail.none;authpriv.none;cron.none                /var/log/messages

authpriv.*                                              /var/log/secure

mail.*                                                  -/var/log/maillog

cron.*                                                  /var/log/cron

*.emerg                                                 *

uucp,news.crit                                          /var/log/spooler

local7.*                                                /var/log/boot.log

$ModLoad imfile

$InputFileName /usr/local/pf/logs/packetfence.log

$InputFileTag packetfence2:

$InputFileSeverity info 

$InputFileStateFile stat-packetfence2

$InputFileFacility local5

$InputFilePollInterval 1

$InputFilePersistStateInterval 1

$InputRunFileMonitor

local5.*  @10.64.41.223:514 #10.64.41.223是rsyslog服务端的ip

[root@pf logs]# 

#备注:##文件名变了,这个StateFile标志必须变,否则无法传输

2,重启服务

[root@pf logs]# /etc/init.d/rsyslog  restart

Shutting down system logger:                               [  OK  ]

Starting system logger:                                  [  OK  ]

[root@pf logs]# 


测试:

服务端:

tailf /var/log/local5.log

会看到/usr/local/pf/logs/packetfence.log的日志到/var/log/local5.log

手工测试:

echo 1111111111111  >> /usr/local/pf/logs/packetfence.log

在/var/log/local5.log 中可以看到1111111111111 



没有指定-c 的时候,重启rsyslog服务,/var/log/syslog报错内容如下:

May 26 11:24:53 it-mail03 kernel: Kernel logging (proc) stopped.

May 26 11:24:53 it-mail03 rsyslogd: [origin software="rsyslogd" swVersion="5.8.10" x-pid="97905" x-info="http://www.rsyslog.com"] exiting on signal 15.

May 26 11:24:53 it-mail03 kernel: imklog 5.8.10, log source = /proc/kmsg started.

May 26 11:24:53 it-mail03 rsyslogd: [origin software="rsyslogd" swVersion="5.8.10" x-pid="98270" x-info="http://www.rsyslog.com"] start

May 26 11:24:53 it-mail03 rsyslogd: WARNING: rsyslogd is running in compatibility mode. Automatically generated config directives may interfer with your rsyslog.conf settings. We suggest upgrading your config and adding -c5 as the first rsyslogd option.



ubuntu中调整rsyslog启动进程用户的配置参数:

$ModLoad imudp

$UDPServerRun 514

$ModLoad imtcp

$InputTCPServerRun 514

$KLogPermitNonKernelFacility on

$ActionFileDefaultTemplate RSYSLOG_TraditionalFileFormat

$RepeatedMsgReduction on

$FileOwner root

$FileGroup root

$FileCreateMode 0640

$DirCreateMode 0755

$Umask 0022

$PrivDropToUser root

$PrivDropToGroup root

$WorkDirectory /var/log

$IncludeConfig /etc/rsyslog.d/*.conf

有的时候使用如下配置:

cat /etc/rsyslog.d/70-zimbra-auth.conf  

$ModLoad imfile

$InputFileName /opt/zimbra/log/audit.log

$InputFileTag authforzimbra:

$InputFileStateFile auth-zimbra-mail12

$InputFileSeverity info

$InputFileFacility local3

$InputFilePollInterval 1

$InputRunFileMonitor

local3.*  @it-mail03.lf.sankuai.com:514

测试的时候/opt/zimbra/log/audit.log 文件的内容打不到it-mail03的指定文件,但是使用命令

root@dx-it-mail10:/etc/rsyslog.d# logger -p local3.info  "1234"

却可以打过去,说明了是rsyslog对/opt/zimbra/log/audit.log这个文件的读取权限有问题,所以要修改进程的运行用户。




rsyslog配置文件说明:

http://my.oschina.net/0757/blog/198329




      本文转自Tenderrain 51CTO博客,原文链接:http://blog.51cto.com/tenderrain/1701462 ,如需转载请自行联系原作者




相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
30天前
|
监控 Serverless 数据库
Serverless 应用引擎常见问题之biphon-education-配置了SLS后一直重启如何解决
Serverless 应用引擎(Serverless Application Engine, SAE)是一种完全托管的应用平台,它允许开发者无需管理服务器即可构建和部署应用。以下是Serverless 应用引擎使用过程中的一些常见问题及其答案的汇总:
28 5
|
1月前
|
运维 监控 数据挖掘
应用研发平台EMAS产品常见问题之将阿里后台的日志落到我们后台失败如何解决
应用研发平台EMAS(Enterprise Mobile Application Service)是阿里云提供的一个全栈移动应用开发平台,集成了应用开发、测试、部署、监控和运营服务;本合集旨在总结EMAS产品在应用开发和运维过程中的常见问题及解决方案,助力开发者和企业高效解决技术难题,加速移动应用的上线和稳定运行。
|
1月前
|
存储 JSON 应用服务中间件
Higress的日志收集中,底层用的是Envoy,可不可以实现类似NGINX的rsyslog发送?
【2月更文挑战第30天】Higress的日志收集中,底层用的是Envoy,可不可以实现类似NGINX的rsyslog发送?
19 2
|
2月前
|
Web App开发 前端开发 JavaScript
乱花渐欲迷人眼 - 让 SAP UI5 应用的日志输出不再素面朝天
乱花渐欲迷人眼 - 让 SAP UI5 应用的日志输出不再素面朝天
48 0
|
3月前
|
存储 监控 iOS开发
iOS应用崩溃了,如何通过崩溃手机连接电脑查找日志方法
在iOS应用开发过程中,调试日志和奔溃日志是开发者必不可少的工具。当iOS手机崩溃时,我们可以连接电脑并使用Xcode Console等工具来查看日志。然而,这种方式可能不够方便,并且处理奔溃日志也相当繁琐。克魔助手的出现为开发者带来了极大的便利,本文将详细介绍其功能和使用方法。 克魔助手会提供两种日志,一种是实时的,一种的是崩溃的。(由于崩溃日志的环境很麻烦,目前只展示实时日志操作步骤)
|
2月前
电子书阅读分享《Elasticsearch全观测技术解析与应用(构建日志、指标、APM统一观测平台)》
电子书阅读分享《Elasticsearch全观测技术解析与应用(构建日志、指标、APM统一观测平台)》
235 1
|
2月前
让 SAP UI5 应用的日志打印变得五彩缤纷试读版
让 SAP UI5 应用的日志打印变得五彩缤纷试读版
97 2
|
1天前
|
监控 JavaScript Java
|
1月前
|
存储 SQL Serverless
Serverless 应用引擎常见问题之应用下的【应用事件】以及企业级特性下的【事件中心】没有日志如何解决
Serverless 应用引擎(Serverless Application Engine, SAE)是一种完全托管的应用平台,它允许开发者无需管理服务器即可构建和部署应用。以下是Serverless 应用引擎使用过程中的一些常见问题及其答案的汇总:
34 0
|
2月前
|
供应链 Java 测试技术
开发Java应用时如何用好Log
开发Java应用时如何用好Log
73 3

热门文章

最新文章