最近做一个新项目，要做日志集中收集和处理，拿到机器一看，这批机器用的都是SUSE10 SP2系统，日志服务器用的都是syslog-ng。之前写过写过一篇关于rsyslog的博文，目前也用不上了。总不能把这些机器都挨个装一遍rsyslog吧。只能硬着头皮学一下syslog-ng了。搜索了一下syslog-ng。发现这个服务还不错。下面我们就具体来了解一下吧。
简介
Syslog-ng是由Balabit IT Security Ltd.维护的一套开源的Unix和类Unix系统的日志服务套件。它是一个灵活的、可伸缩的系统日志记录程序。对于服务器日志集中收集，使用它是一个不错的解决方案。
Syslog-ng主要特性有：
-
支持SSL/TSL协议
-
支持将日志写入数据库中,支持的数据库有MySQL, Microsoft SQL (MSSQL),Oracle, PostgreSQL, and SQLite.
-
支持标准的syslog协议
-
支持filter、parse以及rewrite
-
支持更多的平台
-
更高的负载能力
Syslog-ng工作原理：
Syslog-ng工作模式：
-
Client mode
-
Relay mode
-
Server mode
系统环境：
Centos5.8 x86_64
源码安装
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
|
mkdir
-p
/data/software
cd
/data/software
wget http:
//www
.balabit.com
/downloads/files/syslog-ng/open-source-edition/3
.3.11
/source/syslog-ng_3
.3.11.
tar
.gz
wget http:
//www
.balabit.com
/downloads/files/syslog-ng/open-source-edition/3
.3.11
/source/eventlog_0
.2.12.
tar
.gz
tar
zxvfeventlog_0.2.12.
tar
.gz
cd
eventlog-0.2.12/
.
/configure
--prefix=
/usr/local/eventlog
make
&&
make
install
cd
/data/software
tar
zxvf syslog-ng_3.3.11.
tar
.gz
cd
syslog-ng-3.3.11/
.
/configure
--prefix=
/usr/local/syslog-ng
PKG_CONFIG_PATH=
"/usr/local/eventlog/lib/pkgconfig"
make
&&
make
install
cp
contrib
/init
.d.RedHat
/etc/init
.d
/syslog-ng
chmod
+x
/etc/init
.d
/syslog-ng
vim
/etc/init
.d
/syslog-ng
|
YUM安装
由于Centos5.8 x86_64本身的YUM源并没有syslog-ng，所以需要先安装EPEL源。
|
1
2
|
rpm -ivh http:
//dl
.fedoraproject.org
/pub/epel/5/i386/epel-release-5-4
.noarch.rpm
yum -y
install
syslog-ng
|
设置开机启动项
|
1
2
3
4
|
chkconfig syslog off
service syslog stop
chkconfig syslog-ng on
service syslog-ng start
|
配置文件详解：
如果你的syslog-ng是yum或者RPM包安装的，那配置文件路径为/etc/syslog-ng/syslog-ng.conf。如果你是源码包编译安装的，那配置文件路径一般在安装路径下的etc目录当中。
整个配置文件大致分为全局配置、消息源、过滤器、消息目的地和日志路径几部分。
如下图所示：
全局配置：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
|
options { opt1; opt2; ... };
chain_hostnames(
yes
|no)
# 是否打开主机名链功能，打开后可在多网络段转发日志时有效
long_hostnames(
yes
|no)
# 是chain_hostnames的别名，已不建议使用
keep_hostname(
yes
|no)
# 是否保留日志消息中保存的主机名称
use_dns(
yes
|no)
# 是否打开DNS查询功能，
use_fqdn(
yes
|no)
# 是否使用完整的域名
check_hostname(
yes
|no)
# 是否检查主机名有没有包含不合法的字符
bad_hostname(regexp)
# 可通过正规表达式指定某主机的信息不被接受
dns_cache(
yes
|no)
# 是否打开DNS缓存功能
dns_cache_expire(n)
# DNS缓存功能打开时，一个成功缓存的过期时间
dns_cache_expire_failed(n)
# DNS缓存功能打开时，一个失败缓存的过期时间
dns_cache_size(n)
# DNS缓存保留的主机名数量
create_dirs(
yes
|no)
# 当指定的目标目录不存在时，是否创建该目录
dir_owner(uid)
# 目录的UID
dir_group(gid)
# 目录的GID
dir_perm(perm)
# 目录的权限，使用八进制方式标注，例如0644
owner(uid)
# 文件的UID
group(gid)
# 文件的GID
perm(perm)
# 文件的权限，同样，使用八进制方式标注
gc_busy_threshold(n)
# 当syslog-ng忙时，其进入垃圾信息收集状态的时间一旦分派的对象达到这个数字，syslog-ng就启动垃圾信息收集状态。默认值是：3000。
gc_idle_threshold(n)
# 当syslog-ng空闲时，其进入垃圾信息收集状态的时间一旦被分派的对象到达这个数字，syslog-ng就会启动垃圾信息收集状态，默认值是：100
log_fifo_size(n)
# 输出队列的行数
log_msg_size(n)
# 消息日志的最大值（bytes）
mark(n)
# 多少时间（秒）写入两行MARK信息供参考，目前没有实现
stats(n)
# 多少时间（秒）写入两行STATUS信息,默认值是：600
sync
(n)
# 缓存多少行的信息再写入文件中，0为不缓存，局部参数可以覆盖该值。
time_reap(n)
# 在没有消息前，到达多少秒，即关闭该文件的连接
time_reopen(n)
# 对于死连接，到达多少秒，会重新连接
use_time_recvd(
yes
|no)
# 宏产生的时间是使用接受到的时间，还是日志中记录的时间；建议使用R_的宏代替接收时间，S_的宏代替日志记录的时间，而不要依靠该值定义。
|
消息源：
|
1
2
3
4
5
6
7
8
9
10
11
|
source
<sourcename> {sourcedriver params; sourcedriver params; ... };
internal()
# syslog-ng内部产生的消息
file
()
# 从指定的文件读取日志信息
pipe()
# 从指定的管道，读取日志信息
fifo()
# 从指定的FIFO设备，读取日志信息
program()
# 打开指定的应用程序，从它的标准输出读取消息
sun-stream(), sun-streams()
# 在solaris系统中，打开一个（多个）指定的STREAM设备，从其中读取日志消息
tcp(), tcp6()
# 在指定的TCP端口接收日志消息
udp(), udp6()
# 在指定的UDP端口接收日志消息
unix-dgram()
# 打开指定的SOCK_DGRAM模式的unix套接字，接收日志消息
unix-stream()
# 打开指定的SOCK_STREAM模式的unix套接字，接收日志消息
|
过滤器：
|
1
2
3
4
5
6
|
filter <filtername> {expression; };
facility()
# 根据facility（设备）选择日志消息
filter()
# 调用另一条过滤规则
host()
# 日志消息的主机名是否和一个正则表达式匹配
level() or priority()
# 根据level（优先级）选择日志消息
match()
# 对日志消息的内容进行正则匹配
|
消息目的地：
|
1
2
3
4
5
6
7
8
9
10
11
|
destination <destname> {destdriver params; destdriver params; ... ; };
file
()
# 把日志消息写入指定的文件
pipe()
# 把日志消息发送到指定的管道
fifo()
# 把日志消息发送到指定的FIFO设备
program()
# 启动指定的程序，并把日志消息发送到该进程的标准输入
sql()
# 把日志消息写入数据库，适用于3.x版本及更高版本的syslog-ng
tcp() and tcp6()
# 把日志消息发送到指定的TCP端口
udp() and udp6()
# 把日志消息发送到指定的UDP端口
unix-dgram()
# 把日志消息写入指定的SOCK_DGRAM模式的unix套接字
unix-stream()
# 把日志消息写入指定的SOCK_STREAM模式的unix套接字
usertty()
# 把日志消息发送到已经登陆的指定用户终端窗口
|
消息路径：
|
1
|
log {
source
S1;
source
S2; ...filter F1; filter F2; ... destination D1; destination D2; ... };
|
配置实例：
-
单机配置：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
|
options {
sync
(0);
time_reopen (10);
log_fifo_size (1000);
long_hostnames (off);
use_dns (no);
use_fqdn (no);
create_dirs (no);
keep_hostname (
yes
);
};
source
s_sys {
file
(
"/proc/kmsg"
log_prefix(
"kernel: "
));
unix-stream (
"/dev/log"
);
internal();
# udp(ip(0.0.0.0) port(514));
};
destination d_cons {
file
(
"/dev/console"
); };
destination d_mesg {
file
(
"/var/log/messages"
); };
destination d_auth {
file
(
"/var/log/secure"
);};
destination d_mail {
file
(
"/var/log/maillog"
sync
(10)); };
destination d_spol {
file
(
"/var/log/spooler"
); };
destination d_boot {
file
(
"/var/log/boot.log"
); };
destination d_cron {
file
(
"/var/log/cron"
); };
destination d_kern {
file
(
"/var/log/kern"
);};
destination d_mlal {usertty(
"*"
); };
filter f_kernel { facility(kern); };
filter f_default { level(info..emerg) and
not (facility(mail)
or facility(authpriv)
or facility(
cron
)); };
filter f_auth { facility(authpriv); };
filter f_mail { facility(mail); };
filter f_emergency { level(emerg); };
filter f_news { facility(uucp) or
(facility(news)
andlevel(crit..emerg)); };
filter f_boot { facility(local7); };
filter f_cron { facility(
cron
); };
#log { source(s_sys);filter(f_kernel); destination(d_cons); };
log {
source
(s_sys);filter(f_kernel); destination(d_kern); };
log {
source
(s_sys);filter(f_default); destination(d_mesg); };
log {
source
(s_sys);filter(f_auth); destination(d_auth); };
log {
source
(s_sys);filter(f_mail); destination(d_mail); };
log {
source
(s_sys);filter(f_emergency); destination(d_mlal); };
log {
source
(s_sys);filter(f_news); destination(d_spol); };
log {
source
(s_sys);filter(f_boot); destination(d_boot); };
log {
source
(s_sys);filter(f_cron); destination(d_cron); };
|
-
C/S模式：
服务端配置：
|
1
2
3
4
5
6
7
8
|
source
s_sys {
file
(
"/proc/kmsg"
log_prefix(
"kernel: "
));
unix-stream (
"/dev/log"
);
internal();
udp(ip(0.0.0.0) port(514));
};
destination d_mesg {
file
(
"/var/log/messages"
); };
log {
source
(s_sys);destination(d_mesg); };
|
客户端配置：
|
1
2
3
4
5
6
7
|
source
s_sys {
file
(
"/proc/kmsg"
log_prefix(
"kernel: "
));
unix-stream (
"/dev/log"
);
internal();
};
destination d_mesg {udp(ip(0.0.0.0) port(514));};
log {
source
(s_sys);destination(d_mesg); };
|
日志入库：
创建需要的库
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
|
CREATE
DATABASE
syslog;
USE syslog;
CREATE
TABLE
logs (
host
varchar
(32)
default
NULL
,
facility
varchar
(10) defaultNULL,
priority
varchar
(10) defaultNULL,
level
varchar
(10)
default
NULL
,
tag
varchar
(10)
default
NULL
,
date
date
default
NULL
,
time
time
default
NULL
,
program
varchar
(15)
default
NULL
,
msg text,
seq
int
(10) unsigned
NOT
NULLauto_increment,
PRIMARY
KEY
(seq),
KEY
host (host),
KEY
seq (seq),
KEY
program (program),
KEY
time
(
time
),
KEY
date
(
date
),
KEY
priority (priority),
KEY
facility (facility)
) TYPE=MyISAM;
|
|
1
|
mkfifo
/tmp/mysql
.pipe
|
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
|
source
s_sys {
file
(
"/proc/kmsg"
log_prefix(
"kernel: "
));
unix-stream (
"/dev/log"
);
internal();
udp(ip(0.0.0.0) port(514));
};
destination d_mysql {
program(
"/usr/bin/mysql-uroot syslog < /tmp/mysql.pipe"
);
pipe(
"/tmp/mysql.pipe"
template("INSERT INTO logs(host, facility, priority, level, tag,
date
,
time
, program, msg) VALUES (
'$HOST'
,
'$FACILITY'
,
'$PRIORITY'
,
'$LEVEL'
,
'$TAG'
,
'$YEAR-$MONTH-$DAY'
,
'$HOUR:$MIN:$SEC'
,
'$PROGRAM'
,
'$MSG'
);\n") template-escape(
yes
));
};
log {
source
(s_sys);destination(d_mysql); };
|
到这里为止，syslog-ng常用的配置方法基本上都有了。大家可以尝试安装使用一下，只要灵活配置好配置文件，syslog-ng不光是可以收集系统日志，还可以收集各类服务日志等等。如果大家在使用当中有什么问题欢迎和我交流。O(∩_∩)O~
本文转自 cyr520 51CTO博客，原文链接:http://blog.51cto.com/cyr520/1245650
