Linux日志的来龙去脉(上)

简介:

:日志简介

日志对于安全来说,非常重要,他记录了系统每天发生的各种各样的事情,你可以通过他来检查错误发生的原因,或者受到攻击时攻击者留下的痕迹。日志主要的功能有:审计和监测。他还可以实时的监测系统状态,监测和追踪侵入者等等。
Linux系统中,有三个主要的日志子系统:
(1).连接时间日志----由多个程序执行,把纪录写入到/var/log/wtmp/var/run/utmplogin等程序更新wtmputmp文件,使系统管理员能够跟踪谁在何时登录到系统。
(2).进程统计----由系统内核执行。当一个进程终止时,为每个进程往进程统计文件(pacctacct)中写一个纪录。进程统计的目的是为系统中的基本服务提供命令使用统计。
(3).错误日志----syslogd执行。各种系统守护进程、用户程序和内核通过syslog向文件/var/log/messages报告值得注意的事件。另外有许多UNIX程序创建日志。像HTTPFTP这样提供网络服务的服务器也保持详细的日志。
每个使用UNIX/LINUX的人都知道日志的用处,那你是否清楚LINUX这些日志信息处理的来龙去脉呢?
我们可以看到LINUX系统信息日志的途径基本有以下2种:
1dmesg
2/var/log/下的文件
下面我们就从这个2个途径着手,一步步的走下去.
(一)首先,我们来看dmesg这个常见的命令背后隐藏的是什么!!
1)先让我们来man一下
-------------man dmesg--------------------------
NAME
dmesg - print or control the kernel ring buffer
SYNOPSIS
dmesg [ -c ] [ -n level ] [ -s bufsize ]
DESCRIPTION
dmesg is used to examine or control the kernel ring buffer.
The program helps users to print out their bootup mes- sages. Instead of copying the messages by hand, the user need only:
………………
LINUX提供的手册,我们可以得知一条最重要的信息dmesg是从kernel ring buffer(环缓冲区)中读取信息的.
2)那什么是ring buffer?
LINUX,所有的系统信息(包内核信息)都会传送到ring buffer.而内核产生的信息由printk()打印出来。系统启动时所看到的信息都是由该函数打印到屏幕中。 printk()打出的信息往往以<0><2...这的数字表明消息的重要级别。高于一定的优先级别会打印到屏幕上, 否则只会保留在系统的缓冲区中(ring buffer)
至于dmesg具体是如何从ring buffer中读取的,大家可以看dmesg.c源代码.很短,比较容易读懂.
(二)dmesg怎么搞的大家应该很明白了吧.至于/var/log/下的文件更是大家熟悉得不能再熟悉了!
1/var/log/..下为什么有这么多文件呢?
一句话解释syslogd这个守护进程根据/etc/syslog.conf,将不同的服务产生的Log记录到不同的文件中.
这里的/etc/syslog.conf我就不细说了,很多这方面的信息.
2)既然知道了,/var/log/..是由syslogd这个守护进程产生的.那就再顺着这条线走下去.
LINUX系统启动后,由/etc/init.d/sysklogd先后启动klogd,syslogd两个守护进程。
其中klogd会通过syslog()系统调用或者读取proc文件系统来从系统缓冲区(ring buffer)中得到由内核printk()
发出的信息.syslogd是通过klogd来读取系统内核信息.
我想至此,大家心理应该对log产生,读取等一系列的动作有所感觉.
总结
1)所有系统信息是输出到ring buffer中去的.dmesg所显示的内容也是从ring buffer中读取的.
2LINUX系统中/etc/init.d/sysklogd会启动2个守护进程:Klogd&&Syslogd
3klogd是负责读取内核信息的,2种方式: syslog()系统调用(这个函数用法比较全,大家去MAN一下看看直接的对/proc/kmsg进行读取(再这提一下,/proc/kmsg是专门输出内核信息的地方)
4Klogd的输出结果会传送给syslogd进行处理,syslogd会根据/etc/syslog.conf的配置把log 信息输出到/var/log/下的不同文件中。

:常用的日志文件

access-log 纪录HTTP/web的传输
acct/pacct 纪录用户命令
aculog 纪录MODEM的活动
btmp 纪录失败的纪录
lastlog 纪录最近几次成功登录的事件和最后一次不成功的登录
messages syslog中记录信息(有的链接到syslog文件)
sudolog 纪录使用sudo发出的命令
sulog 纪录使用su命令的使用
syslog syslog中记录信息(通常链接到messages文件)
utmp 纪录当前登录的每个用户  /var/run/utmp 
wtmp 一个用户每次登录进入和退出时间的永久纪录  /var/log/wtmp 系统重启及系统状态变化情况。
xferlog 纪录FTP会话
utmpwtmplastlog日志文件是多数重用UNIX日志子系统的关键--保持用户登录进入和退出的纪录。
有关当前登录用户的信息记录在文件utmp中;[针对当前已LOGIN的用户]
登录进入和退出纪录在文件wtmp中;[针对用户的所有历史记录,明细表]
最后一次登录文件可以用lastlog命令察看。
数据交换、关机和重起也记录在wtmp文件中。所有的纪录都包含时间戳。这些文件(lastlog通常不大)在具有大量用户的系统中增长十分迅速。例如 wtmp文件可以无限增长,除非定期截取。许多系统以一天或者一周为单位把wtmp配置成循环使用。它通常由cron运行的脚本来修改。这些脚本重新命名并循环使用wtmp文件。通常,wtmp在第一天结束后命名为wtmp.1;第二天后wtmp.1变为wtmp.2等等,直到wtmp.7
每次有一个用户登录时,login程序在文件lastlog中察看用户的UID。如果找到了,则把用户上次登录、退出时间和主机名写到标准输出中,然后login程序在lastlog中纪录新的登录时间。在新的lastlog纪录写入后,utmp文件打开并插入用户的utmp纪录。该纪录一直用到用户登录退出时删除。 下一步,login程序打开文件wtmp附加用户的utmp纪录。当用户登录退出时,具有更新时间戳的同一utmp纪录附加到文件中。
LOGIN----刷新LAGTLOG----写入用户的utmp纪录-----退出时删除utmp中相应的纪录------LOGIN根据utmp更新对应wtmp文件中的记录。
utmp文件被各种命令文件使用,包括whowusersfinger。均针对系统已login in的用户
wtmp文件被程序lastac使用。这两个命令所按历史记录进行统计

:具体命令

wtmputmp文件都是二进制文件,他们不能被诸如tail命令剪贴或合并(使用cat命令)。用户需要使用whowuserslastac来使用这两个文件包含的信息。
whowho命令查询utmp文件并报告当前登录的每个用户。Who的缺省输出包括用户名、终端类型、登录日期及远程主机。
#who
chyang pts/0 Aug 18 15:06
ynguo pts/2 Aug 18 15:32
如果指明了wtmp文件名,则who命令查询所有以前的纪录。命令who /var/log/wtmp将报告自从wtmp文件创建或删改以来的每一次登录。
ww命令查询utmp文件并显示当前系统中每个用户和它所运行的进程信息。
#w
3:36pm up 1 day, 22:34, 6 users, load average: 0.23, 0.29, 0.27
USER TTY FROM LOGIN@ IDLE JCPU PCPU WHAT
chyang pts/0 202.38.68.242 3:06pm 2:04 0.08s 0.04s -bash
usersusers用单独的一行打印出当前登录的用户,每个显示的用户名对应一个登录会话。如果一个用户有不止一个登录会话,那他的用户名将显示相同的次数。
#users
chyang lewis lewis ylou ynguo ynguo
lastlast命令往回搜索wtmp来显示自从文件第一次创建以来登录过的用户。例如:
#last
chyang pts/9 202.38.68.242 Tue Aug 1 08:34 - 11:23 (02:49)
cfan pts/6 202.38.64.224 Tue Aug 1 08:33 - 08:48 (00:14)
如果指明了用户,那么last只报告该用户的近期活动,例如:
#last root
root pts/4 simba.nic.ustc.e Fri Aug 4 16:50 - 08:20 (15:30)
root pts/4 simba.nic.ustc.e Thu Aug 3 23:55 - 04:40 (04:44)
root pts/11 simba.nic.ustc.e Thu Aug 3 20:45 - 22:02 (01:16)
acac命令根据当前的/var/log/wtmp文件中的登录进入和退出来报告用户连结的时间小时),如果不使用标志,则报告总的时间。
#ac
total 123.45
ac -d显示每天的总的连结时间
#ac -d
Aug 12 total 261.87
Aug 13 total 351.39
Aug 14 total 396.09
Aug 15 total 462.63
Aug 16 total 270.45
Aug 17 total 104.29
Today total 179.02
ac -p显示每个用户的总的连接时间
#ac -p
ynguo 193.23
yucao 3.35
rong 133.40
hdai 10.52
zjzhu 52.87
zqzhou 13.14
liangliu 24.34
total 5178.24
lastloglastlog文件在每次有用户登录时被查询。可以使用lastlog命令来检查某特定用户上次登录的时间,并格式化输出上次登录日志/var/log/lastlog的内容。
它根据UID排序显示登录名、端口号(tty)和上次登录时间。如果一个用户从未登录过,lastlog显示"**Never logged**
注意需要以root运行该命令,例如:
#lastlog
rong 5 202.38.64.187 Fri Aug 18 15:57:01 +0800 2000
dbb **Never logged in**
xinchen **Never logged in**
pb9511 **Never logged in**
xchen 0 202.38.64.190 Sun Aug 13 10:01:22 +0800 2000
另外,可一加一些参数,例如,last -u 102将报告UID102的用户;last -t 7表示限制上一周的报告。




本文转自 vfast_chenxy 51CTO博客,原文链接:http://blog.51cto.com/chenxy/240019,如需转载请自行联系原作者
相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
18天前
|
Linux Shell
Linux手动清理Linux脚本日志定时清理日志和log文件执行表达式
Linux手动清理Linux脚本日志定时清理日志和log文件执行表达式
72 1
|
27天前
|
Shell Linux C语言
【Shell 命令集合 网络通讯 】Linux 查看系统中的UUCP日志文件 uulog命令 使用指南
【Shell 命令集合 网络通讯 】Linux 查看系统中的UUCP日志文件 uulog命令 使用指南
29 0
|
27天前
|
监控 Shell Linux
【Shell 命令集合 系统管理 】Linux 自动轮转(log rotation)日志文件 logrotate命令 使用指南
【Shell 命令集合 系统管理 】Linux 自动轮转(log rotation)日志文件 logrotate命令 使用指南
48 0
|
11天前
|
存储 监控 安全
Linux系统日志
【4月更文挑战第6天】Linux系统日志,关键用于记录系统状态和事件,包括内核、系统、安全和应用日志,助力管理员诊断问题、确保系统正常运行。日志管理涉及收集、分析、备份等,常用工具如rsyslog、systemd-journal和logrotate(用于日志轮转)。重视日志文件的存储管理,防止空间占用过多。
16 1
Linux系统日志
|
3天前
|
SQL 监控 安全
Linux&Windows 日志分析 陇剑杯 CTF
Linux&Windows 日志分析 陇剑杯 CTF
27 0
|
18天前
|
运维 监控 安全
linux日志分析与追踪
在Linux中,日志分析涉及检查 `/var/log` 下的不同文件,如`messages`、`auth.log`、`kern.log`等,以及Web服务器和数据库日志。使用`tail`、`grep`、`awk`等工具实时查看和搜索日志,`logrotate`管理日志大小,`journalctl`处理Systemd日志,而`Splunk`等工具则用于集中式分析。分析技巧包括异常检测、时间关联和阈值监控。安全事件追踪结合登录失败日志、网络嗅探和IDS/IPS。日志链路追踪在分布式系统中尤为重要,帮助定位服务调用问题。有效的日志管理和分析能增强系统安全和故障排除能力。
20 7
|
27天前
|
监控 Shell Linux
【Shell 命令集合 系统管理 】Linux 实时监控日志文件 swatch命令 使用指南
【Shell 命令集合 系统管理 】Linux 实时监控日志文件 swatch命令 使用指南
33 1
|
2月前
|
Linux
Linux日志轮替
Linux日志轮替
45 2
Linux日志轮替
|
2月前
|
监控 安全 Linux
Linux日志管理服务 rsyslogd
Linux日志管理服务 rsyslogd
33 2
Linux日志管理服务 rsyslogd
|
2月前
|
运维 Ubuntu Linux
【Linux操作系统】探秘Linux奥秘:日志管理的解密与实战
【Linux操作系统】探秘Linux奥秘:日志管理的解密与实战
43 0