性能优化:使用ramlog将日志文件转移到内存中

简介:

性能优化:使用ramlog将日志文件转移到内存中

Ramlog 以系统守护进程的形式运行。在系统启动时它创建虚拟磁盘(ramdisk),将 /var/log 下的文件复制到虚拟磁盘中,同时把虚拟磁盘挂载为/var/log。然后所有的日志就会更新到虚拟磁盘上。而当 ramlog 重启或停止时,需要记录到硬盘上的日志就会保留在目录/var/log.hdd中。而关机的时候,(ramdisk上的)日志文件会重新保存到硬盘上,以确保日志一致性。Ramlog 2.x默认使用tmpfs文件系统,同时也可以支持ramfs和内核ramdisk。使用rsync(译注:Linux数据镜像备份工具)这个工具来同步日志。

注意:如果突然断电或者内核崩溃(kernel panic)时,没有保存进硬盘的日志将会丢失。

如果你拥有够多的可用内存,而又想把日志放进虚拟磁盘,就安装ramlog吧。它是笔记本用户、带有UPS的系统或是直接在flash中运行的系统的优良选择,可以节省日志的写入时间。

Ramlog的运行机制以及步骤如下:

  1. Ramlog 由第一个守护进程(这取决于你所安装过的其它守护进程)启动。

  2. 然后创建目录/var/log.hdd并将其硬链至/var/log。

  3. 如果使用的是tmpfs(默认)或者ramfs 文件系统,将其挂载到/var/log上。

  4. 而如果使用的是内核ramdisk,ramdisk会在/dev/ram9中创建,并将其挂载至/var/log。默认情况下ramlog会占用所有ramdisk的内存,其大小由内核参数"ramdisk_size"指定。

  5. 接着其它的守护进程被启动,并在ramdisk中更新日志。Logrotate(译注:Linux日志轮替工具)和 ramdisk 配合的也很好。

  6. 重启(默认一天一次)ramlog时,目录/var/log.hdd将借助rsync与/var/log保持同步。日志自动保存的频率可以通过cron(译注:Linux例行性工作调度)来控制。默认情况下,ramlog 的调度任务放置在目录/etc/cron.daily下。

  7. 系统关机时,ramlog在最后一个守护进程关闭之前关闭。

  8. 在ramlog关闭期间,/var/log.hdd中的文件将被同步至/var/log,接着/var/log和/var/log.hdd都被卸载,然后删除空目录/var/log.hdd。

注意:- 此文仅面向高级用户

在Ubuntu中安装Ramlog

首先需要用以下命令,从这里下载.deb安装包:

 
 
  1. wget http://www.tremende.com/ramlog/download/ramlog_2.0.0_all.deb

下载ramlog_2.0.0_all.deb安装包完毕,使用以下命令进行安装:

 
 
  1. sudo dpkg -i ramlog_2.0.0_all.deb

这一步会完成整个安装,现在你需要运行以下命令:

 
 
  1. sudo update-rc.d ramlog start 2 2 3 4 5 . stop 99 0 1 6 .

现在,在更新sysklogd的初始化顺序,使之能在ramlog停止运行前正确关闭:

 
 
  1. sudo update-rc.d -f sysklogd remove
  2. sudo update-rc.d sysklogd start 10 2 3 4 5 . stop 90 0 1 6 .

然后重启系统:

 
 
  1. sudo reboot

系统重启完毕,运行'ramlog getlogsize'来获取你当前的/var/log的空间大小。在此基础之上多分配40%的空间,确保ramdisk有足够的空间(这整个都将作为ramdisk的空间大小)。

编辑引导配置文件,如/etc/grub.conf,、/boot/grub/menu.lst 或/etc/lilo.conf(译注:具体哪个配置文件视不同引导加载程序而定),给你的当前内核的新增选项 'ramdisk_size=xxx' ,其中xxx是ramdisk的空间大小。

配置Ramlog

基于deb的系统中,Ramlog的配置文件位于/etc/default/ramlog,你可以在该配置文件中设置以下变量:

 
 
  1. RAMDISKTYPE=0
  2. # 取值:
  3. # 0 -- tmpfs (可被交换到交换分区) -- 默认
  4. # 1 -- ramfs (旧内核不能设置最大空间大小,
  5. # 不能被交换到交换分区,和 SELinux 不兼容)
  6. # 2 -- 老式的内核 ramdisk
  7. TMPFS_RAMFS_SIZE=
  8. # 可以用于 tmpfs ramfs 的最大内存大小
  9. # 这个值可以是百分比或数值(单位是 Mb),例如:
  10. # TMPFS_RAMFS_SIZE=40%
  11. # TMPFS_RAMFS_SIZE=100m
  12. # 该值为空表示 tmpfs/ramfs 的大小是全部内存的 50%
  13. # 更多选项可以参考 man mount' 中的‘Mount options for tmpfs' 一节
  14. # (补充,在较新的内核中,ramfs 支持大小限制,
  15. # 虽然 man 中说没有这个挂载选项)
  16. # 该选项仅用于 RAMDISKTYPE=0 1
  17. KERNEL_RAMDISK_SIZE=MAX
  18. #以 kb 为单位指定的内核 ramdisk 大小,或者使用 MAX 来使用整个 ramdisk
  19. #该选项仅用于 RAMDISKTYPE=2
  20. LOGGING=1
  21. # 0=关闭, 1=打开 。记录自身的日志到 /var/log/ramdisk
  22. LOGNAME=ramlog
  23. # 自身的日志文件名 (用于 LOGGING=1时)
  24. VERBOSE=1
  25. # 0=关闭, 1=打开 (设置为 1时,启动或停止失败时会调用 teststartstop 将细节
  26. # 写到日志中)

在Ubuntu中卸载ramlog

打开终端运行以下命令:

sudo dpkg -P ramlog

注意:如果ramlog卸载之前仍在运行,需要重启系统完成整个卸载工作。

原文发布时间:2015-03-26

本文来自云栖合作伙伴“linux中国”

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
15天前
|
Linux Shell
Linux手动清理Linux脚本日志定时清理日志和log文件执行表达式
Linux手动清理Linux脚本日志定时清理日志和log文件执行表达式
70 1
|
1月前
|
Dubbo Java 应用服务中间件
Dubbo日志文件输出到指定目录 如何定义?
Dubbo日志文件输出到指定目录 如何定义?
|
25天前
|
Shell Linux C语言
【Shell 命令集合 网络通讯 】Linux 查看系统中的UUCP日志文件 uulog命令 使用指南
【Shell 命令集合 网络通讯 】Linux 查看系统中的UUCP日志文件 uulog命令 使用指南
28 0
|
1月前
|
Linux 应用服务中间件 nginx
【PUSDN】centos查看日志文件内容,包含某个关键字的前后5行日志内容,centos查看日志的几种方法
【PUSDN】centos查看日志文件内容,包含某个关键字的前后5行日志内容,centos查看日志的几种方法
43 0
|
25天前
|
监控 Shell Linux
【Shell 命令集合 系统管理 】Linux 自动轮转(log rotation)日志文件 logrotate命令 使用指南
【Shell 命令集合 系统管理 】Linux 自动轮转(log rotation)日志文件 logrotate命令 使用指南
45 0
|
1月前
|
Dubbo Java 应用服务中间件
Dubbo日志文件输出到指定目录 如何定义?
Dubbo日志文件输出到指定目录 如何定义?
|
1月前
|
Dubbo Java 应用服务中间件
Dubbo日志文件输出到指定目录 如何定义?
Dubbo日志文件输出到指定目录 如何定义?
|
25天前
|
监控 Shell Linux
【Shell 命令集合 系统管理 】Linux 实时监控日志文件 swatch命令 使用指南
【Shell 命令集合 系统管理 】Linux 实时监控日志文件 swatch命令 使用指南
33 1
|
26天前
|
监控 Java Android开发
构建高效Android应用:从内存管理到性能优化
【2月更文挑战第30天】 在移动开发领域,打造一个流畅且响应迅速的Android应用是每个开发者追求的目标。本文将深入探讨如何通过有效的内存管理和细致的性能调优来提升应用效率。我们将从分析内存泄露的根本原因出发,讨论垃圾回收机制,并探索多种内存优化策略。接着,文中将介绍多线程编程的最佳实践和UI渲染的关键技巧。最后,我们将通过一系列实用的性能测试工具和方法,帮助开发者监控、定位并解决性能瓶颈。这些技术的综合运用,将指导读者构建出更快速、更稳定、用户体验更佳的Android应用。
|
1月前
|
消息中间件 测试技术 Python
Python使用多线程解析超大日志文件
Python使用多线程解析超大日志文件
20 0