访问日志不记录静态文件、访问日志切割、静态元素过期时间

简介:

访问日志不记录静态文件

当访问很多图片,文档等静态资源的时候,会加大你日志的容量,日志容量占用你磁盘空间后,会出现服务器宕机等很严重的问题,这时需要将日志进行配置优化。当访问网页时不记录这些图片、css、js等信息日志。

1、[root@centos7 111.com]# vi /usr/local/apache2.4/conf/extra/httpd-vhosts.conf

<VirtualHost *:80>

    DocumentRoot "/data/wwwroot/111.com"

    ServerName 111.com

    ServerAlias www.111.com www.example.com

    php_admin_flag short_open_tag on

    <IfModule mod_rewrite.c>

        RewriteEngine on

        RewriteCond %{HTTP_HOST} !^111.com$

        RewriteRule ^/(.*)$ http://111.com/$1 [R=301,L]

</IfModule>

    ErrorLog "logs/111.com-error_log"

 SetEnvIf Request_URI ".*\.gif$" img

    SetEnvIf Request_URI ".*\.jpg$" img

    SetEnvIf Request_URI ".*\.png$" img

    SetEnvIf Request_URI ".*\.bmp$" img

    SetEnvIf Request_URI ".*\.swf$" img

    SetEnvIf Request_URI ".*\.js$" img

    SetEnvIf Request_URI ".*\.css$" img

#以上都被标记为img变量;(.gif/.jpg)结尾的;env=!img:这个表示被记录在日志中

    CustomLog "logs/111.com-access_log" combined env=!img

</VirtualHost>

2、[root@centos7 111.com]# /usr/local/apache2.4/bin/apachectl graceful

ded00e66c0799074a5613402e88822e2.png-wh_


8058ca89038aabba8e1123eaa22f7f6e.png-wh_


扩展:

我的需求是,把类似请求 www.aaa.com/aaa/... 这样的请求才记录日志。

在httpd.conf 或者 相关的虚拟主机配置文件中添加

SetEnvIf Request_URI "^/aaa/.*" aaa-request

CustomLog "|/usr/local/apache/bin/rotatelogs -l /usr/local/apache/logs/aaa-access_%Y%m%d.log 86400" combined env=aaa-request


这样就可以了。这个原理和不记录图片等静态访问的日志是一样的。


访问日志切割

1、[root@centos7 111.com]# vi /usr/local/apache2.4/conf/extra/httpd-vhosts.conf


</IfModule>

    ErrorLog "logs/111.com-error_log"

 SetEnvIf Request_URI ".*\.gif$" img

    SetEnvIf Request_URI ".*\.jpg$" img

    SetEnvIf Request_URI ".*\.png$" img

    SetEnvIf Request_URI ".*\.bmp$" img

    SetEnvIf Request_URI ".*\.swf$" img

    SetEnvIf Request_URI ".*\.js$" img

    SetEnvIf Request_URI ".*\.css$" img

    CustomLog "|/usr/local/apache2.4/bin/rotatelogs -l logs/111.com-access_%Y%m%d.log 86400" combined env=!img

#-l:以标准时间计算

#使用rotatelogs切割,按86400秒计算(就是一天的时间切割)

#按每小时 3600秒

</VirtualHost>

2、[root@centos7 111.com]# /usr/local/apache2.4/bin/apachectl graceful

3、看下日志:

8da3eb49759305bf004f7eadca338bf7.png-wh_


4、使用cronolog方式来切割

每一天建立一个新日志

CustomLog "|bin/cronolog logs/access_%Y%m%d.log" combined

每小时建立一个新日志 

CustomLog "|bin/cronolog logs/access_%Y%m%d%h.log" combined


rotatelogs [ -l ] logfile [ rotationtime [ offset ]] | [ filesizeM ]

选项

-l

使用本地时间代替GMT时间作为时间基准。注意:在一个改变GMT偏移量(比如夏令时)的环境中使用-l会导致不可预料的结果。所以一定要加上-l 否则出现的日志时间和实际时间是相差8小时的。


logfile

它加上基准名就是日志文件名。如果logfile中包含”%”,则它会被视为用于strftime()的格式字符串;否则它会被自动加上以秒为单位的”.nnnnnnnnnn”后缀。这两种格式都表示新的日志开始使用的时间。


rotationtime

日志文件滚动的以秒为单位的间隔时间。


offset

相对于UTC的时差的分钟数。如果省略,则假定为”0″并使用UTC时间。比如,要指定UTC时差为”-5小时”的地区的当地时间,则此参数应为”-300″。


filesizeM

指定以filesizeM文件大小滚动,而不是按照时间或时差滚动。


静态元素过期时间

当第一次访问网页时,浏览器自动将静态的元素缓存到你的电脑上(如静态图片资源),第二次访问则不用去服务器上获取,直接在本机电脑上获取缓存,好处:节省了服务器带宽,加速用户访问;缺点:当服务器静态资源更新了,你的本机电脑还在获取之前的缓存,而不是最新的资源,这时用户查看就出错,就需要设置下过期时间

1、访问http://111.com/3.png时,出现304表示直接在缓存上获取

6ad9282a6de510d07d3eb6a06ff8cbd4.png-wh_


2、[root@centos7 111.com]# vi /usr/local/apache2.4/conf/extra/httpd-vhosts.conf

<VirtualHost *:80>

    DocumentRoot "/data/wwwroot/111.com"

    ServerName 111.com

    ServerAlias www.111.com www.example.com

    php_admin_flag short_open_tag on

    <IfModule mod_rewrite.c>

        RewriteEngine on

        RewriteCond %{HTTP_HOST} !^111.com$

        RewriteRule ^/(.*)$ http://111.com/$1 [R=301,L]

</IfModule>

<IfModule mod_expires.c>

    ExpiresActive on

    #打开该功能的开关

    ExpiresByType image/gif  "access plus 1 days"

    ExpiresByType image/jpeg "access plus 24 hours"

    ExpiresByType image/png "access plus 24 hours"

    ExpiresByType text/css "now plus 2 hour"

    ExpiresByType application/x-javascript "now plus 2 hours"

    ExpiresByType application/javascript "now plus 2 hours"

    ExpiresByType application/x-shockwave-flash "now plus 2 hours"

    ExpiresDefault "now plus 0 min"

    #以上是定义不同类型的文件缓存的时间

</IfModule>

    ErrorLog "logs/111.com-error_log"

 SetEnvIf Request_URI ".*\.gif$" img

    SetEnvIf Request_URI ".*\.jpg$" img

    SetEnvIf Request_URI ".*\.png$" img

    SetEnvIf Request_URI ".*\.bmp$" img

    SetEnvIf Request_URI ".*\.swf$" img

    SetEnvIf Request_URI ".*\.js$" img

    SetEnvIf Request_URI ".*\.css$" img

    CustomLog "|/usr/local/apache2.4/bin/rotatelogs -l logs/111.com-access_%Y%m%d.log 86400" combined env=!img

</VirtualHost>

3、[root@centos7 111.com]# /usr/local/apache2.4/bin/apachectl graceful

4、配置Apache,加载expires模块  

添加如下内容

[root@centos7 111.com]# vi /usr/local/apache2.4/conf/httpd.conf

LoadModule expires_module modules/mod_expires.so

[root@centos7 111.com]# /usr/local/apache2.4/bin/apachectl -M |grep expires

 expires_module (shared)

检测:

5a0c7d36967b967628f979e771da53f8.png-wh_

[root@centos7 111.com]# curl -x127.0.0.1:80 111.com/3.png -I

HTTP/1.1 200 OK

Date: Thu, 09 Nov 2017 12:02:48 GMT

Server: Apache/2.4.29 (Unix) PHP/5.6.30

Last-Modified: Thu, 09 Nov 2017 12:02:48 GMT

ETag: W/"a102-55d97420ac440"

Accept-Ranges: bytes

Content-Length: 41218

Cache-Control: max-age=86400

Expires: Fri, 10 Nov 2017 12:02:48 GMT

Content-Type: image/png











本文转自方向对了,就不怕路远了!51CTO博客,原文链接:http://blog.51cto.com/jacksoner/1980576 ,如需转载请自行联系原作者



相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
9月前
|
Shell
1、定时清空文件内容,定时记录文件大小
1、定时清空文件内容,定时记录文件大小
72 1
|
分布式计算
有一个日志文件visitlog.txt,其中记录了用户访问网站的日期和访问的网站地址信息,每行一条记录。要求编写mapreduce程序完成以下功能: 1、 将不同访问日期的访问记录分配给不同的red
有一个日志文件visitlog.txt,其中记录了用户访问网站的日期和访问的网站地址信息,每行一条记录。要求编写mapreduce程序完成以下功能: 1、 将不同访问日期的访问记录分配给不同的red
93 0
|
前端开发
前端IP位置定位以及访问日志问题解决
前端IP位置定位以及访问日志问题解决
|
搜索推荐 SEO
网站内容更新频率如何控制?网站内容更新注意事项
网站更新是每个站长必做的功课,当一个网站创建完成后,开始更新网站内容。 更新内容并不是说一个月时间内,把挖掘出来的内容、关键词全部一次性用上,这样的做法是错误的,搜索引擎是非常反感的。正确的做法是循序渐进的更新网站,不是像一台机器在采集,举个例子:个人博客今天发送3篇文稿,明天也3篇,后天还是一样3篇,天天坚持持续一段时间,是被搜索引擎认可的。
167 0
|
前端开发 JavaScript 开发工具