访问日志不记录静态文件、访问日志切割、静态元素过期时间

简介:

访问日志不记录静态文件

当访问很多图片,文档等静态资源的时候,会加大你日志的容量,日志容量占用你磁盘空间后,会出现服务器宕机等很严重的问题,这时需要将日志进行配置优化。当访问网页时不记录这些图片、css、js等信息日志。

1、[root@centos7 111.com]# vi /usr/local/apache2.4/conf/extra/httpd-vhosts.conf

<VirtualHost *:80>

    DocumentRoot "/data/wwwroot/111.com"

    ServerName 111.com

    ServerAlias www.111.com www.example.com

    php_admin_flag short_open_tag on

    <IfModule mod_rewrite.c>

        RewriteEngine on

        RewriteCond %{HTTP_HOST} !^111.com$

        RewriteRule ^/(.*)$ http://111.com/$1 [R=301,L]

</IfModule>

    ErrorLog "logs/111.com-error_log"

 SetEnvIf Request_URI ".*\.gif$" img

    SetEnvIf Request_URI ".*\.jpg$" img

    SetEnvIf Request_URI ".*\.png$" img

    SetEnvIf Request_URI ".*\.bmp$" img

    SetEnvIf Request_URI ".*\.swf$" img

    SetEnvIf Request_URI ".*\.js$" img

    SetEnvIf Request_URI ".*\.css$" img

#以上都被标记为img变量;(.gif/.jpg)结尾的;env=!img:这个表示被记录在日志中

    CustomLog "logs/111.com-access_log" combined env=!img

</VirtualHost>

2、[root@centos7 111.com]# /usr/local/apache2.4/bin/apachectl graceful

ded00e66c0799074a5613402e88822e2.png-wh_


8058ca89038aabba8e1123eaa22f7f6e.png-wh_


扩展:

我的需求是,把类似请求 www.aaa.com/aaa/... 这样的请求才记录日志。

在httpd.conf 或者 相关的虚拟主机配置文件中添加

SetEnvIf Request_URI "^/aaa/.*" aaa-request

CustomLog "|/usr/local/apache/bin/rotatelogs -l /usr/local/apache/logs/aaa-access_%Y%m%d.log 86400" combined env=aaa-request


这样就可以了。这个原理和不记录图片等静态访问的日志是一样的。


访问日志切割

1、[root@centos7 111.com]# vi /usr/local/apache2.4/conf/extra/httpd-vhosts.conf


</IfModule>

    ErrorLog "logs/111.com-error_log"

 SetEnvIf Request_URI ".*\.gif$" img

    SetEnvIf Request_URI ".*\.jpg$" img

    SetEnvIf Request_URI ".*\.png$" img

    SetEnvIf Request_URI ".*\.bmp$" img

    SetEnvIf Request_URI ".*\.swf$" img

    SetEnvIf Request_URI ".*\.js$" img

    SetEnvIf Request_URI ".*\.css$" img

    CustomLog "|/usr/local/apache2.4/bin/rotatelogs -l logs/111.com-access_%Y%m%d.log 86400" combined env=!img

#-l:以标准时间计算

#使用rotatelogs切割,按86400秒计算(就是一天的时间切割)

#按每小时 3600秒

</VirtualHost>

2、[root@centos7 111.com]# /usr/local/apache2.4/bin/apachectl graceful

3、看下日志:

8da3eb49759305bf004f7eadca338bf7.png-wh_


4、使用cronolog方式来切割

每一天建立一个新日志

CustomLog "|bin/cronolog logs/access_%Y%m%d.log" combined

每小时建立一个新日志 

CustomLog "|bin/cronolog logs/access_%Y%m%d%h.log" combined


rotatelogs [ -l ] logfile [ rotationtime [ offset ]] | [ filesizeM ]

选项

-l

使用本地时间代替GMT时间作为时间基准。注意:在一个改变GMT偏移量(比如夏令时)的环境中使用-l会导致不可预料的结果。所以一定要加上-l 否则出现的日志时间和实际时间是相差8小时的。


logfile

它加上基准名就是日志文件名。如果logfile中包含”%”,则它会被视为用于strftime()的格式字符串;否则它会被自动加上以秒为单位的”.nnnnnnnnnn”后缀。这两种格式都表示新的日志开始使用的时间。


rotationtime

日志文件滚动的以秒为单位的间隔时间。


offset

相对于UTC的时差的分钟数。如果省略,则假定为”0″并使用UTC时间。比如,要指定UTC时差为”-5小时”的地区的当地时间,则此参数应为”-300″。


filesizeM

指定以filesizeM文件大小滚动,而不是按照时间或时差滚动。


静态元素过期时间

当第一次访问网页时,浏览器自动将静态的元素缓存到你的电脑上(如静态图片资源),第二次访问则不用去服务器上获取,直接在本机电脑上获取缓存,好处:节省了服务器带宽,加速用户访问;缺点:当服务器静态资源更新了,你的本机电脑还在获取之前的缓存,而不是最新的资源,这时用户查看就出错,就需要设置下过期时间

1、访问http://111.com/3.png时,出现304表示直接在缓存上获取

6ad9282a6de510d07d3eb6a06ff8cbd4.png-wh_


2、[root@centos7 111.com]# vi /usr/local/apache2.4/conf/extra/httpd-vhosts.conf

<VirtualHost *:80>

    DocumentRoot "/data/wwwroot/111.com"

    ServerName 111.com

    ServerAlias www.111.com www.example.com

    php_admin_flag short_open_tag on

    <IfModule mod_rewrite.c>

        RewriteEngine on

        RewriteCond %{HTTP_HOST} !^111.com$

        RewriteRule ^/(.*)$ http://111.com/$1 [R=301,L]

</IfModule>

<IfModule mod_expires.c>

    ExpiresActive on

    #打开该功能的开关

    ExpiresByType image/gif  "access plus 1 days"

    ExpiresByType image/jpeg "access plus 24 hours"

    ExpiresByType image/png "access plus 24 hours"

    ExpiresByType text/css "now plus 2 hour"

    ExpiresByType application/x-javascript "now plus 2 hours"

    ExpiresByType application/javascript "now plus 2 hours"

    ExpiresByType application/x-shockwave-flash "now plus 2 hours"

    ExpiresDefault "now plus 0 min"

    #以上是定义不同类型的文件缓存的时间

</IfModule>

    ErrorLog "logs/111.com-error_log"

 SetEnvIf Request_URI ".*\.gif$" img

    SetEnvIf Request_URI ".*\.jpg$" img

    SetEnvIf Request_URI ".*\.png$" img

    SetEnvIf Request_URI ".*\.bmp$" img

    SetEnvIf Request_URI ".*\.swf$" img

    SetEnvIf Request_URI ".*\.js$" img

    SetEnvIf Request_URI ".*\.css$" img

    CustomLog "|/usr/local/apache2.4/bin/rotatelogs -l logs/111.com-access_%Y%m%d.log 86400" combined env=!img

</VirtualHost>

3、[root@centos7 111.com]# /usr/local/apache2.4/bin/apachectl graceful

4、配置Apache,加载expires模块  

添加如下内容

[root@centos7 111.com]# vi /usr/local/apache2.4/conf/httpd.conf

LoadModule expires_module modules/mod_expires.so

[root@centos7 111.com]# /usr/local/apache2.4/bin/apachectl -M |grep expires

 expires_module (shared)

检测:

5a0c7d36967b967628f979e771da53f8.png-wh_

[root@centos7 111.com]# curl -x127.0.0.1:80 111.com/3.png -I

HTTP/1.1 200 OK

Date: Thu, 09 Nov 2017 12:02:48 GMT

Server: Apache/2.4.29 (Unix) PHP/5.6.30

Last-Modified: Thu, 09 Nov 2017 12:02:48 GMT

ETag: W/"a102-55d97420ac440"

Accept-Ranges: bytes

Content-Length: 41218

Cache-Control: max-age=86400

Expires: Fri, 10 Nov 2017 12:02:48 GMT

Content-Type: image/png










本文转自 iekegz 51CTO博客,原文链接:http://blog.51cto.com/jacksoner/1980576,如需转载请自行联系原作者
相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
存储 Prometheus Kubernetes
轻量级日志可视化平台Grafana Loki接入nginx访问日志
轻量级日志可视化平台Grafana Loki接入nginx访问日志
1380 0
轻量级日志可视化平台Grafana Loki接入nginx访问日志
|
4月前
|
算法
【LeetCode刷题日志】27.移除元素
【LeetCode刷题日志】27.移除元素
|
9月前
|
消息中间件 Kafka
MQ 学习日志(八) 消息队列的延时以及过期失效问题处理
消息队列的延时以及过期失效问题处理
197 0
|
边缘计算 监控 前端开发
利用阿里云Eventbridge在CDN边缘应用程序中访问日志服务SLS
在Web前端领域,追求极致性能是个永恒的话题。这些年的一些新兴理念都是为了提升站点访问性能而提出,无论是Jamstack技术理念或者或者 ESR (边缘渲染),都是Client侧进行性能优化的基础上,进一步拓展到了网络Infra层面,就是我们现在经常讨论的边缘计算。而阿里云的CDN EdgeRoutine 就是为广大客户提供可自由编程的边缘计算能力,我们可以用他来构建边缘节点的网关应用,来访问静态资源或者后端服务。当这个边缘网关在业务上承担的角色越来越重要的时候,我们就对他内部的业务逻辑产生了可观测的诉求,希望能够记录日志到日志服务上,然而日志服务提供的SDK,在ER的环境中暂时不被支持,这个
282 0
|
存储 监控 负载均衡
日志审计:多账号下ALB访问日志的自动化采集与监控
本文主要介绍在日志审计下如何开启ALB访问日志的自动化采集与监控
|
SQL 监控 Kubernetes
ingress 日志,还能这么玩--结合阿里云日志服务统计系统访问日志
修改 nginx-ingress 日志,并结合阿里云日志服务制作系统访问日志统计图表。
1892 0
|
监控 Linux Python
清除过期日志的py脚本
本篇和大家分享的是一个清除过期日志的python脚本,年后第二篇希望对大家有帮助; 该python脚本创建的由来 代码及分析 crontab定时任务 该python脚本创建的由来 此由来,是在过年假期时突然被反馈告警服务器磁盘空间占用比例增大,当时通过df等命令定位到,是使用了某个开源任务调度...
1363 0
|
Web App开发 监控 Apache
日志服务-一站式配置采集Apache访问日志
日志服务推出了数据接入向导(Wizard)功能以来,不断优化接入向导的功能,支持各种数据的采集、存储、分析、离线投递, 降低用户使用日志服务门槛。本文介绍数据接入向导一站式配置采集Apache日志与设置索引,同时还可以通过默认仪表盘与查询分析语句实时分析网站访问情况。
2480 0
|
监控 大数据 BI
NAS用户级日志实时分析功能:高效、便捷、快速分析NAS访问日志
支持对NAS下大量访问日志进行查询分析、并提供开箱即用的报表及灵活开放的报表与报警功能。帮助NAS用户管理自己的数据看板,实时了解访问明细,审计敏感操作,诊断问题,实时报警等。
4032 0
|
21天前
|
Java
使用Java代码打印log日志
使用Java代码打印log日志
75 1

热门文章

最新文章