varnish缓存初探(1)—基础知识

  1. 云栖社区>
  2. 博客>
  3. 正文

varnish缓存初探(1)—基础知识

先生我不会 2018-02-13 18:56:10 浏览1808
展开阅读全文

开章

Varnish与Squid的对比Varnish 是Squid的升级版,主要应用于HTTP反向代理和HTTP缓存来提供加速功能。Varnish的意义可以和CDN相结合。

Varnish的优势
①Varnish访问速度更快,因为采用了“Visual Page Cache”技术,所有缓存数据都直接从内存读取,而Squid是从硬盘读取,因而Varnish在访问速度方面会更快。
②Varnish可以支持更多的并发连接,因为Varnish的TCP连接释放要比Squid快,因而在高并发连接情况下可以支持更多TCP连接。
③Varnish可以通过管理端口,使用正则表达式自定义批量的清除部分缓存,而Squid是做不到的;
④Squid属于是单进程使用单核CPU,但Varnish是通过fork形式打开多进程来做处理,所以可以合理的使用所有核来处理相应的请求。

Varnish的劣势
①Varnish进程一旦Hang、Crash或者重启,缓存数据都会从内存中完全释放,此时所有请求都会发送到后端服务器,在高并发情况下,会给后端服务器造成很大压力。
②在varnish使用中如果单个URL的请求通过HA/F5等负载均衡,则每次请求落在不同的varnish服务器中,造成请求都会被穿透到后端;而且同样的请求在多台服务器上缓存,也会造成Varnish的缓存的资源浪费,造成性能下降。Varnish劣势的解决方案(并未测试过)
针对劣势一:在访问量很大的情况下推荐使用Varnish的内存缓存方式启动,而且后面需要跟多台squid服务器。主要为了防止前面的Varnish服 务或者服务器被重启的情况下,大量请求穿透Varnish,这样Squid可以就担当第二层CACHE,而且也弥补了Varnish缓存在内存中重启都会释 放的问题。
针对劣势二:可以在负载均衡上做URL哈希,让单个URL请求固定请求到一台Varnish服务器上。

varnish的四种缓存机制
1.malloc
调用malloc,为缓存分配内存空间,此种方式不可避免地会产生碎片文件,额外占用内存,重启后所有缓存项失效。
2.file
Varnish创建一个文件用来存储缓存数据,然后将此文件映射到内存空间中,但是该文件并不会持久保存数据,重启后所有缓存项失效。
3.persistent
持久文件存储,黑盒;重启后所有缓存项有效;但是处于实验阶段,问题较多。
4.MSE
Massive Storage Engine,在plus版可用,意味着收费。该模式设计的容量巨大可达100TB,磁盘性能要优于file模式。
总结:内存空间足够时,选择malloc模式,当内存空间不足以存储所有缓存数据时,应选择file 或 mse 存储。所以一般配置成file存储,当然付费的话使用mse更佳。

Varnish处理缓存流程
当Varnish处理一个请求时,首先要解析这个请求。从HTTP 首部中分析出请求的方法类型,判断是否为有效的请求方法等等,当基础解析完成之后,依据第一个策略进行检查进而做出判断。VCL就是根据由各个策略组成的规则来进行各种动作。Varnish流程可以分为前端和后端2部分

52920d6c25f7908d1122d57bca855dc2c8f2185a
前端状态可分为四个阶段:
第一阶段:
vcl_recv接受客户端请求,进行判断
第二阶段:
vcl_hash进行hash计算,不进行判读处理,计算之后送往各个第三阶段状态引擎中
第三阶段:
vcl_hit缓存命中,到此处理
vcl_pass缓存跳过
vcl_miss缓存未命中
vcl_purge清理缓存
vcl_pipe #对于无法识别的HTTP首部请求直接送入管道,交由后端处理不再处理
第四阶段:
vcl_deliver大部分响应客户端的请求由此发送回去
vcl_synth接受来自vcl_purge的任务,对于指定的缓存,进行删除处理
后端状态分为两阶段:
第一阶段:
vcl_backend_fetch接受来自前端状态vcl_pass或vcl_miss 的任务,向后端主机请求
第二阶段:
vcl_backend_response接受到后端返回正常状态报文,进行是否缓存检查,需要缓存的响应将其缓存,不需要则不缓存,最后送到vcl_deliver
vcl_backend_error后端主机错误,返回错误响应
除此之外还有两个特殊状态引擎:
vcl_init在处理任何请求之前要执行的vcl代码:主要用于初始化VMODs
vcl_fini所有的请求都已经结束,在vcl配置被丢弃时调用;主要用于清理VMODs

网友评论

登录后评论
0/500
评论
先生我不会
+ 关注