认识缓存之服务器缓存（varnish）

    在没有任何优化的情况下，每个HTTP请求，web服务器都必须从服务器磁盘中读取请求页面的数据，然后发送给客户端。相对于内存访问速度来说，磁盘访问的速度极其缓慢。把要访问的页面缓存到内存中，下次访问直接从内存中读取，能有效加快web应用的访问速度。

一、传统代理和反向代理

    一般情况下，使用浏览器直接连接其他web站点取得网络信息，直接联系到目的站点服务器，目的站点服务器把信息发送过来。

    介于客户端和web服务器之间的另一台服务器称为代理服务器，浏览器不直接到web服务器取回网页，而向代理服务器发送请求，信号先送到代理服务器，由代理服务器取回浏览器所需的信息并传送给浏览器。

    大部分代理服务器具有缓冲功能，好像是一个cache，有很大存储空间，不断将新取得的数据存储到本地存储器上。如果本地存储器上已经存在用户请求的数据而且是最新的，直接将存储器上的数据发送给用户，这样就能够显著调高浏览器速度和效率。

    代理服务器所做的工作是将用户HTTP请求转发给web服务器，再将从web服务器收到的响应数据发送给用户浏览器。所以，web服务器的角度看，代理服务器和用户浏览器的本质是一样的，他们都扮演着HTTP代理的角色。

   反向代理和传统代理原理相似，只是使用对象不同。传统代理使用对象是客户端程序，而反向代理使用对象是服务端程序。这是其成为“反向代理”根本原因。

    引入反向代理后，客户通过反向代理服务器间访问web服务器，从而把后端web服务器隐藏。不过用户并不关心这些，反向代理服务器完美充当用户中心的web服务器。至于反向代理服务器和后端web服务器沟通，和传统代理的本质一样。

   反向代理有两个作用：①利用反向代理服务器的安全特性处理事务；②利用高速缓存特性在高并发的服务器上加速。

二、静态页面局部动态内容更新

    页面静态化是搭建高性能网站必用的招式之一，页面静态化可以有效提升系统响应速度，同时也有利于搜索引擎优化。但在页面静态化后，静态页面之间包含（例如所有的静态页面包含页头、页脚）以及静态页面中的局部信息的动态更新又成为新的问题。静态页面之间的包含一般有如下方案：

1、Client Side Includes(CSI)：通过frame、iframe、javascript、javacript+ajax等方式将另外一个页面的内容动态包含进来。像现在流行的jquery等javascript库对此有较好的支持。

    优点：能够利用浏览器客户端并行处理及装载的机制；通过浏览器缓存机制可以降低网络传输时间，提高性能；计算放在客户端，能够降低服务器端压力

    缺点：搜索引擎优化问题；javascript兼容性问题；客户端缓存可能导致服务器端内容更新后不能及时生效；XSS等安全隐患

2、Server Side Includes(SSI)：

    优点：SSI技术是通用技术，不受具体语言限制，只需要Web服务器或应用服务器支持即可，Ngnix、Apache、Tomcat、Jboss等对此都有较好的支持

    缺点：SSI在语法上不能够直接包含其他服务器的url（当然也可以通过redirect等来变通实现），因此在需要充分利用缓存及负载均衡的环境下相对不是很灵活。 

    当然如果不使用单独的缓存服务器，而是使用Ngnix，利用Ngnix对SSI及Memcached支持，通过NginxHttpSsiModule、NginxHttpMemcachedModule也可以实现页面缓存，但与专业的缓存服务器（例如Varnish）相比较，Ngnix作为缓存服务器只适合于中小规模的场合。

3、Edge Side Includes (ESI)：

    Edge Side Includes(ESI) 和Server Side Includes(SSI)和功能类似。SSI需要特殊的文件后缀(shtml,inc)。ESI可以直接通过URI包含远程服务器文件，ESI更适合用于缓存服务器上，缓存整个页面或页面片段，因此ESI特别适合用于缓存。像当下流行的缓存服务器Varnish对此有所支持。

三、认识varnish

   在前面章节讲解的Apache、nginx服务器中，我们已经看到了反向代理和缓存的功能。其实varnish的功能也非常强大，它不仅仅包含这两项功能，还具备ESI静态页面和动态内容整合的功能。总结来说，varnish主要具备这三项功能：①反向代理功能；②高速缓存的功能；③ESI静态页面和动态内容在服务器端整合的功能；

1、varnish缓存功能有如下优点：

• 是基于内存缓存，重启后数据将消失；
• 利用虚拟内存方式，IO性能好。
• 支持设置0~60秒内的精确缓存时间。
• VCL配置管理比较灵活
• 32位机器上缓存文件大小最大为2G
• 具有强大的管理功能，例如top、stat、admin、list等。
• 状态机设计巧妙，结构清晰
• 利用二叉堆管理缓存文件，达到积极删除目的

2、varnish的ESI，可以非常容易的实现：

• 与用户个性化无关的信息：直接由Varnish+ESI就可以实现。对于动态变化的局部页面，可以在ESI制定的url地址返回的http header的Cache-Control来指定缓存策略，实现局部页面缓存（fragment caching）。
• 与用户个性化信息相关：对于整个页面的缓存策略仍然使用Varnish+ESI方式。而需要fragment caching的局部页面，可以根据用户Cookie信息获得用户身份标识信息（例如userid），然后在ESI的URL中带上用户身份信息提交到后端的Web服务器或应用服务器以获取与用户个性化相关的信息。

四、安装VARNISH

tar zxvf varnish-3.0.1.tar.gz
cd varnish-3.0.1
./configure --prefix=/usr/local/varnish
make
make install

 五、配置varnish

# This is a basic VCL configuration file for varnish.  See the vcl(7)
# man page for details on VCL syntax and semantics.
#
# Default backend definition.  Set this to point to your content
# server.
#将varnish配置为代理服务器，host为web服务器的IP地址
#port为web服务器监听端口
 backend default {
     .host = "192.168.88.156";
     .port = "80";
     ###下面三行为新加配
     .connect_timeout = 1s;
     .first_byte_timeout = 5s;
     .between_bytes_timeout = 2s;
 }
#
# Below is a commented-out copy of the default VCL logic.  If you
# redefine any of these subroutines, the built-in logic will be
# appended to your code.

#请求刚刚到达varnish时，调用vcl_recv函数，这里要做的就是：告诉varnish那些请求需要
#先查找缓存，那些请求直接发送到后端服务器。
 sub vcl_recv {
     if (req.restarts == 0) {
        if (req.http.x-forwarded-for) {
            set req.http.X-Forwarded-For =
                req.http.X-Forwarded-For + ", " + client.ip;
        } else {
            set req.http.X-Forwarded-For = client.ip;
        }
     }
     if (req.request != "GET" &&
       req.request != "HEAD" &&
       req.request != "PUT" &&
       req.request != "POST" &&
       req.request != "TRACE" &&
       req.request != "OPTIONS" &&
       req.request != "DELETE") {
         /* Non-RFC2616 or CONNECT which is weird. */
         return (pipe);
     }
     if (req.request != "GET" && req.request != "HEAD") {
         /* We only deal with GET and HEAD by default */
         return (pass);
     }
     if (req.http.Authorization || req.http.Cookie) {
         /* Not cacheable by default */
         return (pass);
     }
     return (lookup);
 }
#
 sub vcl_pipe {
#     # Note that only the first request to the backend will have
#     # X-Forwarded-For set.  If you use X-Forwarded-For and want to
#     # have it set for all requests, make sure to have:
#     # set bereq.http.connection = "close";
#     # here.  It is not set by default as it might break some broken web
#     # applications, like IIS with NTLM authentication.
     return (pipe);
 }
#
 sub vcl_pass {
     return (pass);
 }
#
 sub vcl_hash {
     hash_data(req.url);
     if (req.http.host) {
         hash_data(req.http.host);
     } else {
         hash_data(server.ip);
     }
     return (hash);
 }
#
 sub vcl_hit {
     return (deliver);
 }
#
 sub vcl_miss {
     return (fetch);
 }
#varnish从后端获取内容后调用vcl_fetch函数，决定那些内容需要缓存，那些不需要
 sub vcl_fetch {
     if (beresp.ttl <= 0s ||
         beresp.http.Set-Cookie ||
         beresp.http.Vary == "*") {
                /*
                 * Mark as "Hit-For-Pass" for the next 2 minutes
                 */
                set beresp.ttl = 120 s;
                return (hit_for_pass);
     }
     return (deliver);
 }
#
 sub vcl_deliver {
     return (deliver);
 }
#
# sub vcl_error {
#     set obj.http.Content-Type = "text/html; charset=utf-8";
#     set obj.http.Retry-After = "5";
#     synthetic {"
# <?xml version="1.0" encoding="utf-8"?>
# <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN"
#  "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">
# <html>
#   <head>
#     <title>"} + obj.status + " " + obj.response + {"</title>
#   </head>
#   <body>
#     <h1>Error "} + obj.status + " " + obj.response + {"</h1>
#     <p>"} + obj.response + {"</p>
#     <h3>Guru Meditation:</h3>
#     <p>XID: "} + req.xid + {"</p>
#     <hr>
#     <p>Varnish cache server</p>
#   </body>
# </html>
# "};
#     return (deliver);
# }
#
 sub vcl_init {
        return (ok);
 }
#
 sub vcl_fini {
        return (ok);
 }

六、启动并查看Varnish

1、启动指令

/usr/local/varnish/sbin/varnishd -f /usr/local/varnish/etc/varnish/default.vcl -s malloc,1024m -T 127.0.0.1:200 -a 0.0.0.0:80

2、HTTP中的varnish服务表示

Via: 1.1 varnish

3、查看Varnish缓存状态

/usr/local/varnish/bin/varnishstat  -n /data/varnish/cache

4、有关Varnish更新问题（php实现更新）

vcl_recv {
    if (req.request == "PURGE") {
             if (!client.ip ~purge){
                     error 405 "Not allowed";
             }
     ban("req.http.host == " +req.http.host+" && req.url ~ "+req.url);
     error 200 "Ban added";
}

$ret=varnish_purge('10.10.10.11','10.10.10.11','/');
echo $ret ?"Success":"Failure";

function varnish_purge($ip, $host, $url){
	$errstr = '';
	$errno = '';
	$fp = fsockopen ($ip, 80, $errno, $errstr, 10);
	if (!$fp){
		return false;
	}else{
		$out = "PURGE {$url} HTTP/1.1 ";
		$out .= "Host:{$host} ";
		$out .= "Connection: close ";
		fputs ($fp, $out);
		$out = fgets($fp);
		fclose ($fp);
		return true;
	}
}

 

注意：如果要用好Varnish，还需要学习vcl。