<i id='uq1ap'><div id='uq1ap'><ins id='uq1ap'></ins></div></i>

    <span id='uq1ap'></span>
    <i id='uq1ap'></i>

    <dl id='uq1ap'></dl>
    1. <ins id='uq1ap'></ins>

      <fieldset id='uq1ap'></fieldset>

      1. <tr id='uq1ap'><strong id='uq1ap'></strong><small id='uq1ap'></small><button id='uq1ap'></button><li id='uq1ap'><noscript id='uq1ap'><big id='uq1ap'></big><dt id='uq1ap'></dt></noscript></li></tr><ol id='uq1ap'><table id='uq1ap'><blockquote id='uq1ap'><tbody id='uq1ap'></tbody></blockquote></table></ol><u id='uq1ap'></u><kbd id='uq1ap'><kbd id='uq1ap'></kbd></kbd>

          <code id='uq1ap'><strong id='uq1ap'></strong></code>

        1. <acronym id='uq1ap'><em id='uq1ap'></em><td id='uq1ap'><div id='uq1ap'></div></td></acronym><address id='uq1ap'><big id='uq1ap'><big id='uq1ap'></big><legend id='uq1ap'></legend></big></address>

          Linux下Varnish缓存服务器的安装与配置

          • 时间:
          • 浏览:12
          • 来源:124软件资讯网

              Varnish是一款高性能且开源的反向署理服务器和http加速器  。与传统的Squid相比 ,Varnish具有性能更高、速率更快、治理更利便等诸多优点  。作者Poul-Henning Kamp是FreeBSD的内核开发者之一  。Varnish接纳全新的软件系统架构  ,和现在的硬件提交配合精密  。在1975年时  ,储存前言只有两种:内存与硬盘 。但现在盘算 机系统的内存除了主存外  ,还包罗了cpu内的L1、L2 ,甚至有L3快取 。硬盘上也有自己的快取装置  ,因此squid cache自行处置惩罚物件替换的架构不行能得知这些情形而做到最佳化  ,但操作系统可以得知这些情形  ,以是这部份的事情应该交给操作系统处置惩罚  ,这就是 Varnish cache设计架构  。

              挪威最大的在线报纸 Verdens Gang (http://www.vg.no) 使用3台Varnish取代了原来的12台squid  ,性能居然比以前更好  ,这是Varnish最乐成的应用案例  。

              Varnish特点:

              1.基于内存举行缓存  ,重启后数据将消逝

              2.使用虚拟内存方式  ,I/O性能好

              3.支持设置0~60秒的准确缓存时间

              4.VCL设置治理比力天真

              5.32位机械上缓存文件巨细最大为2G

              6.具有强盛的治理功效  ,例如top、stat、admin、list等

              7.状态机设置巧妙  ,结构清晰

              8.使用二叉堆治理缓存文件 ,可到达努力删除目的

              Varnish与Squid的对比

              Squid是一个高性能的署理缓存服务器  ,它和varnish之间有诸多的异同点 ,如下:

              相同点:

              都是一个反向署理服务器

              都是开源软件

              差别点  ,也是Varnish的优点:

              Varnish的稳固性很高  ,两者在完成相同负荷的事情时 ,Squid服务器发生故障的几率要高于Varnish  ,由于使用Squid要经常重启  。

              Varnish会见速率更快  ,Varnish接纳了“Visual Page Cache”手艺 ,所有缓存数据都直接从内存读取 ,而squid是从硬盘读取  ,因而Varnish在会见速率方面会更快 。

              Varnish可以支持更多的并发毗连 ,由于Varnish的TCP毗连释放要比Squid快  。因而在高并发毗连情形下可以支持更多TCP毗连  。

              Varnish可以通过治理端口  ,使用正则表达式批量的扫除部门缓存 ,而Squid是做不到的  。

              squid属于是单历程使用单核CPU  ,但Varnish是通过fork形式打开多历程来做处置惩罚  ,以是是合理的使用所有核来处置惩罚响应的请求 。

              固然  ,与传统的Squid相比  ,Varnish也是有弱点的  ,如下:

              varnish历程一旦挂起、瓦解或者重启 ,缓存数据都市从内存中完全释放  ,此时所有请求都市发送到后端服务器 ,在高并发情形下  ,会给后端服务器造成很大压力  。

              在varnish使用中若是单个url的请求通过HA/F5(负载平衡)每次请求差别的varnish服务器中 ,被请求varnish服务器都市被穿透到后端  ,而且同样的请求会在多台服务器上缓存  ,也会造成varnish的缓存的资源铺张  ,也会造成性能下降  。

              解决方案

              综上所述在会见量很大的情形下推荐使用varnish的内存缓存方式启动  ,而且后面需要跟多台squid服务器  。主要为了防止前面的varnish服务、服务器被重启的情形下  ,前期一定会有许多的穿透这样squid可以继承第二层cache  ,而且也填补了varnish缓存在内存中重启都市释放的问题 。

              这样的问题可以在负载平衡上做url哈希  ,让单个url请求牢固请求到一台varnish服务器上  ,可以解决该问题  。

              varnish的事情流程

              1、历程之间通讯

              varnish启动或有2个历程 master(management)历程和child(worker)历程  。master读入存储设置下令  ,举行初始化 ,然后fork  ,监控child  。child则分配线程举行cache事情  ,child还会做治理线程和天生许多worker线程  。

              child历程主线程初始化历程中  ,将存储大文件整个加载到内存中  ,若是该文件超出系统的虚拟内存 ,则会淘汰原来设置mmap巨细 ,然后继续加载  ,这时间建立并初始化空闲存储结构体  ,放在存储治理的struct中  ,等候分配 。

              接着varnish某个卖力接口新http毗连的线程最先等候用户 ,若是有新的http毗连 ,可是这个线程只卖力吸收  ,然后叫醒等候线程池中的work线程  ,举行请求处置惩罚  。

              worker线程读入uri后 ,将会查找已有的object  ,掷中直接返回 ,没有掷中 ,则会从后端服务器中取出来  ,放到缓存中  。若是缓存已满  ,会凭据LRU算法 ,释放旧的object  。对于释放缓存  ,有一个超时线程会检测缓存中所有object的生命周期 ,若是缓存逾期(ttl)  ,则删除 ,释放响应的存储内存  。

              2、设置文件各结构之间通讯

              Varnish安装

              代码如下:

              wget http://ftp.cs.stanford.edu/pub/exim/pcre/pcre-8.33.tar.gz

              tar xzf pcre-8.33.tar.gz

              cd pcre-8.33

              ./configure

              make && make install

              cd ../

              varnish-3.0.4报错如下:

              varnishadm.c:48:33: error: editline/readline.h: No such file or directory

              varnishadm.c: In function 'cli_write':

              varnishadm.c:76: warning: implicit declaration of function 'rl_callback_handler_remove'

              varnishadm.c:76: warning: nested extern declaration of 'rl_callback_handler_remove'

              varnishadm.c: In function 'send_line':

              varnishadm.c:179: warning: implicit declaration of function 'add_history'

              varnishadm.c:179: warning: nested extern declaration of 'add_history'

              varnishadm.c: In function 'varnishadm_completion':

              varnishadm.c:216: warning: implicit declaration of function 'rl_completion_matches'

              varnishadm.c:216: warning: nested extern declaration of 'rl_completion_matches'

              varnishadm.c:216: warning: assignment makes pointer from integer without a cast

              varnishadm.c: In function 'pass':

              varnishadm.c:233: error: 'rl_already_prompted' undeclared (first use in this function)

              varnishadm.c:233: error: (Each undeclared identifier is reported only once

              varnishadm.c:233: error: for each function it appears in.)

              varnishadm.c:235: warning: implicit declaration of function 'rl_callback_handler_install'

              varnishadm.c:235: warning: nested extern declaration of 'rl_callback_handler_install'

              varnishadm.c:239: error: 'rl_attempted_completion_function' undeclared (first use in this function)

              varnishadm.c:300: warning: implicit declaration of function 'rl_forced_update_display'

              varnishadm.c:300: warning: nested extern declaration of 'rl_forced_update_display'

              varnishadm.c:303: warning: implicit declaration of function 'rl_callback_read_char'

              varnishadm.c:303: warning: nested extern declaration of 'rl_callback_read_char'

              make[3]: *** [varnishadm-varnishadm.o] Error 1

              make[3]: Leaving directory `/root/lnmp/src/varnish-3.0.4/bin/varnishadm'

              make[2]: *** [all-recursive] Error 1

              make[2]: Leaving directory `/root/lnmp/src/varnish-3.0.4/bin'

              make[1]: *** [all-recursive] Error 1

              make[1]: Leaving directory `/root/lnmp/src/varnish-3.0.4'

              make: *** [all] Error 2

              报错没找到解决要领  ,选varnish-3.0.3

              代码如下:

              wget http://repo.varnish-cache.org/source/varnish-3.0.3.tar.gz

              tar xzf varnish-3.0.3.tar.gz

              cd varnish-3.0.3

              export PKG_CONFIG_PATH=/usr/local/lib/pkgconfig

              ./configure --prefix=/usr/local/varnish --enable-debugging-symbols --enable-developer-warnings --enable-dependency-tracking --with-jemalloc

              make && make install

              /usr/bin/install -m 755 ./redhat/varnish.initrc /etc/init.d/varnish

              /usr/bin/install -m 644 ./redhat/varnish.sysconfig /etc/sysconfig/varnish

              /usr/bin/install -m 755 ./redhat/varnish_reload_vcl /usr/local/varnish/bin

              useradd -M -s /sbin/nologin varnish

              代码如下:

              ln -s /usr/local/varnish/sbin/varnishd /usr/sbin/

              ln -s /usr/local/varnish/bin/varnish_reload_vcl /usr/bin/

              ln -s /usr/local/varnish/bin/varnishadm /usr/bin/

              代码如下:

              chkconfig --add varnish

              chkconfig varnish on

              天生varnish治理秘钥:

              代码如下:

              uuidgen > /usr/local/varnish/etc/varnish/secret

              chmod 644 /usr/local/varnish/etc/varnish/secret

              修改varnish启动设置:

              代码如下:

              sed -i "s@^VARNISH_VCL_CONF=/etc/varnish/default.vcl@#VARNISH_VCL_CONF=/etc/varnish/default.vclnVARNISH_

            VCL_CONF=/usr/local/varnish/etc/varnish/linuxeye.vcl@" /etc/sysconfig/varnish

              sed -i "s@^VARNISH_LISTEN_PORT=6081@#VARNISH_LISTEN_PORT=6081nVARNISH_LISTEN_PORT=80@" /etc/sysconfig/varnish

              sed -i "s@^VARNISH_SECRET_FILE=/etc/varnish/secret@#VARNISH_SECRET_FILE=/etc/varnish/secretnVARNISH_

            SECRET_FILE=/usr/local/varnish/etc/varnish/secret@" /etc/sysconfig/varnish

              sed -i "s@^VARNISH_STORAGE_FILE=/var/lib/varnish/varnish_storage.bin@#VARNISH_STORAGE_FILE=/var/lib/varnis

            h/varnish_storage.bin

            nVARNISH_STORAGE_FILE=/usr/local/varnish/var/varnish_storage.bin@" /etc/sysconfig/varnish

              sed -i "s@^VARNISH_STORAGE_SIZE.*@VARNISH_STORAGE_SIZE=150M@" /etc/sysconfig/varnish

              sed -i "s@^VARNISH_STORAGE=.*@VARNISH_STORAGE="malloc,${VARNISH_STORAGE_SIZE}"@" /etc/sysconfig/varnish

              假设你的服务器拥有多颗逻辑处置惩罚器  ,还可以做以下的设置:

              /etc/sysconfig/varnish 内里还可以添加自界说的参数  ,用”-p 参数“的方式添加 ,如:

              DAEMON_OPTS="-a ${VARNISH_LISTEN_ADDRESS}:${VARNISH_LISTEN_PORT}

              -f ${VARNISH_VCL_CONF}

              -T ${VARNISH_ADMIN_LISTEN_ADDRESS}:${VARNISH_ADMIN_LISTEN_PORT}

              -t ${VARNISH_TTL}

              -w ${VARNISH_MIN_THREADS},${VARNISH_MAX_THREADS},${VARNISH_THREAD_TIMEOUT}

              -u varnish -g varnish

              -S ${VARNISH_SECRET_FILE}

              -s ${VARNISH_STORAGE}

              -p thread_pools=2" #这里为添加项

              Varnish启动后进入后台运行 ,同时返回下令行状态  。需要注重的是  ,Varnish运行时会同时启动两个历程  ,一个主历程  ,一个是子历程  ,若是子历程泛起问题 ,主历程将重新天生一个子历程  。

              VCL设置

              代码如下:

              /usr/local/varnish/etc/varnish/linuxeye.vcl

              #通过backend界说了一个名称为webserver的后端主机  ,“.host”指定后端主机的IP地址或者域名  ,“.port”指定后端主机的服务端口  。

              backend webserver {

              .host = "127.0.0.1";

              .port = "8080";

              }

              #挪用vcl_recv最先

              sub vcl_recv {

              if (req.restarts == 0) {

              if (req.http.x-forwarded-for) {

              set req.http.X-Forwarded-For =

              req.http.X-Forwarded-For + ", " + client.ip;

              } else {

              set req.http.X-Forwarded-For = client.ip;

              }

              }

              #若是请求的类型不是GET、HEAD、PUT、POST、TRACE、OPTIONS、DELETE时  ,进入pipe模式  。注重这里是“&&”的关系

              if (req.request != "GET" &&

              req.request != "HEAD" &&

              req.request != "PUT" &&

              req.request != "POST" &&

              req.request != "TRACE" &&

              req.request != "OPTIONS" &&

              req.request != "DELETE") {

              return (pipe);

              }

              #若是请求的类型不是GET与HEAD  ,则进入pass模式

              if (req.request != "GET" && req.request != "HEAD") {

              return (pass);

              }

              if (req.http.Authorization || req.http.Cookie) {

              return (pass);

              } #对linuxeye.com域名举行缓存加速  ,这是个泛域名的观点  ,也就是所有以linuxeye.com末端的域名都举行缓存

              if (req.http.host ~ "^(.*).linuxeye.com") {

              set req.backend = webserver;

              }

              #对以.jsp、.do、php末端以及带有?的URL时  ,直接从后端服务器读取内容

              if (req.url ~ ".(jsp|do|php)($|?)") {

              return (pass);

              } else {

              return (lookup);

              }

              }

            < p>sub vcl_pipe {

              return (pipe);

              }

            < p>sub vcl_pass {

              return (pass);

              }

            < p>sub vcl_hash {

              hash_data(req.url);

              if (req.http.host) {

              hash_data(req.http.host);

              } else {

              hash_data(server.ip);

              }

              return (hash);

              }

            < p>sub vcl_hit {

              return (deliver);

              }

            < p>sub vcl_miss {

              return (fetch);

              }

              代码如下:

              #对于请求类型是GET  ,而且请求的URL中包罗upload  ,那么就举行缓存  ,缓存的时间是300秒  ,即5分钟

              sub vcl_fetch {

              if (req.request == "GET" && req.url ~ "^/upload(.*)$") {

              set beresp.ttl = 300s;

              }

            < p> if (req.request == "GET" && req.url ~ ".(png|gif|jpg|jpeg|bmp|swf|css|js|html|htm|xsl|xml|pdf|ppt|doc|docx|chm|rar|zip|ico|mp3|mp4|rmvb|ogg|mov|avi|wmv|txt)$"){

              unset beresp.http.set-cookie;

              set beresp.ttl = 30d;

              }

              return (deliver);

              }

              代码如下:

              #下面是添加一个Header标识 ,以判断缓存是否掷中

              sub vcl_deliver {

              if (obj.hits > 0) {

              set resp.http.X-Cache = "HIT from demo.linuxeye.com";

              } else {

              set resp.http.X-Cache = "MISS from demo.linuxeye.com";

              }

              return (deliver);

              }

              代码如下:

              #使用vcl_error可以定制一个错误页面

              sub vcl_error {

              set obj.http.Content-Type = "text/html; charset=utf-8";

              set obj.http.Retry-After = "5";

              synthetic {"

              

              

              "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">

              

              

              

              

              

              

            Error "} + obj.status + " " + obj.response + {"

              

            "} + obj.response + {"

              

            Guru Meditation:

              

            XID: "} + req.xid + {"

              


              

            Varnish cache server

              

              

              "};

              return (deliver);

              }

            < p>sub vcl_init {

              return (ok);

              }

            < p>sub vcl_fini {

              return (ok);

              }

              检查VCL设置是否准确:

              代码如下:

              service varnish configtest

              或

              代码如下:

              varnishd -C -f /usr/local/varnish/etc/varnish/linuxeye.vcl

              启动varnish:

              代码如下:

              service varnish start

              检察varnish状态:

              代码如下:

              service varnish status

              动态加载VCL设置:

              代码如下:

              service varnish reload

              制止varnish:

              代码如下:

              service varnish stop

              检察当前varnish监听的80端口:

              代码如下:

              # netstat -tpln | grep :80

              tcp 0 0 0.0.0.0:80 0.0.0.0:* LISTEN 15249/varnishd

              tcp 0 0 0.0.0.0:8080 0.0.0.0:* LISTEN 19468/nginx

              tcp 0 0 :::80 :::* LISTEN 15249/varnishd

              检察varnish历程:

              代码如下:

              # ps -ef | grep varnishd | grep -v grep

              root 15248 1 0 11:47 ? 00:00:00 /usr/sbin/varnishd -P /var/run/varnish.pid -a :80 -f /usr/local/varnish/etc/varnish/linuxeye.vcl -T 127.0.0.1:6082 -t 120 -w 50,1000,120 -u varnish -g varnish -S /usr/local/varnish/etc/varnish/secret -s malloc,150M

              varnish 15249 15248 0 11:47 ? 00:00:00 /usr/sbin/varnishd -P /var/run/varnish.pid -a :80 -f /usr/local/varnish/etc/varnish/linuxeye.vcl -T 127.0.0.1:6082 -t 120 -w 50,1000,120 -u varnish -g varnish -S /usr/local/varnish/etc/varnish/secret -s malloc,150M

              Varnish会见日志

              varnishncsa可以使用NCSA通用日志花样(NCSA Common Log Format)将HTTP请求记载到日志文件.

              代码如下:

              /usr/bin/install -m 755 ./redhat/varnishncsa.initrc /etc/init.d/varnishncsa

              chmod +x /etc/init.d/varnishncsa

              chkconfig varnishncsa on

              mkdir -p /usr/local/varnish/logs

              编辑varnishncsa启动设置

              代码如下:

              ln -s /usr/local/varnish/bin/varnishncsa /usr/bin

              sed -i 's@^logfile.*@logfile="/usr/local/varnish/logs/varnishncsa.log"@' /etc/init.d/varnishncsa

              启动varnishncsa:

              代码如下:

              service varnishncsa start

              使用logrotate轮询日志文件(天天轮询):

              代码如下:

              cat > /etc/logrotate.d/varnish << EOF

              /usr/local/varnish/logs/varnishncsa.log {

              daily

              rotate 5

              missingok

              dateext

              compress

              notifempty

              sharedscripts

              postrotate

              [ -e /var/run/varnishncsa.pid ] && kill -USR1 `cat /var/run/varnishncsa.pid`

              endscript

              }

              EOF

              日志轮询debug测试:

              代码如下:

              logrotate -df /etc/logrotate.d/varnish