對(duì)于一個(gè)日訪(fǎng)問(wèn)量達(dá)到百萬(wàn)級(jí)的網(wǎng)站來(lái)說(shuō)，速度很快就成為一個(gè)瓶頸。除了優(yōu)化內(nèi)容發(fā)布系統(tǒng)的應(yīng)用本身外，如果能把不需要實(shí)時(shí)更新的動(dòng)態(tài)頁(yè)面的輸出結(jié)果轉(zhuǎn)化成靜態(tài)網(wǎng)頁(yè)來(lái)發(fā)布，速度上的提升效果將是顯著的，因?yàn)橐粋�(gè)動(dòng)態(tài)頁(yè)面的速度往往會(huì)比靜態(tài)頁(yè)面慢2－10倍，而靜態(tài)網(wǎng)頁(yè)的內(nèi)容如果能被緩存在內(nèi)存里，訪(fǎng)問(wèn)速度甚至?xí)�比原有�?dòng)態(tài)網(wǎng)頁(yè)有2－3個(gè)數(shù)量級(jí)的提高。
動(dòng)態(tài)緩存和靜態(tài)緩存的比較 基于反向代理加速的站點(diǎn)規(guī)劃基于apache mod_proxy的反向代理加速實(shí)現(xiàn) 基于squid的反向代理加速實(shí)現(xiàn) 面向緩存的頁(yè)面設(shè)計(jì) 應(yīng)用的緩存兼容性設(shè)計(jì)：
HTTP_HOST/SERVER_NAME和REMOTE_ADDR/REMOTE_HOST需要用 HTTP_X_FORWARDED_HOST/HTTP_X_FORWARDED_SERVER代替  后臺(tái)的內(nèi)容管理系統(tǒng)的頁(yè)面輸出遵守可緩存的設(shè)計(jì)，這樣就可以把性能問(wèn)題交給前臺(tái)的緩存服務(wù)器來(lái)解決了，從而大大簡(jiǎn)化CMS系統(tǒng)本身的復(fù)雜程度。
靜態(tài)緩存和動(dòng)態(tài)緩存的比較 靜態(tài)頁(yè)面的緩存可能有2種形式：其實(shí)主要區(qū)別就是CMS是否自己負(fù)責(zé)關(guān)聯(lián)內(nèi)容的緩存更新管理。1.靜態(tài)緩存：是在新內(nèi)容發(fā)布的同時(shí)就立刻生成相應(yīng)內(nèi)容的靜態(tài)頁(yè)面，比如：2003年3月22日，管理員通過(guò)后臺(tái)內(nèi)容管理界面錄入一篇文章后，就立刻生成http://www.chedong.com/tech/2003/03/22/001.html這個(gè)靜態(tài)頁(yè)面，并同步更新相關(guān)索引頁(yè)上的鏈接。
2.動(dòng)態(tài)緩存：是在新內(nèi)容發(fā)布以后，并不預(yù)先生成相應(yīng)的靜態(tài)頁(yè)面，直到對(duì)相應(yīng)內(nèi)容發(fā)出請(qǐng)求時(shí)，如果前臺(tái)緩存服務(wù)器找不到相應(yīng)緩存，就向后臺(tái)內(nèi)容管理服務(wù)器發(fā)出請(qǐng)求，后臺(tái)系統(tǒng)會(huì)生成相應(yīng)內(nèi)容的靜態(tài)頁(yè)面，用戶(hù)第一次訪(fǎng)問(wèn)頁(yè)面時(shí)可能會(huì)慢一點(diǎn)，但是以后就是直接訪(fǎng)問(wèn)緩存了。
如果去ZDNet等國(guó)外網(wǎng)站會(huì)發(fā)現(xiàn)他們使用的基于Vignett內(nèi)容管理系統(tǒng)都有這樣的頁(yè)面名稱(chēng)：0,22342566,300458.html。其實(shí)這里的0,22342566,300458就是用逗號(hào)分割開(kāi)的多個(gè)參數(shù)： 第一次訪(fǎng)問(wèn)找不到頁(yè)面后，相當(dāng)于會(huì)在服務(wù)器端產(chǎn)生一個(gè)doc_type= 0&doc_id=22342566&doc_template=300458的查詢(xún)，而查詢(xún)結(jié)果會(huì)生成的緩存的靜態(tài)頁(yè)面： 0,22342566,300458.html
靜態(tài)緩存的缺點(diǎn)：1.復(fù)雜的觸發(fā)更新機(jī)制：這兩種機(jī)制在內(nèi)容管理系統(tǒng)比較簡(jiǎn)單的時(shí)候都是非常適用的。但對(duì)于一個(gè)關(guān)系比較復(fù)雜的網(wǎng)站來(lái)說(shuō)，頁(yè)面之間的邏輯引用關(guān)系就成為一個(gè)非常非常復(fù)雜的問(wèn)題。最典型的例子就是一條新聞要同時(shí)出現(xiàn)在新聞首頁(yè)和相關(guān)的3個(gè)新聞專(zhuān)題中，在靜態(tài)緩存模式中，每發(fā)一篇新文章，除了這篇新聞內(nèi)容本身的頁(yè)面外，還需要系統(tǒng)通過(guò)觸發(fā)器生成多個(gè)新的相關(guān)靜態(tài)頁(yè)面，這些相關(guān)邏輯的觸發(fā)也往往就會(huì)成為內(nèi)容管理系統(tǒng)中最復(fù)雜的部分之一。 2.舊內(nèi)容的批量更新： 通過(guò)靜態(tài)緩存發(fā)布的內(nèi)容，對(duì)于以前生成的靜態(tài)頁(yè)面的內(nèi)容很難修改，這樣用戶(hù)訪(fǎng)問(wèn)舊頁(yè)面時(shí)，新的模板根本無(wú)法生效。 在動(dòng)態(tài)緩存模式中，每個(gè)動(dòng)態(tài)頁(yè)面只需要關(guān)心，而相關(guān)的其他頁(yè)面能自動(dòng)更新，從而大大減少了設(shè)計(jì)相關(guān)頁(yè)面更新觸發(fā)器的需要。
以前做小型應(yīng)用的時(shí)候也用過(guò)類(lèi)似方式：應(yīng)用首次訪(fǎng)問(wèn)以后將數(shù)據(jù)庫(kù)的查詢(xún)結(jié)果在本地存成一個(gè)文件，下次請(qǐng)求時(shí)先檢查本地緩存目錄中是否有緩存文件，從而減少對(duì)后臺(tái)數(shù)據(jù)庫(kù)的訪(fǎng)問(wèn)。雖然這樣做也能承載比較大的負(fù)載，但這樣的內(nèi)容管理和緩存管理一體的系統(tǒng)是很難分離的，而且數(shù)據(jù)完整性也不是很好保存，內(nèi)容更新時(shí)，應(yīng)用需要把相應(yīng)內(nèi)容的的緩存文件刪除。但是這樣的設(shè)計(jì)在緩存文件很多的時(shí)候往往還需要將緩存目錄做一定的分布，否則一個(gè)目錄下的文件節(jié)點(diǎn)超過(guò)3000，rm *都會(huì)出錯(cuò)。
這時(shí)候，系統(tǒng)需要再次分工，把復(fù)雜的內(nèi)容管理系統(tǒng)分解成：內(nèi)容輸入和緩存這2個(gè)相對(duì)簡(jiǎn)單的系統(tǒng)實(shí)現(xiàn)。
后臺(tái)：內(nèi)容管理系統(tǒng)，專(zhuān)心的將內(nèi)容發(fā)布做好，比如：復(fù)雜的工作流管理，復(fù)雜的模板規(guī)則等……
前臺(tái)：頁(yè)面的緩存管理則可以使用緩存系統(tǒng)實(shí)現(xiàn)
______________________             ___________________
Squid Software cache              F5 Hardware cache
----------------------             -------------------
            \                    /
             \ ________________ /
               ASP JSP PHP
             Content Manage System
               ----------------所以分工后：內(nèi)容管理和緩存管理2者，無(wú)論哪一方面可選的余地都是非常大的：軟件（比如前臺(tái)80端口使用SQUID對(duì)后臺(tái)8080的內(nèi)容發(fā)布管理系統(tǒng)進(jìn)行緩存），緩存硬件，甚至交給akamai這樣的專(zhuān)業(yè)服務(wù)商。面向緩存的站點(diǎn)規(guī)劃 一個(gè)利用SQUID對(duì)多個(gè)站點(diǎn)進(jìn)行做WEB加速http acceleration方案：
原先一個(gè)站點(diǎn)的規(guī)劃可能是這樣的：
200.200.200.207 www.chedong.com
200.200.200.208 news.chedong.com
200.200.200.209 bbs.chedong.com
200.200.200.205 images.chedong.com
面向緩存服務(wù)器的設(shè)計(jì)中：所有站點(diǎn)都通過(guò)外部DNS指向到同一個(gè)IP：200.200.200.200/201這2臺(tái)緩存服務(wù)器上（使用2臺(tái)是為了冗余備份）

工作原理：
外部請(qǐng)求過(guò)來(lái)時(shí)，設(shè)置緩存根據(jù)配置文件進(jìn)行轉(zhuǎn)向解析。這樣，服務(wù)器請(qǐng)求就可以轉(zhuǎn)發(fā)到我們指定的內(nèi)部地址上。
在處理多虛擬主機(jī)轉(zhuǎn)向方面：mod_proxy比squid要簡(jiǎn)單一些：可以把不同服務(wù)轉(zhuǎn)向后后臺(tái)多個(gè)IP的不同端口上。
而squid只能通過(guò)禁用DNS解析，然后根據(jù)本地的/etc/hosts文件根據(jù)請(qǐng)求的域名進(jìn)行地址轉(zhuǎn)發(fā)，后臺(tái)多個(gè)服務(wù)器必須使用相同的端口。
使用反向代理加速，我們不僅可以得到性能上的提升，而且還能獲得額外的安全性和配置的靈活度：
配置靈活性提高：可以自己在內(nèi)部服務(wù)器上控制后臺(tái)服務(wù)器的DNS解析，當(dāng)需要在服務(wù)器之間做遷移調(diào)整時(shí)，就不用大量修改外部DNS配置了，只需要修改內(nèi)部DNS實(shí)現(xiàn)服務(wù)的調(diào)整。數(shù)據(jù)安全性增加：所有后臺(tái)服務(wù)器可以很方便的被保護(hù)在防火墻內(nèi)。 后臺(tái)應(yīng)用設(shè)計(jì)復(fù)雜程度降低：原先為了效率常常需要建立專(zhuān)門(mén)的圖片服務(wù)器images.chedong.com和負(fù)載比較高的應(yīng)用服務(wù)器 bbs.chedong.com分離，在反向代理加速模式中，所有前臺(tái)請(qǐng)求都通過(guò)緩存服務(wù)器：實(shí)際上就都是靜態(tài)頁(yè)面，這樣，應(yīng)用設(shè)計(jì)時(shí)就不用考慮圖片和應(yīng)用本身分離了，也大大降低了后臺(tái)內(nèi)容發(fā)布系統(tǒng)設(shè)計(jì)的復(fù)雜程度，由于數(shù)據(jù)和應(yīng)用都存放在一起，也方便了文件系統(tǒng)的維護(hù)和管理。
基于Apache mod_proxy的反向代理緩存加速實(shí)現(xiàn)Apache包含了mod_proxy模塊，可以用來(lái)實(shí)現(xiàn)代理服務(wù)器，針對(duì)后臺(tái)服務(wù)器的反向加速
安裝apache 1.3.x 編譯時(shí)：
--enable-shared=max --enable-module=most
注：Apache 2.x中mod_proxy已經(jīng)被分離成mod_proxy和mod_cache：同時(shí)mod_cache有基于文件和基于內(nèi)存的不同實(shí)現(xiàn)
創(chuàng)建/var/www/proxy，設(shè)置apache服務(wù)所用戶(hù)可寫(xiě)
mod_proxy配置樣例：反相代理緩存＋緩存
架設(shè)前臺(tái)的www.example.com反向代理后臺(tái)的www.backend.com的8080端口服務(wù)。
修改：httpd.conf
<VirtualHost *>
ServerName www.example.com
ServerAdmin admin@example.com
# reverse proxy setting
ProxyPass / http://www.backend.com:8080/
ProxyPassReverse / http://www.backend.com:8080/
# cache dir root
CacheRoot "/var/www/proxy"
# max cache storage
CacheSize 50000000
# hour: every 4 hour
CacheGcInterval 4
# max page expire time: hour
CacheMaxExpire 240
# Expire time = (now - last_modified) * CacheLastModifiedFactor
CacheLastModifiedFactor 0.1
# defalt expire tag: hour
CacheDefaultExpire 1
# force complete after precent of content retrived: 60-90%
CacheForceCompletion 80
CustomLog /usr/local/apache/logs/dev_access_log combined
</VirtualHost>
基于Squid的反向代理加速實(shí)現(xiàn) Squid是一個(gè)更專(zhuān)用的代理服務(wù)器，性能和效率會(huì)比Apache的mod_proxy高很多。
如果需要combined格式日志補(bǔ)丁：
http://www.squid-cache.org/mail-archive/squid-dev/200301/0164.html
squid的編譯：
./configure --enable-useragent-log  --enable-referer-log --enable-default-err-language=Simplify_Chinese \ --enable-err-languages="Simplify_Chinese English" --disable-internal-dns 
make
#make install
#cd /usr/local/squid
make dir cache
chown squid.squid *
vi /usr/local/squid/etc/squid.conf
在/etc/hosts中：加入內(nèi)部的DNS解析，比如：
192.168.0.4 www.chedong.com
192.168.0.4 news.chedong.com
192.168.0.3 bbs.chedong.com
---------------------cut here----------------------------------
# visible name
visible_hostname cache.example.com
# cache config: space use 1G and memory use 256M
cache_dir ufs /usr/local/squid/cache 1024 16 256
cache_mem 256 MB
cache_effective_user squid
cache_effective_group squid

http_port 80
httpd_accel_host virtual
httpd_accel_single_host off
httpd_accel_port 80
httpd_accel_uses_host_header on
httpd_accel_with_proxy on
# accelerater my domain only
acl acceleratedHostA dstdomain .example1.com
acl acceleratedHostB dstdomain .example2.com
acl acceleratedHostC dstdomain .example3.com
# accelerater http protocol on port 80
acl acceleratedProtocol protocol HTTP
acl acceleratedPort port 80
# access arc
acl all src 0.0.0.0/0.0.0.0
# Allow requests when they are to the accelerated machine AND to the
# right port with right protocol
http_access allow acceleratedProtocol acceleratedPort acceleratedHostA
http_access allow acceleratedProtocol acceleratedPort acceleratedHostB
http_access allow acceleratedProtocol acceleratedPort acceleratedHostC
# logging
emulate_httpd_log on
cache_store_log none
# manager
acl manager proto cache_object
http_access allow manager all
cachemgr_passwd pass all

----------------------cut here---------------------------------
創(chuàng)建緩存目錄：
/usr/local/squid/sbin/squid -z
啟動(dòng)squid
/usr/local/squid/sbin/squid
停止squid：
/usr/local/squid/sbin/squid -k shutdown
啟用新配置：
/usr/local/squid/sbin/squid -k reconfig
通過(guò)crontab每天0點(diǎn)截?cái)?輪循日志：
0 0 * * * (/usr/local/squid/sbin/squid -k rotate)可緩存的動(dòng)態(tài)頁(yè)面設(shè)計(jì) 什么樣的頁(yè)面能夠比較好的被緩存服務(wù)器緩存呢？如果返回內(nèi)容的HTTP HEADER中有"Last-Modified"和"Expires"相關(guān)聲明，比如：
Last-Modified: Wed, 14 May 2003 13:06:17 GMT
Expires: Fri, 16 Jun 2003 13:06:17 GMT
前端緩存服務(wù)器在期間會(huì)將生成的頁(yè)面緩存在本地：硬盤(pán)或者內(nèi)存中，直至上述頁(yè)面過(guò)期。
因此，一個(gè)可緩存的頁(yè)面： 頁(yè)面必須包含Last-Modified: 標(biāo)記
一般純靜態(tài)頁(yè)面本身都會(huì)有Last-Modified信息，動(dòng)態(tài)頁(yè)面需要通過(guò)函數(shù)強(qiáng)制加上，比如在PHP中：
// always modified now
header("Last-Modified: " . gmdate("D, d M Y H:i:s") . " GMT");

必須有Expires或Cache-Control: max-age標(biāo)記設(shè)置頁(yè)面的過(guò)期時(shí)間：
對(duì)于靜態(tài)頁(yè)面，通過(guò)apache的mod_expires根據(jù)頁(yè)面的MIME類(lèi)型設(shè)置緩存周期：比如圖片缺省是1個(gè)月，HTML頁(yè)面缺省是2天等。
<IfModule mod_expires.c>
    ExpiresActive on
    ExpiresByType image/gif "access plus 1 month"
    ExpiresByType text/css "now plus 2 day"
    ExpiresDefault "now plus 1 day"
</IfModule>
對(duì)于動(dòng)態(tài)頁(yè)面，則可以直接通過(guò)寫(xiě)入HTTP返回的頭信息，比如對(duì)于新聞首頁(yè)index.php可以是20分鐘，而對(duì)于具體的一條新聞頁(yè)面可能是1天后過(guò)期。比如：在php中加入了1個(gè)月后過(guò)期：
// Expires one month later
header("Expires: " .gmdate ("D, d M Y H:i:s", time() + 3600 * 24 * 30). " GMT");

如果服務(wù)器端有基于HTTP的認(rèn)證，必須有Cache-Control: public標(biāo)記，允許前臺(tái) ASP應(yīng)用的緩存改造 首先在公用的包含文件中(比如include.asp)加入以下公用函數(shù)：
<%
' Set Expires Header in minutes
Function SetExpiresHeader(ByVal minutes)
    ' set Page Last-Modified Header:
    ' Converts date (19991022 11:08:38) to http form (Fri, 22 Oct 1999 12:08:38 GMT)
    Response.AddHeader "Last-Modified", DateToHTTPDate(Now())
   
    ' The Page Expires in Minutes
    Response.Expires = minutes
   
    ' Set cache control to externel applications
    Response.CacheControl = "public"
End Function
' Converts date (19991022 11:08:38) to http form (Fri, 22 Oct 1999 12:08:38 GMT)
Function DateToHTTPDate(ByVal OleDATE)
  Const GMTdiff = #08:00:00#
  OleDATE = OleDATE - GMTdiff
  DateToHTTPDate = engWeekDayName(OleDATE) & _
    ", " & Right("0" & Day(OleDATE),2) & " " & engMonthName(OleDATE) & _
    " " & Year(OleDATE) & " " & Right("0" & Hour(OleDATE),2) & _
    ":" & Right("0" & Minute(OleDATE),2) & ":" & Right("0" & Second(OleDATE),2) & " GMT"
End Function
Function engWeekDayName(dt)
    Dim Out
    Select Case WeekDay(dt,1)
        Case 1:Out="Sun"
        Case 2:Out="Mon"
        Case 3:Out="Tue"
        Case 4:Out="Wed"
        Case 5:Out="Thu"
        Case 6:Out="Fri"
        Case 7:Out="Sat"
    End Select
    engWeekDayName = Out
End Function
Function engMonthName(dt)
    Dim Out
    Select Case Month(dt)
        Case 1:Out="Jan"
        Case 2:Out="Feb"
        Case 3:Out="Mar"
        Case 4:Out="Apr"
        Case 5:Out="May"
        Case 6:Out="Jun"
        Case 7:Out="Jul"
        Case 8:Out="Aug"
        Case 9:Out="Sep"
        Case 10:Out="Oct"
        Case 11:Out="Nov"
        Case 12:Out="Dec"
    End Select
    engMonthName = Out
End Function
%>
然后在具體的頁(yè)面中，比如index.asp和news.asp的“最上面”加入以下代碼：HTTP Header
<!--#include file="../include.asp"-->
<%
'頁(yè)面將被設(shè)置20分鐘后過(guò)期
SetExpiresHeader(20)
%> 應(yīng)用的緩存兼容性設(shè)計(jì)經(jīng)過(guò)代理以后，由于在客戶(hù)端和服務(wù)之間增加了中間層，因此服務(wù)器無(wú)法直接拿到客戶(hù)端的IP，服務(wù)器端應(yīng)用也無(wú)法直接通過(guò)轉(zhuǎn)發(fā)請(qǐng)求的地址返回給客戶(hù)端。但是在轉(zhuǎn)發(fā)請(qǐng)求的HTTD頭信息中，增加了HTTP_X_FORWARDED_????信息。用以跟蹤原有的客戶(hù)端IP地址和原來(lái)客戶(hù)端請(qǐng)求的服務(wù)器地址。
下面是2個(gè)例子，用于說(shuō)明緩存兼容性應(yīng)用的設(shè)計(jì)原則：function getHostName ()
dim hostName as String = ""
hostName = Request.ServerVariables("HTTP_HOST")
if not isDBNull(Request.ServerVariables("HTTP_X_FORWARDED_HOST")) then
if len(trim(Request.ServerVariables("HTTP_X_FORWARDED_HOST"))) > 0 then
hostName = Request.ServerVariables("HTTP_X_FORWARDED_HOST")
end if
end if
return hostNmae
end function//對(duì)于一個(gè)需要記錄客戶(hù)端IP的PHP應(yīng)用：不要直接引用REMOTE_ADDR，而是要使用HTTP_X_FORWARDED_FOR，
function getUserIP (){
//注意這個(gè)函數(shù)中的￥字符是PHP的美元符號(hào)
￥user_ip = ￥_SERVER["REMOTE_ADDR"];
if (￥_SERVER["HTTP_X_FORWARDED_FOR"]) {
￥user_ip = ￥_SERVER["HTTP_X_FORWARDED_FOR"];
}
}