Apache HTTP Server 版本2.2
要有效地管理Web服務(wù)器,就有必要反饋服務(wù)器的活動、性能以及出現(xiàn)的問題。Apache HTTP服務(wù)器提供了非常全面而靈活的日志記錄功能。本文將闡述如何配置文件以及如何理解日志內(nèi)容。
任何人只要對Apache存放日志文件的目錄具有寫權(quán)限,也就當然地可以獲得啟動Apache的用戶(通常是root)的權(quán)限,絕對不要隨意給予任何人存放日志文件目錄的寫權(quán)限。細節(jié)請參見安全方面的提示。
另外,日志文件可能會包含未加轉(zhuǎn)換的來自用戶的信息,用戶就有機會惡意插入控制符,所以處理原始日志時應(yīng)該當心這個問題。
相關(guān)模塊 | 相關(guān)指令 |
---|---|
錯誤日志是最重要的日志文件,其文件名和位置取決于ErrorLog
指令。Apache httpd將在這個文件中存放診斷信息和處理請求中出現(xiàn)的錯誤,由于這里經(jīng)常包含了出錯細節(jié)以及如何解決,如果服務(wù)器啟動或運行中有問題,首先就應(yīng)該查看這個錯誤日志。
錯誤日志通常被寫入一個文件(unix系統(tǒng)上一般是error_log
,Windows和OS/2上一般是error.log
)。在unix系統(tǒng)中,錯誤日志還可能被重定向到syslog
或通過管道操作傳遞給一個程序。
錯誤日志的格式相對靈活,并可以附加文字描述。某些信息會出現(xiàn)在絕大多數(shù)記錄中,一個典型的例子是:
[Wed Oct 11 14:32:52 2000] [error] [client 127.0.0.1]
client denied by server configuration:
/export/home/live/ap/htdocs/test
其中,第一項是錯誤發(fā)生的日期和時間;第二項是錯誤的嚴重性,LogLevel
指令使只有高于指定嚴重性級別的錯誤才會被記錄;第三項是導(dǎo)致錯誤的IP地址;此后是信息本身,在此例中,服務(wù)器拒絕了這個客戶的訪問。服務(wù)器在記錄被訪問文件時,用的是文件系統(tǒng)路徑,而不是Web路徑。
錯誤日志中會包含類似上述例子的多種類型的信息。此外,CGI腳本中任何輸出到stderr
的信息會作為調(diào)試信息原封不動地記錄到錯誤日志中。
用戶可以增加或刪除錯誤日志的項。但是對某些特殊請求,在訪問日志(access log)中也會有相應(yīng)的記錄,比如上述例子在訪問日志中也會有相應(yīng)的記錄,其狀態(tài)碼是403,因為訪問日志也可以定制,所以可以從訪問日志中得到錯誤事件的更多信息。
在測試中,對任何問題持續(xù)監(jiān)視錯誤日志是非常有用的。在unix系統(tǒng)中,可以這樣做:
tail -f error_log
相關(guān)模塊 | 相關(guān)指令 |
---|---|
訪問日志中會記錄服務(wù)器所處理的所有請求,其文件名和位置取決于CustomLog
指令,LogFormat
指令可以簡化日志的內(nèi)容。這里闡述如何配置服務(wù)器的訪問日志。
實施日志管理,首先當然必須產(chǎn)生訪問日志,然后才能分析日志從而得到有用的統(tǒng)計信息。日志分析不是Web服務(wù)器的職責(zé),已超出本文的范疇,更多資料和有關(guān)分析工具的信息,可以查看Open Directory或Yahoo 。
不同版本的Apache httpd使用了不同的模塊和指令來控制對訪問的記錄,包括mod_log_referer, mod_log_agent和TransferLog
指令,F(xiàn)在,CustomLog
指令包含了舊版本中相關(guān)指令的所有功能。
訪問日志的格式是高度靈活的,使用很象C風(fēng)格的printf()函數(shù)的格式字符串。下面有幾個例子,完整的說明可以查看用于mod_log_config
模塊的格式字符串。
這是一個典型的記錄格式:
LogFormat "%h %l %u %t \"%r\" %>s %b" common
CustomLog logs/access_log common
它定義了一種特定的記錄格式字符串,并給它起了個別名叫common
,其中的"%"指示服務(wù)器用某種信息替換,其他字符則不作替換。引號("
)必須加反斜杠轉(zhuǎn)義,以避免被解釋為字符串的結(jié)束。格式字符串還可以包含特殊的控制符,如換行符"\n
" 、制表符"\t
"。
CustomLog
指令建立一個使用指定別名的新日志文件,除非其文件名是以斜杠開頭的絕對路徑,否則其路徑就是相對于ServerRoot
的相對路徑。
上述配置是一種被稱為通用日志格式(CLF)的記錄格式,它被許多不同的Web服務(wù)器所采用,并被許多日志分析程序所識別,它產(chǎn)生的記錄形如:
127.0.0.1 - frank [10/Oct/2000:13:55:36 -0700] "GET
/apache_pb.gif HTTP/1.0" 200 2326
記錄的各部分說明如下:
127.0.0.1
(%h
)HostnameLookups
設(shè)為 On
,則服務(wù)器會嘗試解析這個IP地址的主機名并替換此處的IP地址,但并不推薦這樣做,因為它會顯著拖慢服務(wù)器,最好是用一個日志后續(xù)處理器來判斷主機名,比如logresolve
。如果客戶和服務(wù)器之間存在代理,那么記錄中的這個IP地址就是那個代理的IP地址,而不是客戶機的真實IP地址。-
(%l
)identd
進程判斷的RFC1413身份(identity),輸出中的符號"-"表示此處的信息無效。除非在嚴格控制的內(nèi)部網(wǎng)絡(luò)中,此信息通常很不可靠,不應(yīng)該被使用。只有在將IdentityCheck
指令設(shè)為 On
時,Apache才會試圖得到這項信息。frank
(%u
)REMOTE_USER
會被設(shè)為該值并提供給CGI腳本。如果狀態(tài)碼是401,表示客戶未通過認證,則此值沒有意義。如果網(wǎng)頁沒有設(shè)置密碼保護,則此項將是"-
"。[10/Oct/2000:13:55:36 -0700]
(%t
)
[日/月/年:時:分:秒 時區(qū)]
日 = 2數(shù)字
月 = 3字母
年 = 4數(shù)字
時 = 2數(shù)字
分 = 2數(shù)字
秒 = 2數(shù)字
時區(qū) = (+|-)4數(shù)字
%{format}t
來改變時間的輸出形式,其中的format
與C標準庫中的strftime()
用法相同。
"GET /apache_pb.gif HTTP/1.0"
(\"%r\"
)GET
,請求的資源是/apache_pb.gif
,使用的協(xié)議是HTTP/1.0
。另外,還可以記錄其他信息,如:格式字符串"%m %U%q %H
"會記錄動作、路徑、查詢字符串、協(xié)議,其輸出和"%r
"一樣。200
(%>s
)2326
(%b
)-
",如果希望記錄為"0
"的形式,就應(yīng)該用%B
。另一種常用的記錄格式是組合日志格式,形式如下:
LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\"
\"%{User-agent}i\"" combined
CustomLog log/access_log combined
這種格式與通用日志格式類似,但是多了兩個 %{header}i
項,其中的header可以是任何請求頭。這種格式的記錄形如:
127.0.0.1 - frank [10/Oct/2000:13:55:36 -0700] "GET
/apache_pb.gif HTTP/1.0" 200 2326
"http://www.example.com/start.html" "Mozilla/4.08 [en]
(Win98; I ;Nav)"
其中,多出來的項是:
"http://www.example.com/start.html"
(\"%{Referer}i\"
)/apache_pb.gif
或者其連接。"Mozilla/4.08 [en] (Win98; I ;Nav)"
(\"%{User-agent}i\"
)可以簡單地在配置文件中用多個CustomLog
指令來建立多文件訪問日志。如下例,既記錄基本的CLF信息,又記錄提交網(wǎng)頁和瀏覽器的信息,最后兩行CustomLog
示范了如何模擬ReferLog
和AgentLog
指令的效果。
LogFormat "%h %l %u %t \"%r\" %>s %b" common
CustomLog logs/access_log common
CustomLog logs/referer_log "%{Referer}i -> %U"
CustomLog logs/agent_log "%{User-agent}i"
此例也說明了,記錄格式可以直接由CustomLog
指定,而并不一定要用LogFormat
起一個別名。
許多時候,根據(jù)與請求特征相關(guān)的環(huán)境變量來有選擇地記錄某些客戶端請求會帶來便利。首先,需要使用SetEnvIf
指令來設(shè)置特定的環(huán)境變量以標識符合某種特定條件的請求,然后用CustomLog
指令的 env=
子句,根據(jù)這些環(huán)境變量來決定記錄或排除特定的請求。例如:
# 不記錄本機發(fā)出的請求
SetEnvIf Remote_Addr "127\.0\.0\.1" dontlog
# 不記錄對robots.txt文件的請求
SetEnvIf Request_URI "^/robots\.txt$" dontlog
# 記錄其他請求
CustomLog logs/access_log common env=!dontlog
再如,將使用英語的請求記錄到一個日志,而記錄非英語的請求到另一個日志:
SetEnvIf Accept-Language "en" english
CustomLog logs/english_log common env=english
CustomLog logs/non_english_log common env=!english
雖然上述已經(jīng)展示了條件日志記錄的強大和靈活,但這不是控制日志內(nèi)容的唯一手段,還可以用日志后繼處理程序來剔除你不關(guān)心的內(nèi)容,從而使日志更加有用。
即使一個并不繁忙的服務(wù)器,其日志文件的信息量也會很大,一般每10000個請求,訪問日志就會增加1MB或更多。這就有必要定期滾動日志文件。由于Apache會保持日志文件的打開,并持續(xù)寫入信息,因此服務(wù)器運行期間不能執(zhí)行滾動操作。移動或者刪除日志文件以后,必須重新啟動服務(wù)器才能讓它打開新的日志文件。
用優(yōu)雅的(graceful)方法重新啟動,可以使服務(wù)器啟用新的日志文件,而不丟失原來尚未寫入的信息。為此,有必要等待一段時間,讓服務(wù)器完成正在處理的請求,并將記錄寫入到原來的日志文件。以下是一個典型的日志滾動和為節(jié)省存儲空間而壓縮舊日志的例子:
mv access_log access_log.old
mv error_log error_log.old
apachectl graceful
sleep 600
gzip access_log.old error_log.old
另一種執(zhí)行滾動的方法是使用下一節(jié)闡述的管道日志。
Apache httpd可以通過管道將訪問記錄和出錯信息傳遞給另一個進程,而不是寫入一個文件,由于無須對主服務(wù)器進行編程,這個功能顯著地增強了日志的靈活性。只要用管道操作符"|
"后面跟一個可執(zhí)行文件名,就可以使這個程序從標準輸入設(shè)備獲得事件記錄。Apache在啟動時,會同時啟動這個管道日志進程,并且在運行過程中,如果這個進程崩潰了,會重新啟動這個進程(所以我們稱這個技術(shù)為"可靠管道日志")。
管道日志進程由其父進程Apache httpd產(chǎn)生,并繼承其權(quán)限,這意味著管道進程通常是作為root運行的,所以保持這個程序簡單而安全極為重要。
管道日志的一種重要用途是,允許日志滾動而無須重新啟動服務(wù)器。為此,服務(wù)器提供了一個簡單的程序rotatelogs
。每24小時滾動一次日志的例子如下:
CustomLog "|/usr/local/apache/bin/rotatelogs /var/log/access_log 86400" common
注意:引號用于界定整個管道命令行。雖然這是針對訪問日志的,但是其用法對于其他日志也一樣。
在其他站點,有一個類似但更靈活的日志滾動程序叫cronolog 。
如果有較簡單的離線處理日志的方案,就不應(yīng)該使用條件日志和管道日志,即使它們非常強大。
如果服務(wù)器配有若干虛擬主機,那么還有幾個控制日志文件的功能。首先,可以把日志指令放在<VirtualHost>
段之外,讓它們與主服務(wù)器使用同一個訪問日志和錯誤日志來記錄所有的請求和錯誤,但是這樣就不能方便的獲得每個虛擬主機的信息了。
如果把CustomLog
或ErrorLog
指令放在<VirtualHost>
段內(nèi),所有對這個虛擬主機的請求和錯誤信息會被記錄在其私有的日志文件中,那些沒有在<VirtualHost>
段內(nèi)使用日志指令的虛擬主機將仍然和主服務(wù)器使用同一個日志。這種方法對虛擬主機較少的服務(wù)器很有用,但虛擬主機非常多時,就會帶來管理上的困難,還經(jīng)常會產(chǎn)生文件描述符短缺的問題。
對于訪問日志,有一個很好的折衷方案,在同一個訪問日志文件中記錄對所有主機的訪問,而每條記錄都注明虛擬主機的信息,日后再把記錄拆開存入不同的文件。例如:
LogFormat "%v %l %u %t \"%r\" %>s %b" comonvhost
CustomLog logs/access_log comonvhost
%v
用來附加虛擬主機的信息。有個split-logfile程序可以根據(jù)不同的虛擬主機信息對日志進行拆分,并將結(jié)果存入不同的文件。
相關(guān)模塊 | 相關(guān)指令 |
---|---|
mod_logio
增加了兩個額外的LogFormat
字段(%I 和 %O)用于記錄接收和發(fā)送的實際字節(jié)數(shù)。
mod_log_forensic
提供了對客戶端請求的對比記錄,也就是在請求被處理之前和處理完成之后進行兩次記錄,所以對比日志(forensic log)對于每個請求都包含兩條記錄。對比記錄器(forensic logger)十分嚴格,不可以進行定制。它可以成為無價的調(diào)試和安全工具。
在啟動時,Apache httpd將會在logs/httpd.pid
文件中保存其父進程httpd的進程ID(process id[PID])。該文件名可以用PidFile
指令改變。該PID可以被管理員利用來重新啟動或者終止服務(wù)器后臺守護進程。在Windows中,可以使用命令行參數(shù) -k 。更多信息請參見停止和重新啟動。
為了方便調(diào)試,可以用ScriptLog
指令來記錄CGI腳本的輸入和輸出。此功能應(yīng)該僅用于測試,而不應(yīng)該用于正常工作的服務(wù)器。更多資料請參見mod_cgi文檔。
在使用強大且靈活的mod_rewrite時,幾乎都有必要用RewriteLog
來幫助調(diào)試。這個日志提供了重寫引擎如何轉(zhuǎn)換請求的詳細分解信息,其詳細程度取決于RewriteLogLevel
指令。