快捷導(dǎo)航

PHP 獲取遠(yuǎn)程網(wǎng)頁內(nèi)容的代碼(fopen,curl已測)

更新時間：2011年06月06日 09:05:33 作者：

獲取遠(yuǎn)程網(wǎng)頁內(nèi)容的php代碼，做小偷采集程序的程序經(jīng)常用得到，現(xiàn)在用curl的比較多。

1、fopen的使用

 
<?php 
$handle = fopen ("http://s.jb51.net/", "rb"); 
$contents = ""; 
while (!feof($handle)) { 
$contents .= fread($handle, 8192); 
} 
fclose($handle); 
echo $contents; //輸出獲取到得內(nèi)容。 
?> 

復(fù)制代碼代碼如下:

 
// 對 PHP 5 及更高版本可以使用下面的代碼 
<?php 
$handle = fopen("http://s.jb51.net", "rb"); 
$contents = stream_get_contents($handle); 
fclose($handle); 
echo $contents; 
?> 

但上面的代碼容易出現(xiàn) failed to open stream: HTTP request failed!錯誤，解決方法

有人說在php.ini中，有這樣兩個選項:allow_url_fopen =on(表示可以通過url打開遠(yuǎn)程文件)，user_agent="PHP"（表示通過哪種腳本訪問網(wǎng)絡(luò)，默認(rèn)前面有個 " ; " 去掉即可。）重啟服務(wù)器。
但是有些還是會有這個警告信息，想用完美的解決還差一步，還得設(shè)置php.ini里面的user_agent，php默認(rèn)的user_agent是PHP，我們把它改成Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)來模擬瀏覽器就可以了

user_agent="Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)"

在工作中遇到這個問題，后完美解決，故分享給大家。
2、通過curl來實現(xiàn)

復(fù)制代碼代碼如下:

 
<?php 
$url = "http://s.jb51.net"; 
$ch = curl_init(); 
curl_setopt ($ch, CURLOPT_URL, $url); 
curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1); 
curl_setopt ($ch, CURLOPT_CONNECTTIMEOUT,10); 
$dxycontent = curl_exec($ch); 
echo $dxycontent; 
?> 

linux下可以使用下面的代碼下載
exec("wget {$url}");

PHP抓取外部資源函數(shù)fopen / file_get_contents / curl 的區(qū)別

fopen / file_get_contents 每次請求都會重新做DNS查詢，并不對DNS信息進(jìn)行緩存。
但是CURL會自動對DNS信息進(jìn)行緩存。對同一域名下的網(wǎng)頁或者圖片的請求只需要一次DNS查詢。
這大大減少了DNS查詢的次數(shù)。
所以CURL的性能比fopen / file_get_contents 好很多。

腳本之家原創(chuàng)內(nèi)容，轉(zhuǎn)載請注明出處。

您可能感興趣的文章: