一個(gè)PHP實(shí)現(xiàn)的輕量級(jí)簡單爬蟲
最近需要收集資料,在瀏覽器上用另存為的方式實(shí)在是很麻煩,而且不利于存儲(chǔ)和檢索。所以自己寫了一個(gè)小爬蟲,在網(wǎng)上爬東西,迄今為止,已經(jīng)爬了近百 萬張網(wǎng)頁?,F(xiàn)在正在想辦法著手處理這些數(shù)據(jù)。
爬蟲的結(jié)構(gòu):
爬蟲的原理其實(shí)很簡單,就是分析下載的頁面,找出其中的連接,然后再下載這些鏈接,再分析再下載,周而復(fù)始。在數(shù)據(jù)存儲(chǔ)方面,數(shù)據(jù)庫是首選,便于檢索,而 開發(fā)語言,只要支持正則表達(dá)式就可以了,數(shù)據(jù)庫我選擇了mysql,所以,開發(fā)腳本我選擇了php。它支持perl兼容正則表達(dá)式,連接mysql很方 便,支持http下載,而且windows系統(tǒng)和linux系統(tǒng)都可以部署。
正則表達(dá)式:
正則表達(dá)式是處理文字的基本工具,要取出html中的鏈接和圖片,使用的正則表達(dá)式如下。
"#<a[^>]+href=(['\"])(.+)\\1#isU" 處理鏈接
"#<img[^>]+src=(['\"])(.+)\\1#isU" 處理圖片
其他問題:
寫爬蟲還需要注意的一個(gè)問題是,對(duì)于已經(jīng)下載過的url,不能重復(fù)進(jìn)行下載,而有些網(wǎng)頁的鏈接會(huì)形成環(huán)路,所以需要處理這個(gè)問題,我的處理方法是計(jì)算已經(jīng) 處理的url的MD5 值,并存入數(shù)據(jù)庫,這樣就可以檢驗(yàn)是否已經(jīng)下載過。當(dāng)然還有更好的算法,有興趣的話,可以在網(wǎng)上找一下。
相關(guān)協(xié)議:
爬蟲也有自己的協(xié)議,有個(gè)robots.txt文件定義了那些是網(wǎng)站允許遍歷的,但是由于我的時(shí)間有限,沒有實(shí)現(xiàn)這個(gè)功能。
其他說明:
php支持類編程,我寫的爬蟲主要的類.
1.url處理web_site_info,主要用處理url,分析域名等。
2.數(shù)據(jù)庫操作mysql_insert.php,處理和數(shù)據(jù)庫相關(guān)的操作。
3.歷史記錄處理,記錄已經(jīng)處理的url。
4.爬蟲類。
存在的問題和不足
這個(gè)爬蟲在小數(shù)據(jù)量的情況下,運(yùn)行良好,但是在大數(shù)據(jù)量的情況下,歷史記錄處理類的效率就不是很高,通過在數(shù)據(jù)庫結(jié)構(gòu)中,對(duì)相關(guān)字段進(jìn)行了索引,速度有了 提高,但是需要不斷得讀取數(shù)據(jù),可能和php本身的array實(shí)現(xiàn)有關(guān)系,如果一次加載10萬條歷史記錄,速度非常慢。
不支持多線程,每次只能處理一個(gè)url。
php運(yùn)行本身有內(nèi)存使用量限制,有一次在抓取深度為20的頁面的時(shí)候,內(nèi)存用盡程序被殺。
下面的url是源碼下載。
http://xiazai.jb51.net/201506/other/net_spider.rar
使用的時(shí)候,先在mysql中創(chuàng)建net_spider數(shù)據(jù)庫,然后用db.sql創(chuàng)建相關(guān)表。再在config.php中設(shè)置mysql 的用戶名口令。
最后
php -f spider.php 深度(數(shù)值) url
就可以開始工作。如
現(xiàn)在感覺下來,其實(shí)做個(gè)爬蟲沒那么復(fù)雜,難的是數(shù)據(jù)的存儲(chǔ)和檢索。我現(xiàn)在的數(shù)據(jù)庫,最大一個(gè)數(shù)據(jù)表已經(jīng)15G,正在想辦處理這些數(shù)據(jù),mysql進(jìn) 行查詢已經(jīng)感覺有點(diǎn)力不從心了。這點(diǎn)上還真佩服google
<?php #加載頁面 function curl_get($url){ $ch=curl_init(); curl_setopt($ch,CURLOPT_URL,$url); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); curl_setopt($ch,CURLOPT_HEADER,1); $result=curl_exec($ch); $code=curl_getinfo($ch,CURLINFO_HTTP_CODE); if($code!='404' && $result){ return $result; } curl_close($ch); } #獲取頁面url鏈接 function get_page_urls($spider_page_result,$base_url){ $get_url_result=preg_match_all("/<[a|A].*?href=[\'\"]{0,1}([^>\'\"\]*).*?>/",$spider_page_result,$out); if($get_url_result){ return $out[1]; }else{ return; } } #相對(duì)路徑轉(zhuǎn)絕對(duì)路徑 function xdtojd($base_url,$url_list){ if(is_array($url_list)){ foreach($url_list as $url_item){ if(preg_match("/^(http:\/\/|https:\/\/|javascript:)/",$url_item)){ $result_url_list[]=$url_item; }else { if(preg_match("/^\//",$url_item)){ $real_url = $base_url.$url_item; }else{ $real_url = $base_url."/".$url_item; } #$real_url = 'http://www.sumpay.cn/'.$url_item; $result_url_list[] = $real_url; } } return $result_url_list; }else{ return; } } #刪除其他站點(diǎn)url function other_site_url_del($jd_url_list,$url_base){ if(is_array($jd_url_list)){ foreach($jd_url_list as $all_url){ echo $all_url; if(strpos($all_url,$url_base)===0){ $all_url_list[]=$all_url; } } return $all_url_list; }else{ return; } } #刪除相同URL function url_same_del($array_url){ if(is_array($array_url)){ $insert_url=array(); $pizza=file_get_contents("/tmp/url.txt"); if($pizza){ $pizza=explode("\r\n",$pizza); foreach($array_url as $array_value_url){ if(!in_array($array_value_url,$pizza)){ $insert_url[]=$array_value_url; } } if($insert_url){ foreach($insert_url as $key => $insert_url_value){ #這里只做了參數(shù)相同去重處理 $update_insert_url=preg_replace('/=[^&]*/','=leesec',$insert_url_value); foreach($pizza as $pizza_value){ $update_pizza_value=preg_replace('/=[^&]*/','=leesec',$pizza_value); if($update_insert_url==$update_pizza_value){ unset($insert_url[$key]); continue; } } } } }else{ $insert_url=array(); $insert_new_url=array(); $insert_url=$array_url; foreach($insert_url as $insert_url_value){ $update_insert_url=preg_replace('/=[^&]*/','=leesec',$insert_url_value); $insert_new_url[]=$update_insert_url; } $insert_new_url=array_unique($insert_new_url); foreach($insert_new_url as $key => $insert_new_url_val){ $insert_url_bf[]=$insert_url[$key]; } $insert_url=$insert_url_bf; } return $insert_url; }else{ return; } } $current_url=$argv[1]; $fp_puts = fopen("/tmp/url.txt","ab");//記錄url列表 $fp_gets = fopen("/tmp/url.txt","r");//保存url列表 $url_base_url=parse_url($current_url); if($url_base_url['scheme']==""){ $url_base="http://".$url_base_url['host']; }else{ $url_base=$url_base_url['scheme']."://".$url_base_url['host']; } do{ $spider_page_result=curl_get($current_url); #var_dump($spider_page_result); $url_list=get_page_urls($spider_page_result,$url_base); #var_dump($url_list); if(!$url_list){ continue; } $jd_url_list=xdtojd($url_base,$url_list); #var_dump($jd_url_list); $result_url_arr=other_site_url_del($jd_url_list,$url_base); var_dump($result_url_arr); $result_url_arr=url_same_del($result_url_arr); #var_dump($result_url_arr); if(is_array($result_url_arr)){ $result_url_arr=array_unique($result_url_arr); foreach($result_url_arr as $new_url) { fputs($fp_puts,$new_url."\r\n"); } } }while ($current_url = fgets($fp_gets,1024));//不斷獲得url preg_match_all("/<a[^>]+href=[\"']([^\"']+)[\"'][^>]+>/",$spider_page_result,$out); # echo a href #var_dump($out[1]); ?>
相關(guān)文章
thinkPHP5分頁功能實(shí)現(xiàn)方法分析
這篇文章主要介紹了thinkPHP5分頁功能實(shí)現(xiàn)方法,結(jié)合實(shí)例形式較為詳細(xì)的分析了thinkPHP5實(shí)現(xiàn)分頁功能的具體步驟與相關(guān)操作技巧,需要的朋友可以參考下2017-10-10PHP 修復(fù)未正常關(guān)閉的HTML標(biāo)簽實(shí)現(xiàn)代碼(支持嵌套和就近閉合)
PHP 修復(fù)未正常關(guān)閉的 HTML 標(biāo)簽 支持嵌套和就近閉合,需要的朋友可以參考下2012-06-06Laravel如何創(chuàng)建服務(wù)器提供者實(shí)例代碼
這篇文章主要給大家介紹了關(guān)于Laravel如何創(chuàng)建服務(wù)器提供者的相關(guān)資料,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家學(xué)習(xí)或者使用Laravel具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面來一起學(xué)習(xí)學(xué)習(xí)吧2019-04-04php實(shí)現(xiàn)批量上傳數(shù)據(jù)到數(shù)據(jù)庫(.csv格式)的案例
下面小編就為大家?guī)硪黄猵hp實(shí)現(xiàn)批量上傳數(shù)據(jù)到數(shù)據(jù)庫(.csv格式)的案例。小編覺得挺不錯(cuò)的,現(xiàn)在就分享給大家,也給大家做個(gè)參考。一起跟隨小編過來看看吧2017-06-06完美解決Thinkphp3.2中插入相同數(shù)據(jù)的問題
下面小編就為大家?guī)硪黄昝澜鉀QThinkphp3.2中插入相同數(shù)據(jù)的問題。小編覺得挺不錯(cuò)的,現(xiàn)在就分享給大家,也給大家做個(gè)參考。一起跟隨小編過來看看吧2017-08-08Laravel框架查詢構(gòu)造器常見用法總結(jié)
這篇文章主要介紹了Laravel框架查詢構(gòu)造器常見用法,結(jié)合實(shí)例形式總結(jié)分析了laravel框架查詢構(gòu)造器相關(guān)原理與常見使用技巧,需要的朋友可以參考下2019-12-12解決PHP里大量數(shù)據(jù)循環(huán)時(shí)內(nèi)存耗盡的方法
錯(cuò)誤信息提示最大內(nèi)存已經(jīng)耗盡,該如何解決呢?下面小編給大家解決PHP里大量數(shù)據(jù)循環(huán)時(shí)內(nèi)存耗盡的問題,需要的朋友可以參考下2015-10-10ThinkPHP框架實(shí)現(xiàn)FTP圖片上傳功能示例
這篇文章主要介紹了ThinkPHP框架實(shí)現(xiàn)FTP圖片上傳功能,結(jié)合實(shí)例形式分析了thinkPHP框架實(shí)現(xiàn)ftp圖片上傳功能相關(guān)的配置、文件傳輸功能等操作技巧,需要的朋友可以參考下2019-04-04PHP receiveMail實(shí)現(xiàn)收郵件功能
這篇文章主要為大家詳細(xì)介紹了PHP receiveMail實(shí)現(xiàn)收郵件功能,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2018-04-04PHP數(shù)據(jù)庫萬能引擎類adodb配置使用以及實(shí)例集錦
ADODB 是一種兼容的各類數(shù)據(jù)庫應(yīng)用程序接口(API),各種數(shù)據(jù)庫都可以。MySQL,PostgreSQL,Interbase,F(xiàn)irebird,Informix,Oracle,MS SQL 7,F(xiàn)oxpro,Access,ADO,Sybase,F(xiàn)rontBase,DB22014-06-06