欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

一個(gè)PHP實(shí)現(xiàn)的輕量級(jí)簡單爬蟲

 更新時(shí)間:2015年07月08日 10:05:38   投稿:junjie  
這篇文章主要介紹了一個(gè)PHP實(shí)現(xiàn)的輕量級(jí)簡單爬蟲,本文總結(jié)了爬蟲的一些知識(shí)如爬蟲的結(jié)構(gòu)、正則表達(dá)式、其他問題等,然后給出了爬蟲實(shí)現(xiàn)代碼,需要的朋友可以參考下

最近需要收集資料,在瀏覽器上用另存為的方式實(shí)在是很麻煩,而且不利于存儲(chǔ)和檢索。所以自己寫了一個(gè)小爬蟲,在網(wǎng)上爬東西,迄今為止,已經(jīng)爬了近百 萬張網(wǎng)頁?,F(xiàn)在正在想辦法著手處理這些數(shù)據(jù)。

爬蟲的結(jié)構(gòu):
   爬蟲的原理其實(shí)很簡單,就是分析下載的頁面,找出其中的連接,然后再下載這些鏈接,再分析再下載,周而復(fù)始。在數(shù)據(jù)存儲(chǔ)方面,數(shù)據(jù)庫是首選,便于檢索,而 開發(fā)語言,只要支持正則表達(dá)式就可以了,數(shù)據(jù)庫我選擇了mysql,所以,開發(fā)腳本我選擇了php。它支持perl兼容正則表達(dá)式,連接mysql很方 便,支持http下載,而且windows系統(tǒng)和linux系統(tǒng)都可以部署。

正則表達(dá)式:
  正則表達(dá)式是處理文字的基本工具,要取出html中的鏈接和圖片,使用的正則表達(dá)式如下。

復(fù)制代碼 代碼如下:

   "#<a[^>]+href=(['\"])(.+)\\1#isU"   處理鏈接
    "#<img[^>]+src=(['\"])(.+)\\1#isU" 處理圖片

其他問題:
  寫爬蟲還需要注意的一個(gè)問題是,對(duì)于已經(jīng)下載過的url,不能重復(fù)進(jìn)行下載,而有些網(wǎng)頁的鏈接會(huì)形成環(huán)路,所以需要處理這個(gè)問題,我的處理方法是計(jì)算已經(jīng) 處理的url的MD5 值,并存入數(shù)據(jù)庫,這樣就可以檢驗(yàn)是否已經(jīng)下載過。當(dāng)然還有更好的算法,有興趣的話,可以在網(wǎng)上找一下。

相關(guān)協(xié)議:
  爬蟲也有自己的協(xié)議,有個(gè)robots.txt文件定義了那些是網(wǎng)站允許遍歷的,但是由于我的時(shí)間有限,沒有實(shí)現(xiàn)這個(gè)功能。

其他說明:
  php支持類編程,我寫的爬蟲主要的類.
  1.url處理web_site_info,主要用處理url,分析域名等。
  2.數(shù)據(jù)庫操作mysql_insert.php,處理和數(shù)據(jù)庫相關(guān)的操作。
  3.歷史記錄處理,記錄已經(jīng)處理的url。
  4.爬蟲類。

存在的問題和不足

  這個(gè)爬蟲在小數(shù)據(jù)量的情況下,運(yùn)行良好,但是在大數(shù)據(jù)量的情況下,歷史記錄處理類的效率就不是很高,通過在數(shù)據(jù)庫結(jié)構(gòu)中,對(duì)相關(guān)字段進(jìn)行了索引,速度有了 提高,但是需要不斷得讀取數(shù)據(jù),可能和php本身的array實(shí)現(xiàn)有關(guān)系,如果一次加載10萬條歷史記錄,速度非常慢。
  不支持多線程,每次只能處理一個(gè)url。
  php運(yùn)行本身有內(nèi)存使用量限制,有一次在抓取深度為20的頁面的時(shí)候,內(nèi)存用盡程序被殺。

下面的url是源碼下載。

http://xiazai.jb51.net/201506/other/net_spider.rar


使用的時(shí)候,先在mysql中創(chuàng)建net_spider數(shù)據(jù)庫,然后用db.sql創(chuàng)建相關(guān)表。再在config.php中設(shè)置mysql 的用戶名口令。
最后

復(fù)制代碼 代碼如下:

php -f spider.php 深度(數(shù)值) url

就可以開始工作。如

復(fù)制代碼 代碼如下:

php -f spider.php 20 http://news.sina.com.cn

現(xiàn)在感覺下來,其實(shí)做個(gè)爬蟲沒那么復(fù)雜,難的是數(shù)據(jù)的存儲(chǔ)和檢索。我現(xiàn)在的數(shù)據(jù)庫,最大一個(gè)數(shù)據(jù)表已經(jīng)15G,正在想辦處理這些數(shù)據(jù),mysql進(jìn) 行查詢已經(jīng)感覺有點(diǎn)力不從心了。這點(diǎn)上還真佩服google

<?php
#加載頁面
function curl_get($url){
    $ch=curl_init();
    curl_setopt($ch,CURLOPT_URL,$url);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
    curl_setopt($ch,CURLOPT_HEADER,1);
    $result=curl_exec($ch);
    $code=curl_getinfo($ch,CURLINFO_HTTP_CODE);
    if($code!='404' && $result){
     return $result;
    }
    curl_close($ch);
}
#獲取頁面url鏈接
function get_page_urls($spider_page_result,$base_url){
  $get_url_result=preg_match_all("/<[a|A].*?href=[\'\"]{0,1}([^>\'\"\]*).*?>/",$spider_page_result,$out);
  if($get_url_result){
    return $out[1];
  }else{
    return;
  }
}
#相對(duì)路徑轉(zhuǎn)絕對(duì)路徑
function xdtojd($base_url,$url_list){
 if(is_array($url_list)){
  foreach($url_list as $url_item){
    if(preg_match("/^(http:\/\/|https:\/\/|javascript:)/",$url_item)){
      $result_url_list[]=$url_item;
    }else {
     if(preg_match("/^\//",$url_item)){
      $real_url = $base_url.$url_item;
     }else{
      $real_url = $base_url."/".$url_item;
     }
     #$real_url = 'http://www.sumpay.cn/'.$url_item; 
     $result_url_list[] = $real_url; 
    }
  }
   return $result_url_list;
 }else{
   return;
 }
}
#刪除其他站點(diǎn)url
function other_site_url_del($jd_url_list,$url_base){
 if(is_array($jd_url_list)){
  foreach($jd_url_list as $all_url){
    echo $all_url;
    if(strpos($all_url,$url_base)===0){
     $all_url_list[]=$all_url;
    }  
  }
  return $all_url_list;
 }else{
  return;
 }
}
#刪除相同URL
function url_same_del($array_url){
   if(is_array($array_url)){
     $insert_url=array();
     $pizza=file_get_contents("/tmp/url.txt");
     if($pizza){
        $pizza=explode("\r\n",$pizza);
        foreach($array_url as $array_value_url){
         if(!in_array($array_value_url,$pizza)){
          $insert_url[]=$array_value_url; 
         }
        }
        if($insert_url){
           foreach($insert_url as $key => $insert_url_value){
             #這里只做了參數(shù)相同去重處理
             $update_insert_url=preg_replace('/=[^&]*/','=leesec',$insert_url_value);
             foreach($pizza as $pizza_value){
                $update_pizza_value=preg_replace('/=[^&]*/','=leesec',$pizza_value);
                if($update_insert_url==$update_pizza_value){
                   unset($insert_url[$key]);
                   continue;
                }
             }
           }
        }     
     }else{
        $insert_url=array();
        $insert_new_url=array();
        $insert_url=$array_url;
        foreach($insert_url as $insert_url_value){
         $update_insert_url=preg_replace('/=[^&]*/','=leesec',$insert_url_value);
         $insert_new_url[]=$update_insert_url;  
        }
        $insert_new_url=array_unique($insert_new_url);
        foreach($insert_new_url as $key => $insert_new_url_val){
          $insert_url_bf[]=$insert_url[$key];
        } 
        $insert_url=$insert_url_bf;
     }
     return $insert_url;
   }else{
    return; 
   }
}
 
$current_url=$argv[1];
$fp_puts = fopen("/tmp/url.txt","ab");//記錄url列表 
$fp_gets = fopen("/tmp/url.txt","r");//保存url列表 
$url_base_url=parse_url($current_url);
if($url_base_url['scheme']==""){
  $url_base="http://".$url_base_url['host'];
}else{
  $url_base=$url_base_url['scheme']."://".$url_base_url['host'];
}
do{
  $spider_page_result=curl_get($current_url);
  #var_dump($spider_page_result);
  $url_list=get_page_urls($spider_page_result,$url_base);
  #var_dump($url_list);
  if(!$url_list){
   continue;
  }
  $jd_url_list=xdtojd($url_base,$url_list);
  #var_dump($jd_url_list);
  $result_url_arr=other_site_url_del($jd_url_list,$url_base);
  var_dump($result_url_arr);
  $result_url_arr=url_same_del($result_url_arr); 
  #var_dump($result_url_arr); 
  if(is_array($result_url_arr)){ 
    $result_url_arr=array_unique($result_url_arr);
       foreach($result_url_arr as $new_url) { 
         fputs($fp_puts,$new_url."\r\n"); 
       }
  }
}while ($current_url = fgets($fp_gets,1024));//不斷獲得url 
preg_match_all("/<a[^>]+href=[\"']([^\"']+)[\"'][^>]+>/",$spider_page_result,$out);
# echo a href
#var_dump($out[1]);
?>

相關(guān)文章

最新評(píng)論