php實現(xiàn)遞歸抓取網(wǎng)頁類實例
更新時間:2015年04月03日 12:20:50 作者:pythoner
這篇文章主要介紹了php實現(xiàn)遞歸抓取網(wǎng)頁類,實例分析了php遞歸操作及網(wǎng)頁抓取的技巧,非常具有實用價值,需要的朋友可以參考下
本文實例講述了php實現(xiàn)遞歸抓取網(wǎng)頁類的方法。分享給大家供大家參考。具體如下:
<?php class crawler{ private $_depth=5; private $_urls=array(); function extract_links($url) { if(!$this->_started){ $this->_started=1; $curr_depth=0; }else{ $curr_depth++; } if($curr_depth<$this->_depth) { $data=file_get_contents($url); if(preg_match_all('/((?:http|https)://(?:www.)*(?:[a-zA-Z0-9_-]{1,15}.+[a-zA-Z0-9_]{1,}){1,}(?:[a-zA-Z0-9_/.-?&:%,!;]*))/',$data,$urls12)) { foreach($urls12[0] as $k=>$v){ $check=get_headers($v,1); if(strstr($v,$url) && $check[0]=='HTTP/1.1 200 OK' && !array_search($v,$this->_urls) && $curr_depth<$this->_depth){ $this->_urls[]=$v; $this->extract_links($v); } } } } return $this->_urls; } } ?>
希望本文所述對大家的php程序設計有所幫助。
您可能感興趣的文章:
- php curl抓取網(wǎng)頁的介紹和推廣及使用CURL抓取淘寶頁面集成方法
- PHP抓取網(wǎng)頁、解析HTML常用的方法總結(jié)
- php結(jié)合正則批量抓取網(wǎng)頁中郵箱地址
- PHP使用CURL實現(xiàn)多線程抓取網(wǎng)頁
- PHP中使用file_get_contents抓取網(wǎng)頁中文亂碼問題解決方法
- php使用curl和正則表達式抓取網(wǎng)頁數(shù)據(jù)示例
- 采集郵箱的php代碼(抓取網(wǎng)頁中的郵箱地址)
- PHP的cURL庫功能簡介 抓取網(wǎng)頁、POST數(shù)據(jù)及其他
- PHP多線程抓取網(wǎng)頁實現(xiàn)代碼
- PHP 抓取網(wǎng)頁圖片并且另存為的實現(xiàn)代碼
- PHP抓取及分析網(wǎng)頁的方法詳解
相關(guān)文章
php實現(xiàn)自定義中獎項數(shù)和概率的抽獎函數(shù)示例
這篇文章主要介紹了php實現(xiàn)自定義中獎項數(shù)和概率的抽獎函數(shù),涉及php字符串、數(shù)組的概率運算相關(guān)操作技巧,需要的朋友可以參考下2017-05-05php數(shù)組函數(shù)序列之a(chǎn)rray_splice() - 在數(shù)組任意位置插入元素
array_splice() 函數(shù)與 array_slice() 函數(shù)類似,選擇數(shù)組中的一系列元素,但不返回,而是刪除它們并用其它值代替2011-11-11幾個有用的php字符串過濾,轉(zhuǎn)換函數(shù)代碼
幾個有用的php字符串過濾,轉(zhuǎn)換函數(shù),主要是一些字符的安全處理與字符串處理2012-05-05php實現(xiàn)有序數(shù)組旋轉(zhuǎn)后尋找最小值方法
在本篇文章中我們給大家詳細分享了php實現(xiàn)有序數(shù)組旋轉(zhuǎn)后尋找最小值方法,有需要的朋友們可以學習下。2018-09-09