一個(gè)基于phpQuery的php通用采集類(lèi)分享
一、采集類(lèi)源碼
<?php
/**
*通用列表采集類(lèi)
*版本V1.3
*作者:JAE
*/
require_once '../phpQuery/phpQuery/phpQuery.php';
class QueryList{
private $pageURL;
private $regArr = array();
public $jsonArr = array();
private $regRange;
private $html;
/************************************************
* 參數(shù): 頁(yè)面地址 選擇器數(shù)組 塊選擇器
* 【選擇器數(shù)組】說(shuō)明:格式array("名稱(chēng)"=>array("選擇器","類(lèi)型"),.......)
* 【類(lèi)型】說(shuō)明:值 "text" ,"html" ,"屬性"
*【塊選擇器】:指 先按照規(guī)則 選出 幾個(gè)大塊 ,然后再分別再在塊里面 進(jìn)行相關(guān)的選擇
*************************************************/
function QueryList($pageURL,$regArr=array(),$regRange='')
{
$this->pageURL = $pageURL;
//為了能獲取https://
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL,$this->pageURL);
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false);
curl_setopt($ch,CURLOPT_RETURNTRANSFER,1);
$this->html = curl_exec($ch);
curl_close($ch);
if(!empty($regArr))
{
$this->regArr = $regArr;
$this->regRange = $regRange;
$this->getList();
}
}
function setQuery($regArr,$regRange='')
{
$this->jsonArr=array();
$this->regArr = $regArr;
$this->regRange = $regRange;
$this->getList();
}
private function getList()
{
$hobj = phpQuery::newDocumentHTML($this->html);
if(!empty($this->regRange))
{
$robj = pq($hobj)->find($this->regRange);
$i=0;
foreach($robj as $item)
{
while(list($key,$reg_value)=each($this->regArr))
{
$iobj = pq($item)->find($reg_value[0]);
switch($reg_value[1])
{
case 'text':
$this->jsonArr[$i][$key] = trim(pq($iobj)->text());
break;
case 'html':
$this->jsonArr[$i][$key] = trim(pq($iobj)->html());
break;
default:
$this->jsonArr[$i][$key] = pq($iobj)->attr($reg_value[1]);
break;
}
}
//重置數(shù)組指針
reset($this->regArr);
$i++;
}
}
else
{
while(list($key,$reg_value)=each($this->regArr))
{
$lobj = pq($hobj)->find($reg_value[0]);
$i=0;
foreach($lobj as $item)
{
switch($reg_value[1])
{
case 'text':
$this->jsonArr[$i++][$key] = trim(pq($item)->text());
break;
case 'html':
$this->jsonArr[$i++][$key] = trim(pq($item)->html());
break;
default:
$this->jsonArr[$i++][$key] = pq($item)->attr($reg_value[1]);
break;
}
}
}
}
}
function getJSON()
{
return json_encode($this->jsonArr);
}
}
二、使用例子
<?php
require 'Query/QueryList.class.php';
//采集OSC的代碼分享列表,標(biāo)題 鏈接 作者
$url = "http://www.oschina.net/code/list";
$reg = array("title"=>array(".code_title a:eq(0)","text"),"url"=>array(".code_title a:eq(0)","href"),"author"=>array("img","title"));
$rang = ".code_list li";
$hj = new QueryList($url,$reg,$rang);
$arr = $hj->jsonArr;
print_r($arr);
//如果還想采當(dāng)前頁(yè)面右邊的 TOP40活躍貢獻(xiàn)者 圖像,得到JSON數(shù)據(jù),可以這樣寫(xiě)
$reg = array("portrait"=>array(".hot_top img","src"));
$hj->setQuery($reg);
$json = $hj->getJSON();
echo $json . "<hr/>";
//采OSC內(nèi)容頁(yè)內(nèi)容
$url = "http://www.oschina.net/code/snippet_186288_23816";
$reg = array("title"=>array(".QTitle h1","text"),"con"=>array(".Content","html"));
$hj = new QueryList($url,$reg);
$arr = $hj->jsonArr;
print_r($arr);
//就舉這么多例子吧,是不是用來(lái)做采集很方便
相關(guān)文章
非常好用的Zend Framework分頁(yè)類(lèi)
這篇文章主要介紹了非常好用的Zend Framework分頁(yè)類(lèi),包含控制層、模型層、視圖層及分頁(yè)源碼,Css部分請(qǐng)自由發(fā)揮,需要的朋友可以參考下2014-06-06Yii2.0使用阿里云OSS的SDK上傳圖片、下載、刪除圖片示例
本篇文章主要介紹了Yii2.0使用阿里云OSS的SDK上傳圖片、下載、刪除圖片示例,具有一定的參考價(jià)值,有興趣的可以了解一下2017-09-09Thinkphp結(jié)合ajaxFileUpload實(shí)現(xiàn)ajax異步圖片傳輸全套代碼
這篇文章主要介紹了Thinkphp結(jié)合ajaxFileUpload實(shí)現(xiàn)ajax異步圖片傳輸全套代碼的相關(guān)資料,需要的朋友可以參考下2023-03-03