Crawler全名是DomCrawler，是Symfony框架的組件。令人發(fā)指的是DomCrawler的沒(méi)有中文文檔，Symfony也沒(méi)有翻譯該部分，所以使用DomCrawler開(kāi)發(fā)只能一點(diǎn)一點(diǎn)摸索，現(xiàn)將使用過(guò)程中的經(jīng)驗(yàn)總結(jié)。

首先是安裝

composer require symfony/dom-crawler
composer require symfony/css-selector

css-seelctor 是 css選擇器，用css選擇節(jié)點(diǎn)時(shí)一些函數(shù)會(huì)用到

手冊(cè)里面使用的例子是

use Symfony\Component\DomCrawler\Crawler;
$html = <<<‘HTML‘
Hello World!
Hello Crawler!
HTML;
$crawler = new Crawler($html);
foreach ($crawler as $domElement)
{
var_dump($domElement->nodeName);
}

打印的結(jié)果是

string ‘html‘ (length=4)

因?yàn)檫@段html代碼的nodeName就是html，英語(yǔ)不好，開(kāi)始使用的時(shí)候還以為程序錯(cuò)了。。。

實(shí)際使用過(guò)程，如果new Crawler($html)會(huì)出現(xiàn)亂碼問(wèn)題，應(yīng)該是與頁(yè)面編碼有關(guān)，所以可以采用下面的方式，先初始化crawler，然后添加node

$crawler = new Crawler();
$crawler->addHtmlContent($html);

addHtmlContent的第二個(gè)參數(shù)是charset，默認(rèn)是utf-8。

其他例子可以參考官方文檔，http://symfony.com/doc/current/components/dom_crawler.html

記錄一下工作中一點(diǎn)點(diǎn)試出來(lái)的用法

filterXPath(string $xpath) 方法，按照手冊(cè)上的說(shuō)法，該方法的參數(shù)是$xpath，經(jīng)常用的是p，div等塊。

echo $crawler->filterXPath(‘//body/p‘)->text();
echo $crawler->filterXPath(‘//body/p‘)->last()->text();

輸出是第一個(gè)和下一個(gè)p標(biāo)簽塊的文本

var_dump($crawler->filterXPath(‘//body‘)->html());

輸出body內(nèi)的html

foreach ($crawler->filterXPath(‘//body/p‘) as $i => $node) {
$c = new Crawler($node);
echo $c->filter(‘p‘)->text();
}

filterXPath獲得的是DOMElement塊的數(shù)組，每個(gè)DOMElement塊可以使用新的crawler對(duì)象繼續(xù)解析

$nodeValues =
$crawler->filterXPath(‘//body/p‘)->each(function (Crawler $node, $i) {
return $node->text();
});

crawler提供了each循環(huán)，使用閉包函數(shù)簡(jiǎn)化代碼，不過(guò)注意的是，這種寫(xiě)法$nodeValues得到的是數(shù)組，需要進(jìn)一步處理。

其他用法

echo $crawler->filterXPath(‘//body/p‘)->attr(‘class‘);

可以獲得第一個(gè)p標(biāo)簽對(duì)應(yīng)class屬性的值“message”

$crawler->filterXPath(‘//div[@class="樣式"]‘)->filter(‘a(chǎn)‘)->attr(‘href‘);
$crawler->filterXPath(‘//div[@class="樣式"]‘)->filter(‘a(chǎn)>img‘)->extract(array(‘a(chǎn)lt‘, ‘href‘))

以上是獲得標(biāo)簽屬性的一些方法

filter和filterXPath不同，手冊(cè)上寫(xiě)的是css選擇器，不太明白，我理解是div這種XPath節(jié)點(diǎn)包含的元素，具體情況還需要在實(shí)際開(kāi)發(fā)中去嘗試。

總的來(lái)說(shuō)感覺(jué)DomCrawler要比simple html dom好用一些，可能是我用的比較淺顯。

上述只是Crawler的基本功能，更過(guò)用法請(qǐng)查閱symfony手冊(cè)關(guān)于Crawler部分的函數(shù)

http://api.symfony.com/3.2/Symfony/Component/DomCrawler/Crawler.html

Crawler主要問(wèn)題還是示例太少，函數(shù)手冊(cè)里面沒(méi)有使用實(shí)例，只能在實(shí)際使用中去摸索。。。。

symfony關(guān)于DomCrawler的文檔，里面有少數(shù)例子

http://symfony.com/doc/current/components/dom_crawler.html

以上所述是小編給大家介紹的在laravel中使用Symfony的Crawler組件分析HTML，希望對(duì)大家有所幫助，如果大家有任何疑問(wèn)請(qǐng)給我留言，小編會(huì)及時(shí)回復(fù)大家的。在此也非常感謝大家對(duì)腳本之家網(wǎng)站的支持！

最新評(píng)論