淺析php如何實現(xiàn)爬取數(shù)據(jù)原理
官方網(wǎng)站站點:簡單、 靈活、強大的PHP采集工具,讓采集更簡單一點。
簡介
QueryList使用jQuery選擇器來做采集,讓你告別復(fù)雜的正則表達式;QueryList具有jQuery一樣的DOM操作能力、Http網(wǎng)絡(luò)操作能力、亂碼解決能力、內(nèi)容過濾能力以及可擴展能力;可以輕松實現(xiàn)諸如:模擬登陸、偽造瀏覽器、HTTP代理等意復(fù)雜的網(wǎng)絡(luò)請求;擁有豐富的插件,支持多線程采集以及使用PhantomJS采集JavaScript動態(tài)渲染的頁面。
安裝
通過Composer安裝:
composer require jaeger/querylist
使用教程:
直接上代碼:
<?php include './vendor/autoload.php'; // 使用composer安裝后引入目錄 use QL\QueryList; // 使用插件 $html = file_get_contents('https://www.biqudu.com/14_14778/'); // 手動獲取頁面 $data = QueryList::html($html); // 得到頁面內(nèi)容 $data = QueryList::setHtml('https://www.biqudu.com/14_14778/'); // 等同于上面的html() $data->rules([ // 采集所有a標(biāo)簽的href屬性 'link' => ['a','href'], // 采集所有a標(biāo)簽的文本內(nèi)容 'text' => ['a','text'] ]); // 此處$data = 上面已經(jīng)獲取到網(wǎng)頁內(nèi)容之后的對象 // 設(shè)置采集規(guī)則 替代了傳統(tǒng)正則 $data->query(); // 此處$data = 上面已經(jīng)獲取到網(wǎng)頁內(nèi)容之后的對象 // query 執(zhí)行操作 $data->getData(); // 此處$data = 上面已經(jīng)獲取到網(wǎng)頁內(nèi)容之后的對象 // 得到數(shù)據(jù)結(jié)果 $data->all(); // 此處$data = 上面已經(jīng)獲取到網(wǎng)頁內(nèi)容之后的對象 // 將數(shù)據(jù)轉(zhuǎn)換成二維數(shù)組 print_r($data->all()); // 打印結(jié)果
上面的基本使用方法就是這樣了 這樣我們已經(jīng)可以抓取到一定的數(shù)據(jù)了
相關(guān)文章
在Linux系統(tǒng)的服務(wù)器上隱藏PHP版本號的方法
這篇文章主要介紹了在Linux系統(tǒng)的服務(wù)器上隱藏PHP版本號的方法,有助于預(yù)防攻擊者針對PHP詳細版本的漏洞而發(fā)起的攻擊,需要的朋友可以參考下2015-06-06php 驗證碼(傾斜,正弦干擾線,黏貼,旋轉(zhuǎn))
本篇文章是對php 驗證碼(傾斜,正弦干擾線,黏貼,旋轉(zhuǎn))進行了詳細的分析介紹,需要的朋友參考下2013-06-06PHP函數(shù)按引用傳遞參數(shù)及函數(shù)可選參數(shù)用法示例
這篇文章主要介紹了PHP函數(shù)按引用傳遞參數(shù)及函數(shù)可選參數(shù)用法,結(jié)合實例形式分析了php函數(shù)的引用傳參與可選參數(shù)具體使用技巧與注意事項,需要的朋友可以參考下2018-06-06