PHP curl實(shí)現(xiàn)抓取302跳轉(zhuǎn)后頁(yè)面的示例
PHP的CURL正常抓取頁(yè)面程序如下:
$url = 'http://www.baidu.com'; $ch = curl_init(); curl_setopt($ch, CURLOPT_URL, $url); curl_setopt($ch, CURLOPT_VERBOSE, true); curl_setopt($ch, CURLOPT_HEADER, true); curl_setopt($ch, CURLOPT_NOBODY, true); curl_setopt($ch, CURLOPT_CUSTOMREQUEST, 'GET'); curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); curl_setopt($ch, CURLOPT_TIMEOUT, 20); curl_setopt($ch, CURLOPT_AUTOREFERER, true); curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true); $ret = curl_exec($ch); $info = curl_getinfo($ch); curl_close($ch);
如果你抓取到的是302狀態(tài),是因?yàn)樵僮ト〉倪^(guò)程中,有的跳轉(zhuǎn)需要給下一個(gè)鏈接傳遞參數(shù),而下一個(gè)鏈接同時(shí)也設(shè)置了如果沒(méi)接收到相應(yīng)的參數(shù)是為非法訪(fǎng)問(wèn)。
curl_setopt($curl, CURLOPT_CUSTOMREQUEST, 'GET');
顯示就應(yīng)該正常了。
上面用來(lái)抓取功能,幾乎應(yīng)該沒(méi)問(wèn)題的。你可以查一下CURLOPT_CUSTOMREQUEST相關(guān)資料。
使用一個(gè)自定義的請(qǐng)求信息來(lái)代替”GET”或”HEAD”作為HTTP請(qǐng)求。這對(duì)于執(zhí)行”DELETE” 或者其他更隱蔽的HTTP請(qǐng)求。有效值如”GET”,”P(pán)OST”,”CONNECT”等等。也就是說(shuō),不要在這里輸入整個(gè)HTTP請(qǐng)求。例如輸入”GET /index.html HTTP/1.0\r\n\r\n”是不正確的。
- 一個(gè)PHP實(shí)現(xiàn)的輕量級(jí)簡(jiǎn)單爬蟲(chóng)
- PHP代碼實(shí)現(xiàn)爬蟲(chóng)記錄——超管用
- php 向訪(fǎng)客和爬蟲(chóng)顯示不同的內(nèi)容
- php IIS日志分析搜索引擎爬蟲(chóng)記錄程序
- PHP爬蟲(chóng)之百萬(wàn)級(jí)別知乎用戶(hù)數(shù)據(jù)爬取與分析
- php與python實(shí)現(xiàn)的線(xiàn)程池多線(xiàn)程爬蟲(chóng)功能示例
- 利用php抓取蜘蛛爬蟲(chóng)痕跡的示例代碼
- PHP實(shí)現(xiàn)采集抓取淘寶網(wǎng)單個(gè)商品信息
- php使用curl和正則表達(dá)式抓取網(wǎng)頁(yè)數(shù)據(jù)示例
- PHP CURL模擬登錄新浪微博抓取頁(yè)面內(nèi)容 基于EaglePHP框架開(kāi)發(fā)
- PHP多線(xiàn)程抓取網(wǎng)頁(yè)實(shí)現(xiàn)代碼
- PHPCrawl爬蟲(chóng)庫(kù)實(shí)現(xiàn)抓取酷狗歌單的方法示例
相關(guān)文章
PHP與jquery實(shí)時(shí)顯示網(wǎng)站在線(xiàn)人數(shù)實(shí)例詳解
在線(xiàn)人數(shù)最簡(jiǎn)單的就是直接利用js調(diào)用php了,這樣可以顯示出有多少人訪(fǎng)問(wèn)了本站,如果要在用戶(hù)未刷新頁(yè)面的狀態(tài)實(shí)時(shí)顯示用戶(hù)在線(xiàn)人數(shù),我們可以利用jquery ajax來(lái)實(shí)現(xiàn),需要的朋友可以參考下2016-12-12Laravel中GraphQL接口請(qǐng)求頻率實(shí)戰(zhàn)記錄
這篇文章主要給大家介紹了關(guān)于Laravel中GraphQL接口請(qǐng)求頻率的相關(guān)資料,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-09-09php 判斷過(guò)去離現(xiàn)在幾年的函數(shù)(實(shí)例代碼)
下面小編就為大家?guī)?lái)一篇php 判斷過(guò)去離現(xiàn)在幾年的函數(shù)(實(shí)例代碼)。小編覺(jué)得挺不錯(cuò)的,現(xiàn)在就分享給大家,也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2016-11-11php mysql_real_escape_string addslashes及mysql綁定參數(shù)防SQL注入攻擊
這篇文章主要介紹了php mysql_real_escape_string addslashes及mysql綁定參數(shù)防SQL注入攻擊的相關(guān)資料,需要的朋友可以參考下2016-12-12Laravel 自動(dòng)轉(zhuǎn)換長(zhǎng)整型雪花 ID 為字符串的實(shí)現(xiàn)
這篇文章主要介紹了Laravel 自動(dòng)轉(zhuǎn)換長(zhǎng)整型雪花 ID 為字符串的實(shí)現(xiàn),文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-10-10TP5框架簡(jiǎn)單登錄功能實(shí)現(xiàn)方法示例
這篇文章主要介紹了TP5框架簡(jiǎn)單登錄功能實(shí)現(xiàn)方法,結(jié)合實(shí)例形式分析了thinkPHP5框架登錄功能控制器、視圖、登錄驗(yàn)證等相關(guān)操作技巧,需要的朋友可以參考下2019-10-10