PHP curl實現抓取302跳轉后頁面的示例
PHP的CURL正常抓取頁面程序如下:
$url = 'http://www.baidu.com'; $ch = curl_init(); curl_setopt($ch, CURLOPT_URL, $url); curl_setopt($ch, CURLOPT_VERBOSE, true); curl_setopt($ch, CURLOPT_HEADER, true); curl_setopt($ch, CURLOPT_NOBODY, true); curl_setopt($ch, CURLOPT_CUSTOMREQUEST, 'GET'); curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); curl_setopt($ch, CURLOPT_TIMEOUT, 20); curl_setopt($ch, CURLOPT_AUTOREFERER, true); curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true); $ret = curl_exec($ch); $info = curl_getinfo($ch); curl_close($ch);
如果你抓取到的是302狀態(tài),是因為再抓取的過程中,有的跳轉需要給下一個鏈接傳遞參數,而下一個鏈接同時也設置了如果沒接收到相應的參數是為非法訪問。
curl_setopt($curl, CURLOPT_CUSTOMREQUEST, 'GET');
顯示就應該正常了。
上面用來抓取功能,幾乎應該沒問題的。你可以查一下CURLOPT_CUSTOMREQUEST相關資料。
使用一個自定義的請求信息來代替”GET”或”HEAD”作為HTTP請求。這對于執(zhí)行”DELETE” 或者其他更隱蔽的HTTP請求。有效值如”GET”,”POST”,”CONNECT”等等。也就是說,不要在這里輸入整個HTTP請求。例如輸入”GET /index.html HTTP/1.0\r\n\r\n”是不正確的。
相關文章
Laravel中GraphQL接口請求頻率實戰(zhàn)記錄
這篇文章主要給大家介紹了關于Laravel中GraphQL接口請求頻率的相關資料,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧2020-09-09php mysql_real_escape_string addslashes及mysql綁定參數防SQL注入攻擊
這篇文章主要介紹了php mysql_real_escape_string addslashes及mysql綁定參數防SQL注入攻擊的相關資料,需要的朋友可以參考下2016-12-12