欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

php curl常用的5個經(jīng)典例子

 更新時間:2017年01月20日 11:00:18   投稿:jingxian  
下面小編就為大家?guī)硪黄猵hp curl常用的5個經(jīng)典例子。小編覺得挺不錯的,現(xiàn)在就分享給大家,也給大家做個參考。一起跟隨小編過來看看吧

我用php ,curl主要是抓取數(shù)據(jù),當(dāng)然我們可以用其他的方法來抓取,比如fsockopen,file_get_contents等。但是只能抓那些能直接訪問的頁面,如果要抓取有頁面訪問控制的頁面,或者是登錄以后的頁面就比較困難了。

1,抓取無訪問控制文件

<?php 
 $ch = curl_init(); 
 curl_setopt($ch, CURLOPT_URL, "http://localhost/mytest/phpinfo.php"); 
 curl_setopt($ch, CURLOPT_HEADER, false); 
 curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); //如果把這行注釋掉的話,就會直接輸出 
 $result=curl_exec($ch); 
 curl_close($ch); 
 ?> 

2,使用代理進(jìn)行抓取

為什么要使用代理進(jìn)行抓取呢?以google為例吧,如果去抓google的數(shù)據(jù),短時間內(nèi)抓的很頻繁的話,你就抓取不到了。google對你的ip地址做限制這個時候,你可以換代理重新抓。

<pre name="code" class="php"><?php 
 $ch = curl_init(); 
 curl_setopt($ch, CURLOPT_URL, "http://blog.51yip.com"); 
 curl_setopt($ch, CURLOPT_HEADER, false); 
 curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); 
 curl_setopt($ch, CURLOPT_HTTPPROXYTUNNEL, TRUE); 
 curl_setopt($ch, CURLOPT_PROXY, 125.21.23.6:8080); 
 //url_setopt($ch, CURLOPT_PROXYUSERPWD, 'user:password');如果要密碼的話,加上這個 
 $result=curl_exec($ch); 
 curl_close($ch); 
 ?> 

3,post數(shù)據(jù)后,抓取數(shù)據(jù)

單獨(dú)說一下數(shù)據(jù)提交數(shù)據(jù),因?yàn)橛?curl的時候,很多時候會有數(shù)據(jù)交互的,所以比較重要的。

<?php 
 $ch = curl_init(); 
 /*在這里需要注意的是,要提交的數(shù)據(jù)不能是二維數(shù)組或者更高 
 *例如array('name'=>serialize(array('tank','zhang')),'sex'=>1,'birth'=>'20101010') 
 *例如array('name'=>array('tank','zhang'),'sex'=>1,'birth'=>'20101010')這樣會報錯的*/ 
 $data = array('name' => 'test', 'sex'=>1,'birth'=>'20101010'); 
 curl_setopt($ch, CURLOPT_URL, 'http://localhost/mytest/curl/upload.php'); 
 curl_setopt($ch, CURLOPT_POST, 1); 
 curl_setopt($ch, CURLOPT_POSTFIELDS, $data); 
 curl_exec($ch); 
 ?> 

在 upload.php文件中,print_r($_POST);利用curl就能抓取出upload.php輸出的內(nèi)容Array ( [name] => test [sex] => 1 [birth] => 20101010 )

4,抓取一些有頁面訪問控制的頁面

以前寫過一篇,頁面訪問控制的3種方法有興趣的可以看一下。

如果用上面提到的方法抓的話,會報以下錯誤

You are not authorized to view this page
You do not have permission to view this directory or page using the credentials that you supplied because your Web browser is sending a WWW-Authenticate header field that the Web server is not configured to accept.

這個時候,我們就要用CURLOPT_USERPWD來進(jìn)行驗(yàn)證了

<?php 
 $ch = curl_init(); 
 curl_setopt($ch, CURLOPT_URL, "http://club-china"); 
 /*CURLOPT_USERPWD主要用來破解頁面訪問控制的 
 *例如平時我們所以htpasswd產(chǎn)生頁面控制等。*/ 
 //curl_setopt($ch, CURLOPT_USERPWD, 'user:password'); 
 curl_setopt($ch, CURLOPT_HTTPGET, 1); 
 curl_setopt($ch, CURLOPT_REFERER, "http://club-china"); 
 curl_setopt($ch, CURLOPT_HEADER, 0); 
 $result=curl_exec($ch); 
 curl_close($ch); 
 ?> 

以上這篇php curl常用的5個經(jīng)典例子就是小編分享給大家的全部內(nèi)容了,希望能給大家一個參考,也希望大家多多支持腳本之家。

相關(guān)文章

  • 使用Thinkphp框架開發(fā)移動端接口

    使用Thinkphp框架開發(fā)移動端接口

    本文給大家分享的是使用thinkphp框架開發(fā)移動端接口的2種方法,一種是開發(fā)API,另外一種是實(shí)現(xiàn)移動端訪問自動切換移動主題模板,從而實(shí)現(xiàn)偽app訪問,下面我們就來詳細(xì)看下如何實(shí)現(xiàn)吧。
    2015-08-08
  • php使用函數(shù)pathinfo()、parse_url()和basename()解析URL

    php使用函數(shù)pathinfo()、parse_url()和basename()解析URL

    眾所周知在PHP中函數(shù)pathinfo()、parse_url()和basename(),這三個都是解析URL的函數(shù),但是也存在一些區(qū)別,下面列舉了一些實(shí)例,通過實(shí)例更容易理解這三個函數(shù)的使用方法和技巧,有需要的朋友可以參考借鑒,感興趣的朋友們下面來一起學(xué)習(xí)學(xué)習(xí)吧。
    2016-11-11
  • thinkphp3.0輸出重復(fù)兩次的解決方法

    thinkphp3.0輸出重復(fù)兩次的解決方法

    這篇文章主要介紹了thinkphp3.0輸出重復(fù)兩次的解決方法,是ThinkPHP2.x用戶轉(zhuǎn)3.x經(jīng)常會遇到的問題,需要的朋友可以參考下
    2014-12-12
  • PHP鏈接MySQL的常用擴(kuò)展函數(shù)

    PHP鏈接MySQL的常用擴(kuò)展函數(shù)

    這篇文章主要介紹了PHP鏈接MySQL的常用擴(kuò)展函數(shù),需要的朋友可以參考下
    2014-10-10
  • 最新評論