快捷導(dǎo)航

解析php中curl_multi的應(yīng)用

更新時(shí)間：2013年07月17日 11:06:10 作者：

php的multi_curl功能慎用，因?yàn)槟承┌姹镜腸url和php的搭配有Bug。所以你調(diào)試過(guò)沒問題的代碼很可能在別的機(jī)器上不正確

相信許多人對(duì)php手冊(cè)中語(yǔ)焉不詳?shù)腸url_multi一族的函數(shù)頭疼不已，它們文檔少，給的例子更是簡(jiǎn)單的讓你無(wú)從借鑒，我也曾經(jīng)找了許多網(wǎng)頁(yè)，都沒見一個(gè)完整的應(yīng)用例子。
•curl_multi_add_handle
•curl_multi_close
•curl_multi_exec
•curl_multi_getcontent
•curl_multi_info_read
•curl_multi_init
•curl_multi_remove_handle
•curl_multi_select
一般來(lái)說(shuō)，想到要用這些函數(shù)時(shí)，目的顯然應(yīng)該是要同時(shí)請(qǐng)求多個(gè)url，而不是一個(gè)一個(gè)依次請(qǐng)求，否則不如自己循環(huán)去調(diào)curl_exec好了。

步驟總結(jié)如下：
第一步：調(diào)用curl_multi_init
第二步：循環(huán)調(diào)用curl_multi_add_handle
這一步需要注意的是，curl_multi_add_handle的第二個(gè)參數(shù)是由curl_init而來(lái)的子handle。
第三步：持續(xù)調(diào)用curl_multi_exec
第四步：根據(jù)需要循環(huán)調(diào)用curl_multi_getcontent獲取結(jié)果
第五步：調(diào)用curl_multi_remove_handle，并為每個(gè)字handle調(diào)用curl_close
第六步：調(diào)用curl_multi_close

這里有一個(gè)網(wǎng)上找的簡(jiǎn)單例子，其作者稱為dirty的例子，（稍后我會(huì)說(shuō)明為何dirty）：

復(fù)制代碼代碼如下:

*
Here's a quick and dirty example for curl-multi from PHP, tested on PHP 5.0.0RC1 CLI / FreeBSD 5.2.1
*/

$connomains = array(
"http://www.cnn.com/",
"http://www.canada.com/",
"http://www.yahoo.com/"
);

$mh = curl_multi_init();

foreach ($connomains as $i => $url) {
     $conn[$i]=curl_init($url);
      curl_setopt($conn[$i],CURLOPT_RETURNTRANSFER,1);
      curl_multi_add_handle ($mh,$conn[$i]);
}

do { $n=curl_multi_exec($mh,$active); } while ($active);

foreach ($connomains as $i => $url) {
$res[$i]=curl_multi_getcontent($conn[$i]);
curl_close($conn[$i]);
}

print_r($res);

整個(gè)使用過(guò)程差不多就是這樣，但是，這個(gè)簡(jiǎn)單代碼有個(gè)致命弱點(diǎn)，就是在do循環(huán)的那段，在整個(gè)url請(qǐng)求期間是個(gè)死循環(huán)，它會(huì)輕易導(dǎo)致CPU占用100%。

現(xiàn)在我們來(lái)改進(jìn)它，這里要用到一個(gè)幾乎沒有任何文檔的函數(shù)curl_multi_select了，雖然C的curl庫(kù)對(duì)select有說(shuō)明，但是，php里的接口和用法確與C中有不同。

把上面do的那段改成下面這樣：

復(fù)制代碼代碼如下:

do {
                        $mrc = curl_multi_exec($mh,$active);
                } while ($mrc == CURLM_CALL_MULTI_PERFORM);
                while ($active and $mrc == CURLM_OK) {
                        if (curl_multi_select($mh) != -1) {
                                do {
                                        $mrc = curl_multi_exec($mh, $active);
                                } while ($mrc == CURLM_CALL_MULTI_PERFORM);
                        }
                }

因?yàn)?active要等全部url數(shù)據(jù)接受完畢才變成false，所以這里用到了curl_multi_exec的返回值判斷是否還有數(shù)據(jù)，當(dāng)有數(shù)據(jù)的時(shí)候就不停調(diào)用curl_multi_exec，暫時(shí)沒有數(shù)據(jù)就進(jìn)入select階段，新數(shù)據(jù)一來(lái)就可以被喚醒繼續(xù)執(zhí)行。這里的好處就是CPU的無(wú)謂消耗沒有了。

另外：還有一些細(xì)節(jié)的地方可能有時(shí)候要遇到：
控制每一個(gè)請(qǐng)求的超時(shí)時(shí)間，在curl_multi_add_handle之前通過(guò)curl_setopt去做：
curl_setopt($ch, CURLOPT_TIMEOUT, $timeout);

判斷是否超時(shí)了或者其他錯(cuò)誤，在curl_multi_getcontent之前用：curl_error($conn[$i]);

注意：php的multi_curl功能慎用，因?yàn)槟承┌姹镜腸url和php的搭配有Bug。所以你調(diào)試過(guò)沒問題的代碼很可能在別的機(jī)器上不正確。

例如今天我發(fā)現(xiàn)在php5.2.2搭配curl/7.16.2版本如果CURLOPT_USERAGENT屬性設(shè)置成某些值，則實(shí)際發(fā)送的HTTP頭的會(huì)變成一串二進(jìn)制值。

而恰好這個(gè)版本的php中strip_tags函數(shù)對(duì)含二進(jìn)制的數(shù)據(jù)處理的不好，這才發(fā)現(xiàn)了這個(gè)Bug

您可能感興趣的文章: