PHP使用CURL_MULTI實(shí)現(xiàn)多線程采集的例子
這兩天有一客戶定制了一個(gè)免登錄發(fā)布模塊,因?yàn)樵谀K中需要涉及到很多圖片下載的問題,考慮到性能問題,所以特別寫了一個(gè)CURL_MULTI遠(yuǎn)程采集網(wǎng)頁(yè)的函數(shù),以方便以后使用,估計(jì)以后都不會(huì)使用原來的單線程curl函數(shù)去foreach了,其性能對(duì)比很明顯的。同樣獲取我的博客的十個(gè)不同網(wǎng)頁(yè),curl_multi:4.5246081352234,file_get_contents:33.001797914505,將近8倍的效率,可想而知,如果在附件更多的情況下,性能差異就越明顯了,希望對(duì)您有所幫助!
<?php
$text = remote(array('http://www.dbjr.com.cn/','http://www.baidu.com/'));
print_r($text);
function remote($urls) {
if (!is_array($urls) or count($urls) == 0) {
return false;
}
$curl = $text = array();
$handle = curl_multi_init();
foreach($urls as $k => $v) {
$nurl[$k]= preg_replace('~([^:\/\.]+)~ei', "rawurlencode('\\1')", $v);
$curl[$k] = curl_init($nurl[$k]);
curl_setopt($curl[$k], CURLOPT_RETURNTRANSFER, 1);
curl_setopt($curl[$k], CURLOPT_HEADER, 0);
curl_multi_add_handle ($handle, $curl[$k]);
}
$active = null;
do {
$mrc = curl_multi_exec($handle, $active);
} while ($mrc == CURLM_CALL_MULTI_PERFORM);
while ($active && $mrc == CURLM_OK) {
if (curl_multi_select($handle) != -1) {
do {
$mrc = curl_multi_exec($handle, $active);
} while ($mrc == CURLM_CALL_MULTI_PERFORM);
}
}
foreach ($curl as $k => $v) {
if (curl_error($curl[$k]) == "") {
$text[$k] = (string) curl_multi_getcontent($curl[$k]);
}
curl_multi_remove_handle($handle, $curl[$k]);
curl_close($curl[$k]);
}
curl_multi_close($handle);
return $text;
}
- 使用pthreads實(shí)現(xiàn)真正的PHP多線程(需PHP5.3以上版本)
- php pthreads多線程的安裝與使用
- php使用pthreads v3多線程實(shí)現(xiàn)抓取新浪新聞信息操作示例
- PHP pthreads v3下的Volatile簡(jiǎn)介與使用方法示例
- PHP pthreads v3使用中的一些坑和注意點(diǎn)分析
- 實(shí)現(xiàn)PHP多線程異步請(qǐng)求的3種方法
- php異步多線程swoole用法實(shí)例
- PHP安裝threads多線程擴(kuò)展基礎(chǔ)教程
- PHP多線程批量采集下載美女圖片的實(shí)現(xiàn)代碼(續(xù))
- php多線程并發(fā)實(shí)現(xiàn)方法
- PHP使用CURL實(shí)現(xiàn)多線程抓取網(wǎng)頁(yè)
- PHP pthreads v3下同步處理synchronized用法示例
相關(guān)文章
PHP 獲取MSN好友列表的代碼(2009-05-14測(cè)試通過)
感謝druggo提供代碼 放到首頁(yè)只是覺得值得大家研究 等有機(jī)會(huì)把這代碼裝成jsp的2009-09-09php curl請(qǐng)求接口并獲取數(shù)據(jù)的示例代碼
本篇文章主要介紹了php curl請(qǐng)求接口并獲取數(shù)據(jù)的示例代碼,非常具有實(shí)用價(jià)值,需要的朋友可以參考下2017-08-08thinkPHP5框架自定義驗(yàn)證器實(shí)現(xiàn)方法分析
這篇文章主要介紹了thinkPHP5框架自定義驗(yàn)證器實(shí)現(xiàn)方法,結(jié)合實(shí)例形式分析了thinkPHP自定義驗(yàn)證器的具體定義與使用方法,需要的朋友可以參考下2018-06-06php如何根據(jù)IP獲取當(dāng)前經(jīng)緯度以及地域信息
這篇文章主要給大家介紹了關(guān)于php如何根據(jù)IP獲取當(dāng)前經(jīng)緯度以及地域信息的相關(guān)資料,文中通過實(shí)例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2022-01-01DEDE實(shí)現(xiàn)轉(zhuǎn)跳屬性文檔在模板上調(diào)用出轉(zhuǎn)跳地址
這篇文章主要介紹了DEDE實(shí)現(xiàn)轉(zhuǎn)跳屬性文檔在模板上調(diào)用出轉(zhuǎn)跳地址,有需要的朋友可以參考一下。2016-11-11