PHP多線程之內(nèi)部多線程實(shí)例分析
本文實(shí)例分析了PHP多線程之內(nèi)部多線程用法。分享給大家供大家參考。具體如下:
class Http_MultiRequest
{
//要并行抓取的url 列表
private $urls = array();
//curl 的選項(xiàng)
private $options;
//構(gòu)造函數(shù)
function __construct($options = array())
{
$this->setOptions($options);
}
//設(shè)置url 列表
function setUrls($urls)
{
$this->urls = $urls;
return $this;
}
//設(shè)置選項(xiàng)
function setOptions($options)
{
$options[CURLOPT_RETURNTRANSFER] = 1;
if (isset($options['HTTP_POST']))
{
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, $options['HTTP_POST']);
unset($options['HTTP_POST']);
}
if (!isset($options[CURLOPT_USERAGENT]))
{
$options[CURLOPT_USERAGENT] = 'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1;)';
}
if (!isset($options[CURLOPT_FOLLOWLOCATION]))
{
$options[CURLOPT_FOLLOWLOCATION] = 1;
}
if (!isset($options[CURLOPT_HEADER]))
{
$options[CURLOPT_HEADER] = 0;
}
$this->options = $options;
}
//并行抓取所有的內(nèi)容
function exec()
{
if(empty($this->urls) || !is_array($this->urls))
{
return false;
}
$curl = $data = array();
$mh = curl_multi_init();
foreach($this->urls as $k => $v)
{
$curl[$k] = $this->addHandle($mh, $v);
}
$this->execMulitHandle($mh);
foreach($this->urls as $k => $v)
{
$data[$k] = curl_multi_getcontent($curl[$k]);
curl_multi_remove_handle($mh, $curl[$k]);
}
curl_multi_close($mh);
return $data;
}
//只抓取一個(gè)網(wǎng)頁(yè)的內(nèi)容。
function execOne($url)
{
if (empty($url)) {
return false;
}
$ch = curl_init($url);
$this->setOneOption($ch);
$content = curl_exec($ch);
curl_close($ch);
return $content;
}
//內(nèi)部函數(shù),設(shè)置某個(gè)handle 的選項(xiàng)
private function setOneOption($ch)
{
curl_setopt_array($ch, $this->options);
}
//添加一個(gè)新的并行抓取 handle
private function addHandle($mh, $url)
{
$ch = curl_init($url);
$this->setOneOption($ch);
curl_multi_add_handle($mh, $ch);
return $ch;
}
//并行執(zhí)行(這樣的寫(xiě)法是一個(gè)常見(jiàn)的錯(cuò)誤,我這里還是采用這樣的寫(xiě)法,這個(gè)寫(xiě)法
//下載一個(gè)小文件都可能導(dǎo)致cup占用100%, 并且,這個(gè)循環(huán)會(huì)運(yùn)行10萬(wàn)次以上
//這是一個(gè)典型的不懂原理產(chǎn)生的錯(cuò)誤。這個(gè)錯(cuò)誤在PHP官方的文檔上都相當(dāng)?shù)某R?jiàn)。)
private function execMulitHandle($mh)
{
$running = null;
do {
curl_multi_exec($mh, $running);
} while ($running > 0);
}
}
/*下面是上面的類(lèi)的一個(gè)測(cè)試的例子:*/
$urls = array("http://baidu.com", "http://baidu.com", "http://baidu.com", "http://baidu.com", "http://baidu.com", "http://baidu.com", "http://www.google.com", "http://www.sina.com.cn", );
$m = new Http_MultiRequest();
$t = microtime(true);
$m->setUrls($urls);
//parallel fetch(并行抓取):
$data = $m->exec();
$parallel_time = microtime(true) - $t;
echo $parallel_time . "\n";
$t = microtime(true);
//serial fetch(串行抓?。?
foreach ($urls as $url)
{
$data[] = $m->execOne($url);
}
$serial_time = microtime(true) - $t;
echo $serial_time . "\n";
希望本文所述對(duì)大家的php程序設(shè)計(jì)有所幫助。
- php 多線程上下文中安全寫(xiě)文件實(shí)現(xiàn)代碼
- PHP多線程抓取網(wǎng)頁(yè)實(shí)現(xiàn)代碼
- 深入解析PHP中的(偽)多線程與多進(jìn)程
- 實(shí)現(xiàn)PHP多線程異步請(qǐng)求的3種方法
- php fsockopen解決辦法 php實(shí)現(xiàn)多線程
- PHP使用CURL_MULTI實(shí)現(xiàn)多線程采集的例子
- php異步多線程swoole用法實(shí)例
- PHP多線程類(lèi)及用法實(shí)例
- PHP多線程編程之管道通信實(shí)例分析
- PHP使用CURL實(shí)現(xiàn)多線程抓取網(wǎng)頁(yè)
- PHP CURL 多線程操作代碼實(shí)例
- PHP+shell實(shí)現(xiàn)多線程的方法
- php結(jié)合curl實(shí)現(xiàn)多線程抓取
- 如何解決PHP無(wú)法實(shí)現(xiàn)多線程的問(wèn)題
相關(guān)文章
Linux環(huán)境下搭建php開(kāi)發(fā)環(huán)境的操作步驟
本篇文章是對(duì)Linux環(huán)境下搭建php開(kāi)發(fā)環(huán)境的操作步驟進(jìn)行了詳細(xì)的分析介紹,需要的朋友參考下2013-06-06PHP計(jì)劃任務(wù)、定時(shí)執(zhí)行任務(wù)的實(shí)現(xiàn)代碼
PHP計(jì)劃任務(wù)、定時(shí)執(zhí)行任務(wù)的實(shí)現(xiàn)用到的函數(shù) ignore_user_abort(),set_time_limit(0),sleep($interval) 此代碼只要運(yùn)行一次后關(guān)閉瀏覽器即可。2011-04-04php無(wú)限級(jí)評(píng)論嵌套實(shí)現(xiàn)代碼
本文講的是php無(wú)限級(jí)評(píng)論嵌套實(shí)例介紹, 我在設(shè)計(jì)BB的過(guò)程中,也一直在思考是否可以不通過(guò)遞歸來(lái)實(shí)現(xiàn)無(wú)限級(jí)分類(lèi)的結(jié)構(gòu)展現(xiàn)和父子結(jié)構(gòu)查找,因?yàn)槿绻粚?duì)這里的算法進(jìn)行優(yōu)化后果可能是致命的2018-04-04PHP計(jì)算數(shù)組中值的和與乘積的方法(array_sum與array_product函數(shù))
這篇文章主要介紹了PHP計(jì)算數(shù)組中值的和與乘積的方法,結(jié)合實(shí)例形式較為詳細(xì)的分析了array_sum與array_product函數(shù)的功能與使用方法,需要的朋友可以參考下2016-04-04一個(gè)PHP驗(yàn)證碼類(lèi)代碼分享(已封裝成類(lèi))
驗(yàn)證碼的用途就不用多說(shuō)了,之前也寫(xiě)了一篇關(guān)于PHP驗(yàn)證碼的文章,PHP 驗(yàn)證碼的實(shí)現(xiàn)。但是沒(méi)有封裝成類(lèi)。下面就介紹一個(gè)PHP的一個(gè)驗(yàn)證碼類(lèi)。2011-07-07PHP中執(zhí)行MYSQL事務(wù)解決數(shù)據(jù)寫(xiě)入不完整等情況
事務(wù)可以進(jìn)行模擬SQL操作,當(dāng)所有的SQL都操作成功的時(shí)候才進(jìn)行SQL操作,只要有一個(gè)操作失敗就回滾當(dāng)前事務(wù)的所有SQL操作,避免出現(xiàn)上面描述中出現(xiàn)的數(shù)據(jù)寫(xiě)入不完整等情況2014-01-01php模擬post行為代碼總結(jié)(POST方式不是絕對(duì)安全)
GET行為比較簡(jiǎn)單,POST比較復(fù)雜一些2012-02-02php 判斷頁(yè)面或圖片是否經(jīng)過(guò)gzip壓縮的方法
下面小編就為大家?guī)?lái)一篇php 判斷頁(yè)面或圖片是否經(jīng)過(guò)gzip壓縮的方法。小編覺(jué)得挺不錯(cuò)的,現(xiàn)在就分享給大家,也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2017-04-04