PHP并發(fā)查詢MySQL的實(shí)例代碼
最近在研究PHP,很喜歡,碰到PHP并發(fā)查詢MySQL的問題,研究了一下,順便留個筆記:
同步查詢
這是我們最常的調(diào)用模式,客戶端調(diào)用Query[函數(shù)],發(fā)起查詢命令,等待結(jié)果返回,讀取結(jié)果;再發(fā)送第二條查詢命令,等待結(jié)果返回,讀取結(jié)果??偤臅r,會是兩次查詢的時間之和。簡化一下過程,例如下圖:
例圖,由1.1到1.3為一個Query[函數(shù)]的調(diào)用,兩次查詢,就要串行經(jīng)歷1.1、1.2、1.3、2.1、2.2、2.3,尤其在1.2和2.2會阻塞等待,進(jìn)程沒法做其他事情。
同步調(diào)用的好處是,符合我們的直觀思維,調(diào)用和處理都簡單。缺點(diǎn)是進(jìn)程阻塞在等待結(jié)果返回,增加額外的運(yùn)行時間。
如果,有多條查詢請求,或者進(jìn)程還有其他的事情處理,那么能否把等待的時間也合理利用起來,提高進(jìn)程的處理能力呢,顯然是可以的。
拆分
現(xiàn)在,我們把Query[函數(shù)]打碎,客戶端在1.1后,馬上返回,客戶端跳過1.2,在1.3有數(shù)據(jù)達(dá)到后再去讀取數(shù)據(jù)。這樣進(jìn)程在原來的1.2階段就解放了,可以做更多的事情,例如…再發(fā)起一條sql查詢[2.1],是否看到了并發(fā)查詢的雛形了。
并發(fā)查詢
相對于同步查詢的下一條查詢的發(fā)起都在上一條完成后,并發(fā)查詢,可以在上一條查詢請求發(fā)起后,立刻發(fā)起下一條查詢請求。簡化一下過程,下圖:
例圖,在1.1.1成功發(fā)送完請求后,立馬返回[1.1.2],最終查詢結(jié)果的返回時在遙遠(yuǎn)的1.2 。但是在,1.1.1到1.2中間,還發(fā)起了另一個查詢請求,這時間段內(nèi),就同時發(fā)起了兩條查詢請求,2.2先于1.2到達(dá),那么兩條查詢的總耗時,只相當(dāng)于第一條查詢的時間。
并發(fā)查詢的優(yōu)點(diǎn)是,可以提高進(jìn)程的使用率,避免阻塞等待服務(wù)器處理查詢,縮短了多條查詢的耗時。但缺點(diǎn)也很明顯,發(fā)起N條并發(fā)查詢,就需要建立N條數(shù)據(jù)庫鏈接,對于有數(shù)據(jù)庫連接池的應(yīng)用來說,可以避免這種情況。
退化
理想情況下,我們希望并發(fā)N條查詢,總耗時等于查詢時間最長的一條查詢。但也有可能并發(fā)查詢會[退化]為[同步查詢]。What?例圖中,如果1.2在2.1.1前就返回了,那么并發(fā)查詢就[退化]為[同步查詢]了,但付出的代價(jià)卻比同步查詢要高。
多路復(fù)用
- 發(fā)起query1
- 發(fā)起query2
- 發(fā)起query3
- ………
- 等待query1、query2、query3
- 讀取query2結(jié)果
- 讀取query1結(jié)果
- 讀取query3結(jié)果
那么,怎么等待知道什么時候查詢結(jié)果返回了,又是哪個的查詢結(jié)果返回呢?
對每個查詢IO調(diào)用read?如果是遇上阻塞IO,這樣就會阻塞在一個IO上,其他IO有結(jié)果返回了,也沒法處理。那么,如果是非阻塞IO,那不用怕會阻塞在其中一個IO上了,確實(shí)是,但又會造成不斷地輪詢判斷,浪費(fèi)CPU資源。
對于這種情況可以使用多路復(fù)用輪詢多個IO。
PHP實(shí)現(xiàn)并發(fā)查詢MySQL
PHP的mysqli(mysqlnd驅(qū)動)提供多路復(fù)用輪詢IO(mysqli_poll)和異步查詢(MYSQLI_ASYNC、mysqli_reap_async_query),使用這兩個特性實(shí)現(xiàn)并發(fā)查詢,示例代碼:
<?php $sqls = array( 'SELECT * FROM `mz_table_1` LIMIT 1000,10', 'SELECT * FROM `mz_table_1` LIMIT 1010,10', 'SELECT * FROM `mz_table_1` LIMIT 1020,10', 'SELECT * FROM `mz_table_1` LIMIT 10000,10', 'SELECT * FROM `mz_table_2` LIMIT 1', 'SELECT * FROM `mz_table_2` LIMIT 5,1' ); $links = []; $tvs = microtime(); $tv = explode(' ', $tvs); $start = $tv[1] * 1000 + (int)($tv[0] * 1000); // 鏈接數(shù)據(jù)庫,并發(fā)起異步查詢 foreach ($sqls as $sql) { $link = mysqli_connect('127.0.0.1', 'root', 'root', 'dbname', '3306'); $link->query($sql, MYSQLI_ASYNC); // 發(fā)起異步查詢,立即返回 $links[$link->thread_id] = $link; } $llen = count($links); $process = 0; do { $r_array = $e_array = $reject = $links; // 多路復(fù)用輪詢IO if(!($ret = mysqli_poll($r_array, $e_array, $reject, 2))) { continue; } // 讀取有結(jié)果返回的查詢,處理結(jié)果 foreach ($r_array as $link) { if ($result = $link->reap_async_query()) { print_r($result->fetch_row()); if (is_object($result)) mysqli_free_result($result); } else { } // 操作完后,把當(dāng)前數(shù)據(jù)鏈接從待輪詢集合中刪除 unset($links[$link->thread_id]); $link->close(); $process++; } foreach ($e_array as $link) { die; } foreach ($reject as $link) { die; } }while($process < $llen); $tvs = microtime(); $tv = explode(' ', $tvs); $end = $tv[1] * 1000 + (int)($tv[0] * 1000); echo $end - $start,PHP_EOL;
mysqli_poll源碼:
#ifndef PHP_WIN32 #define php_select(m, r, w, e, t) select(m, r, w, e, t) #else #include "win32/select.h" #endif /* {{{ mysqlnd_poll */ PHPAPI enum_func_status mysqlnd_poll(MYSQLND **r_array, MYSQLND **e_array, MYSQLND ***dont_poll, long sec, long usec, int * desc_num) { struct timeval tv; struct timeval *tv_p = NULL; fd_set rfds, wfds, efds; php_socket_t max_fd = 0; int retval, sets = 0; int set_count, max_set_count = 0; DBG_ENTER("_mysqlnd_poll"); if (sec < 0 || usec < 0) { php_error_docref(NULL, E_WARNING, "Negative values passed for sec and/or usec"); DBG_RETURN(FAIL); } FD_ZERO(&rfds); FD_ZERO(&wfds); FD_ZERO(&efds); // 從所有mysqli鏈接中獲取socket鏈接描述符 if (r_array != NULL) { *dont_poll = mysqlnd_stream_array_check_for_readiness(r_array); set_count = mysqlnd_stream_array_to_fd_set(r_array, &rfds, &max_fd); if (set_count > max_set_count) { max_set_count = set_count; } sets += set_count; } // 從所有mysqli鏈接中獲取socket鏈接描述符 if (e_array != NULL) { set_count = mysqlnd_stream_array_to_fd_set(e_array, &efds, &max_fd); if (set_count > max_set_count) { max_set_count = set_count; } sets += set_count; } if (!sets) { php_error_docref(NULL, E_WARNING, *dont_poll ? "All arrays passed are clear":"No stream arrays were passed"); DBG_ERR_FMT(*dont_poll ? "All arrays passed are clear":"No stream arrays were passed"); DBG_RETURN(FAIL); } PHP_SAFE_MAX_FD(max_fd, max_set_count); // select輪詢阻塞時間 if (usec > 999999) { tv.tv_sec = sec + (usec / 1000000); tv.tv_usec = usec % 1000000; } else { tv.tv_sec = sec; tv.tv_usec = usec; } tv_p = &tv; // 輪詢,等待多個IO可讀,php_select是select的宏定義 retval = php_select(max_fd + 1, &rfds, &wfds, &efds, tv_p); if (retval == -1) { php_error_docref(NULL, E_WARNING, "unable to select [%d]: %s (max_fd=%d)", errno, strerror(errno), max_fd); DBG_RETURN(FAIL); } if (r_array != NULL) { mysqlnd_stream_array_from_fd_set(r_array, &rfds); } if (e_array != NULL) { mysqlnd_stream_array_from_fd_set(e_array, &efds); } // 返回可操作的IO數(shù)量 *desc_num = retval; DBG_RETURN(PASS); }
并發(fā)查詢操作結(jié)果
為了更直觀地看效果,我找了一個1.3億數(shù)據(jù)量并且沒有優(yōu)化過的表進(jìn)行操作。
并發(fā)查詢的結(jié)果:
同步查詢的結(jié)果:
從結(jié)果來看,同步查詢的總耗時是所有查詢的時間的累加;而并發(fā)查詢的總耗時在這里其實(shí)是查詢時間最長的那一條(同步查詢的第四條,耗時是10幾秒,符合并發(fā)查詢的總耗時),而且并發(fā)查詢的查詢順序和結(jié)果到達(dá)的順序是不一樣的。
多條耗時較短的查詢對比
使用多條查詢時間較短的sql進(jìn)行對比一下
并發(fā)查詢的測試1結(jié)果(數(shù)據(jù)庫鏈接時間也統(tǒng)計(jì)進(jìn)去):
同步查詢的結(jié)果(數(shù)據(jù)庫鏈接時間也統(tǒng)計(jì)進(jìn)去):
并發(fā)查詢的測試2結(jié)果(不統(tǒng)計(jì)數(shù)據(jù)庫鏈接時間):
從結(jié)果上看,并發(fā)查詢測試1并沒有討到好處。從同步查詢上看,每條查詢耗時大概3-4ms左右。但如果不把數(shù)據(jù)庫鏈接時間統(tǒng)計(jì)進(jìn)去(同步查詢只有一次數(shù)據(jù)庫鏈接),并發(fā)查詢的優(yōu)勢又能體現(xiàn)出來了。
結(jié)語
這里探討了一下PHP實(shí)現(xiàn)并發(fā)查詢MySQL,從實(shí)驗(yàn)上結(jié)果直觀地認(rèn)識了并發(fā)查詢的優(yōu)缺點(diǎn)。建立數(shù)據(jù)庫連接的時間在一條優(yōu)化了的sql查詢上,占得比重還是很大。#沒有連接池,要你何用
以上就是本文的全部內(nèi)容,希望對大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。
相關(guān)文章
Thinkphp5+Redis實(shí)現(xiàn)商品秒殺代碼實(shí)例講解
這篇文章主要介紹了Thinkphp5+Redis實(shí)現(xiàn)商品秒殺代碼實(shí)例講解,代碼和步驟講解的很清楚,有需要的同學(xué)可以借鑒參考下2020-12-12php中使用cookie來保存用戶登錄信息的實(shí)現(xiàn)代碼
php中使用cookie來保存用戶登錄信息的實(shí)現(xiàn)代碼,使用php開發(fā)的朋友可以參考下2012-03-03Laravel框架查詢構(gòu)造器常見用法總結(jié)
這篇文章主要介紹了Laravel框架查詢構(gòu)造器常見用法,結(jié)合實(shí)例形式總結(jié)分析了laravel框架查詢構(gòu)造器相關(guān)原理與常見使用技巧,需要的朋友可以參考下2019-12-12YII Framework框架使用YIIC快速創(chuàng)建YII應(yīng)用之migrate用法實(shí)例詳解
這篇文章主要介紹了YII Framework框架使用YIIC快速創(chuàng)建YII應(yīng)用之migrate用法,詳細(xì)分析了migrate的功能與用法,并給出創(chuàng)建登錄后臺的實(shí)例講述了migrate的相關(guān)使用技巧,需要的朋友可以參考下2016-03-03Yii 2.0自帶的驗(yàn)證碼使用經(jīng)驗(yàn)分享
這篇文章主要給大家介紹了關(guān)于使用Yii 2.0自帶驗(yàn)證碼的一些經(jīng)驗(yàn),方便新手們快速上手,對大家具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面來一起看看吧。2017-06-06Kindeditor編輯器添加圖片上傳水印功能(php代碼)
這篇文章主要為大家詳細(xì)介紹了Kindeditor編輯器加圖片上傳水印功能,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2017-08-08