如何解決PHP使用mysql_query查詢超大結(jié)果集超內(nèi)存問(wèn)題
再使用mysql_query查詢超大結(jié)果集的時(shí)候會(huì)出現(xiàn)超出內(nèi)存限制的致命錯(cuò)誤,這是因?yàn)閙ysql_query采用的是查詢?nèi)拷Y(jié)果然后把結(jié)果集全部緩存到內(nèi)存中的方式。
mysql的查詢還提供了另外一種查詢方式,函數(shù)名為mysql_unbuffered_query,這個(gè)函數(shù)采用的是查出結(jié)果后立即操作結(jié)果集,并不會(huì)把結(jié)果集緩存到內(nèi)存中,這樣就避免了超出內(nèi)存的情況發(fā)生。但是使用這個(gè)方法的代價(jià)就是不能再查詢的時(shí)候使用獲取總行之類的方法,因?yàn)檫@種方法是便查詢邊返回結(jié)果。同時(shí)在使用該方法的時(shí)候不能在同一數(shù)據(jù)庫(kù)鏈接上執(zhí)行其他的操作,想要執(zhí)行其他操作的時(shí)候必須先終止當(dāng)前操作,釋放所有未緩存的sql查詢所產(chǎn)生的結(jié)果行,或者重新實(shí)例化一個(gè)數(shù)據(jù)庫(kù)連接,使用新鏈接進(jìn)行其他操作。
以下是使用緩存和不使用緩存的對(duì)比(所查詢的表中有1000多萬(wàn)行數(shù)據(jù)):
function selecttest() { try { $pdo = new PDO("mysql:host=localhost;dbname=test", 'root', '123456'); // 不使用緩存結(jié)果集方式 // $pdo->setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false); $sth = $pdo->prepare('select * from test'); $sth->execute(); echo '最初占用內(nèi)存大小:' . memory_get_usage() . "\n"; $i = 0; while ($result = $sth->fetch(PDO::FETCH_ASSOC)) { $i += 1; if ($i > 10) { break; } sleep(1); print_r($result); echo '占用內(nèi)存大?。? . memory_get_usage() . "\n"; } } catch (Exception $e) { echo $e->getMessage(); } }
上面使用到的是緩存所有結(jié)果集的方式,運(yùn)行該函數(shù)時(shí)將會(huì)報(bào)超內(nèi)存的錯(cuò)誤,如下所示:
Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 204800000 bytes) in E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php on line 57
Call Stack:
0.0005 135392 1. {main}() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:0
0.0005 135568 2. test->selecttest() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:86
0.0055 142528 3. PDOStatement->execute() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:57
在執(zhí)行$sth->execute();時(shí)超出內(nèi)存限制;
將// $pdo->setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);這行的注釋去掉后將使用不緩存結(jié)果集的方式,運(yùn)行該函數(shù)將輸出以下內(nèi)容:
最初占用內(nèi)存大?。?44808
Array ( [id] => 1 [a] => v [b] => w [c] => i )
占用內(nèi)存大?。?45544
Array ( [id] => 2 [a] => b [b] => l [c] => q )
占用內(nèi)存大?。?45544
Array ( [id] => 3 [a] => m [b] => p [c] => h )
占用內(nèi)存大?。?45536
Array ( [id] => 4 [a] => j [b] => i [c] => b )
占用內(nèi)存大小:145536
Array ( [id] => 5 [a] => q [b] => g [c] => g )
占用內(nèi)存大?。?45536
可以看到,使用不緩存結(jié)果集的方式獲取一行結(jié)果所占用的內(nèi)存是極少的。這樣就結(jié)局了超出內(nèi)存限制的問(wèn)題。
相關(guān)文章
thinkPHP5分頁(yè)功能實(shí)現(xiàn)方法分析
這篇文章主要介紹了thinkPHP5分頁(yè)功能實(shí)現(xiàn)方法,結(jié)合實(shí)例形式較為詳細(xì)的分析了thinkPHP5實(shí)現(xiàn)分頁(yè)功能的具體步驟與相關(guān)操作技巧,需要的朋友可以參考下2017-10-10php文字水印和php圖片水印實(shí)現(xiàn)代碼(二種加水印方法)
有時(shí)上傳圖片時(shí)需要給網(wǎng)站加上水印,水印可以分為文字水印和圖片水印,下面就實(shí)現(xiàn)這二種水印2013-12-12TP5框架實(shí)現(xiàn)自定義分頁(yè)樣式的方法示例
這篇文章主要介紹了TP5框架實(shí)現(xiàn)自定義分頁(yè)樣式的方法,結(jié)合實(shí)例形式詳細(xì)分析了TP5自定義分頁(yè)樣式相關(guān)類定義、樣式設(shè)置、配置與使用技巧,需要的朋友可以參考下2020-04-04Laravel Validator自定義錯(cuò)誤返回提示消息并在前端展示
這篇文章主要給大家介紹了關(guān)于Laravel Validator自定義錯(cuò)誤返回提示消息并在前端展示的相關(guān)資料,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家學(xué)習(xí)或者使用Laravel具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-05-05CodeIgniter實(shí)現(xiàn)從網(wǎng)站抓取圖片并自動(dòng)下載到文件夾里的方法
這篇文章主要介紹了CodeIgniter實(shí)現(xiàn)從網(wǎng)站抓取圖片并自動(dòng)下載到文件夾里的方法,實(shí)例分析了CodeIgniter網(wǎng)頁(yè)圖片操作的相關(guān)技巧,需要的朋友可以參考下2015-06-06Laravel Validator 實(shí)現(xiàn)兩個(gè)或多個(gè)字段聯(lián)合索引唯一
這篇文章主要介紹了Laravel Validator 兩個(gè)或多個(gè)字段聯(lián)合索引唯一,非常不錯(cuò),具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2019-05-05PHP數(shù)據(jù)庫(kù)萬(wàn)能引擎類adodb配置使用以及實(shí)例集錦
ADODB 是一種兼容的各類數(shù)據(jù)庫(kù)應(yīng)用程序接口(API),各種數(shù)據(jù)庫(kù)都可以。MySQL,PostgreSQL,Interbase,F(xiàn)irebird,Informix,Oracle,MS SQL 7,F(xiàn)oxpro,Access,ADO,Sybase,F(xiàn)rontBase,DB22014-06-06php+mongodb判斷坐標(biāo)是否在指定多邊形區(qū)域內(nèi)的實(shí)例
本篇文章主要介紹了php+mongodb判斷坐標(biāo)是否在指定多邊形區(qū)域內(nèi)的實(shí)例,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下。2016-10-10