解決File size limit exceeded 錯誤的方法
昨日遇到一個問題,使用Yii框架編寫php腳本,將db中100多萬的數(shù)據(jù)導(dǎo)出,運行,成功。
但是在 運行到第 49萬條時,腳本終止,提示錯誤“File size limit exceeded”,遂google之,原來是某個文件大小超過系統(tǒng)限制。筆者第一反應(yīng),日志文件寫滿了???趕忙查看 log,居然只有幾十K !!! 那么這個 “大文件”在哪里呢?
開始分析,不可能是Yii框架的問題,此乃linux操作系統(tǒng)異常問題與框架無光,也不是 日志文件大小,仔細查看了所有設(shè)置的log路徑下的文件,均小的可以忽略,即使是將Yii的debug關(guān)掉,也出現(xiàn)了相同的問題。
那么換個思路,重新運行腳本,再次運行腳本,發(fā)現(xiàn) dead的時間很有規(guī)律,均是在45萬條記錄時掛掉,一條不多一條不少,開始懷疑與進程有關(guān)。決定查看腳本進程所影響到的io。
1、先獲取腳本進程的 <pid>;
2、使用lsof命令查看此pid的io情況 : lsof -p <pid>
發(fā)現(xiàn)一個疑似文件 data0/xdebug/cachegrind.out.<pid>,隨著腳本的執(zhí)行,這個xdebug文件的大小也隨之增大,最后,如愿,掛掉!此時文件大小為:2147483647!!
哈哈,好熟悉的數(shù)字,2^31 -1 !!
看來問題找到了,在腳本執(zhí)行時,xdebug也隨之對這個腳本進程進行寫記錄日志,當此文件大小超出 系統(tǒng)所能支持的文件大小時,如期掛掉。
ok, 將xdebug關(guān)掉,重跑腳本,一百多萬的記錄順利跑完,搞定。
ps: 筆者所使用的服務(wù)器為32位系統(tǒng),而在32位操作系統(tǒng)中,由于是二進制,其能最大存儲的數(shù)據(jù)是1111111111111111111111111111111。
正因為此,體現(xiàn)在其他可視系統(tǒng)中的十進制就為2147483647。
相關(guān)文章
Windows2003 下 MySQL 數(shù)據(jù)庫每天自動備份
Windows2003 下 MySQL 數(shù)據(jù)庫每天自動備份...2006-12-12PHP檢查文件是否存在,不存在自動創(chuàng)建及讀取文件內(nèi)容操作示例
這篇文章主要介紹了PHP檢查文件是否存在,不存在自動創(chuàng)建及讀取文件內(nèi)容操作,結(jié)合實例形式分析了PHP針對文件的檢測、創(chuàng)建、遍歷、讀取等相關(guān)操作技巧,需要的朋友可以參考下2020-01-01WordPress的文章自動添加關(guān)鍵詞及關(guān)鍵詞的SEO優(yōu)化
這篇文章主要介紹了給WordPress的文章添加關(guān)鍵詞及關(guān)鍵詞的SEO優(yōu)化方法,突出關(guān)鍵詞在搜尋結(jié)果中的作用,需要的朋友可以參考下2016-03-03PHP使用curl_multi_select解決curl_multi網(wǎng)頁假死問題的方法
這篇文章主要介紹了PHP使用curl_multi_select解決curl_multi網(wǎng)頁假死問題的方法,結(jié)合實例形式分析了使用curl_multi的過程中并發(fā)處理事務(wù)導(dǎo)致cpu占用率過高時的解決方法,需要的朋友可以參考下2018-08-08