phpQuery占用內(nèi)存過多的處理方法
更新時(shí)間:2013年11月13日 10:30:04 作者:
本文解決phpQuery占用內(nèi)存過多的問題
phpQuery是一個(gè)用php實(shí)現(xiàn)的類似jQuery的開源項(xiàng)目,可以在服務(wù)器端以jQuery的語法形式解析網(wǎng)頁元素。 相對(duì)于正則或其它方式匹配網(wǎng)頁方式,phpQuery使用起來要方便的多。
在使用phpQuery采集網(wǎng)頁時(shí),遇到一個(gè)問題:在處理大量網(wǎng)頁之后,phpQuery占用的內(nèi)存數(shù)量非常驚人(很快就超過了1G),
比如這段代碼:
while (true) {
phpQuery::newDocumentFile($htmlFile);
// 處理網(wǎng)頁元素...
echo memory_get_usage() . "\n";
}
謹(jǐn)慎運(yùn)行上面這段代碼,它會(huì)很快用光你的內(nèi)存。
經(jīng)過查看phpQuery的源代碼終于發(fā)現(xiàn)了問題所在,phpQuery在每處理一個(gè)網(wǎng)頁就會(huì)產(chǎn)生一個(gè)DOMDocumentWrapper 對(duì)象,而每個(gè)DOMDocumentWrapper 對(duì)象會(huì)被保存在靜態(tài)成員$documents中(phpQuery::createDocumentWrapper中),這個(gè)變量是一個(gè)數(shù)組,每解析一個(gè)網(wǎng)頁數(shù)組元素就增加一個(gè)。
phpQuery::$documents[$wrapper->id] = $wrapper;
找到問題后,解決就很容易了,每次解析完一個(gè)網(wǎng)頁,把phpQuery::$documents置空即可。
while (true) {
phpQuery::newDocumentFile($htmlFile);
// 處理網(wǎng)頁元素...
phpQuery::$documents = array();
echo memory_get_usage() . "\n";
}
內(nèi)存占用穩(wěn)定了。
在使用phpQuery采集網(wǎng)頁時(shí),遇到一個(gè)問題:在處理大量網(wǎng)頁之后,phpQuery占用的內(nèi)存數(shù)量非常驚人(很快就超過了1G),
比如這段代碼:
復(fù)制代碼 代碼如下:
while (true) {
phpQuery::newDocumentFile($htmlFile);
// 處理網(wǎng)頁元素...
echo memory_get_usage() . "\n";
}
謹(jǐn)慎運(yùn)行上面這段代碼,它會(huì)很快用光你的內(nèi)存。
經(jīng)過查看phpQuery的源代碼終于發(fā)現(xiàn)了問題所在,phpQuery在每處理一個(gè)網(wǎng)頁就會(huì)產(chǎn)生一個(gè)DOMDocumentWrapper 對(duì)象,而每個(gè)DOMDocumentWrapper 對(duì)象會(huì)被保存在靜態(tài)成員$documents中(phpQuery::createDocumentWrapper中),這個(gè)變量是一個(gè)數(shù)組,每解析一個(gè)網(wǎng)頁數(shù)組元素就增加一個(gè)。
phpQuery::$documents[$wrapper->id] = $wrapper;
找到問題后,解決就很容易了,每次解析完一個(gè)網(wǎng)頁,把phpQuery::$documents置空即可。
復(fù)制代碼 代碼如下:
while (true) {
phpQuery::newDocumentFile($htmlFile);
// 處理網(wǎng)頁元素...
phpQuery::$documents = array();
echo memory_get_usage() . "\n";
}
內(nèi)存占用穩(wěn)定了。
您可能感興趣的文章:
相關(guān)文章
延長(zhǎng)phpmyadmin登錄時(shí)間的方法
新安裝的phpmyadmin默認(rèn)是cookie模式,如果閑置十幾分鐘不操作的話,就會(huì)要求重新登錄。2011-02-02利用php獲取服務(wù)器時(shí)間的實(shí)現(xiàn)代碼
本篇文章是對(duì)使用php獲取服務(wù)器時(shí)間的方法進(jìn)行了詳細(xì)的分析介紹,需要的朋友參考下2013-06-06php實(shí)現(xiàn)生成PDF文件的方法示例【基于FPDF類庫】
這篇文章主要介紹了php實(shí)現(xiàn)生成PDF文件的方法,結(jié)合實(shí)例形式分析了php基于FPDF類庫實(shí)現(xiàn)生成pdf文件的相關(guān)操作技巧,需要的朋友可以參考下2018-07-07php中突破基于HTTP_REFERER的防盜鏈措施(stream_context_create)
如果考慮突破防盜鏈的措施,就需要考慮在 HTTP_REFERER 上面做手腳了。很多網(wǎng)站是通過referer來判斷是否盜鏈。2011-03-03