Django的ORM是非常好用的，哪怕不是做Web項(xiàng)目也值得一用，所以網(wǎng)上也可以找到不少使用 Django 開發(fā)非Web項(xiàng)目的資料，因?yàn)槌薕RM之個(gè)，命令行、配置文件等組件也非常好用。

最近用這種方式開發(fā)了一個(gè)非Web項(xiàng)目，而且是多線程的。有N個(gè)工作線程從DB中獲取jobs，并把結(jié)果寫回DB。簡(jiǎn)單來說就是這樣。

項(xiàng)目運(yùn)行一段時(shí)間后，發(fā)現(xiàn)數(shù)據(jù)庫連接耗盡了，幸好內(nèi)存大，然后一直往上調(diào)，最后連接數(shù)都上九千多一萬了。耗盡連接數(shù)的時(shí)候，PostgreSQL 會(huì)出現(xiàn)類似這樣的錯(cuò)誤：

FATAL: remaining connection slots are reserved for non-replication superuser connections

然后就各種看文檔、代碼，找問題，其中艱難略下不表，最后大概是這么些個(gè)知識(shí)點(diǎn)：

1. Django里的數(shù)據(jù)庫連接是放在線程的 local() 實(shí)例中的。
2. 任何時(shí)候，需要一個(gè)數(shù)據(jù)庫連接的話，Django就會(huì)創(chuàng)建一條出來，或者用本線程已有的那條。
3. 如果是Web項(xiàng)目，在請(qǐng)求結(jié)束的時(shí)候，Django會(huì)去關(guān)閉掉連接。是的，沒有連接池。
4. 因?yàn)槲覀兪欠荳eb項(xiàng)目，所以不存在請(qǐng)求結(jié)束事件，所以一直沒的關(guān)閉連接。但本來這個(gè)應(yīng)該也不會(huì)造成問題的，因?yàn)闆]關(guān)閉就一直用唄，但不知道哪里出了問題，會(huì)出現(xiàn)連接泄漏，所以連接數(shù)據(jù)會(huì)一直增長(zhǎng)。

最后的解決方案是找時(shí)機(jī)主動(dòng)關(guān)閉數(shù)據(jù)庫連接，具體到我們項(xiàng)目，就是每次工作線程完成一個(gè)任務(wù)后，就把它相關(guān)的連接關(guān)掉，因?yàn)槲覀冇玫氖?ThreadPoolExecutor ，所以Django很容易做到這一點(diǎn)。

重點(diǎn)代碼如下：

from django.db import connections

def on_done(future):
  # 因?yàn)槊恳粋€(gè)線程都有一個(gè) connections，所以這里可以調(diào)用 close_all()，把本線程名下的所有連接關(guān)閉。
  connections.close_all()

def main():
  # ...
  with ThreadPoolExecutor() as executor:
    while True:
      future = executor.submit(do, get_a_job())
      future.add_done_callback(on_done)

主動(dòng)關(guān)閉后，數(shù)據(jù)庫連接數(shù)降到與工作線程數(shù)相近，并保持穩(wěn)定。

以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。

最新評(píng)論