Python錯(cuò)誤提示：[Errno 24] Too many open files的分析與解決
背景
最近在工作中發(fā)現(xiàn)了一個(gè)錯(cuò)誤，在執(zhí)行多線程掃描腳本的時(shí)候頻繁出現(xiàn)下面這個(gè)錯(cuò)誤
HTTPConnectionPool(host=‘t.tips', port=80): Max retries exceeded with url: /index.php (Caused by NewConnectionError('<requests.packages.urllib3.connection.HTTPConnection object at 0x7f29d4081150>: Failed to establish a new connection: [Errno 24] Too many open files',))
比較詭異...
分析
博主自己手上的一些小項(xiàng)目經(jīng)常需要進(jìn)行多線程的批量掃描來采集數(shù)據(jù)，像采集數(shù)據(jù)這種功能當(dāng)然是線程越多越好了，所以通常情況下我都是使用 3000 個(gè)線程進(jìn)行掃描，在確定帶寬充足，系統(tǒng)硬件配置夠高的情況下依然會(huì)出現(xiàn)上述問題，這就讓我想到是不是因?yàn)橄到y(tǒng)的限制問題。
通過搜索引擎我找到了關(guān)于系統(tǒng)限制的介紹，執(zhí)行
$ ulimit -n 1024
得到的結(jié)果是1024，系統(tǒng)限制為同時(shí)打開1024個(gè)文件，這顯然是太少了。
解決
這個(gè)問題的解決方法很簡單，直接修改下面的文件
sudo vim /etc/security/limits.conf
最這個(gè)文件的最后添加兩行代碼
* soft nofile 10240 * hard nofile 10240
當(dāng)然這個(gè)數(shù)字根據(jù)自己的需要進(jìn)行修改即可，保存后注銷重新登錄就好了。
總結(jié)
以上就是這篇文章的全部內(nèi)容了，希望本文的內(nèi)容對(duì)大家的學(xué)習(xí)或者工作能帶來一定的幫助，如果有疑問大家可以留言交流。
相關(guān)文章
Python實(shí)現(xiàn)圖像壓縮和圖像處理詳解
隨著現(xiàn)在短視頻類越來越火，隨之而來的就是大量的視頻圖像的處理。這篇文章主要為大家介紹了Python如何一鍵實(shí)現(xiàn)圖像壓縮和圖像處理，希望對(duì)你們有所幫助2022-07-07
pytest官方文檔解讀fixtures調(diào)用fixtures及fixture復(fù)用性
這篇文章主要為大家介紹了pytest官方文檔解讀fixtures調(diào)用fixtures及fixture復(fù)用性，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2022-06-06
在本篇內(nèi)容里小編給大家分享的是一篇關(guān)于python生成word合同的實(shí)例方法相關(guān)內(nèi)容，有需要的朋友們可以學(xué)習(xí)下。2021-01-01
Python實(shí)現(xiàn)的基于優(yōu)先等級(jí)分配糖果問題算法示例
這篇文章主要介紹了Python實(shí)現(xiàn)的基于優(yōu)先等級(jí)分配糖果問題算法,涉及Python針對(duì)列表的遍歷、判斷、計(jì)算等相關(guān)操作技巧,需要的朋友可以參考下2018-04-04
windows系統(tǒng)Tensorflow2.x簡單安裝記錄(圖文)
這篇文章主要介紹了windows系統(tǒng)Tensorflow2.x簡單安裝記錄(圖文)，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-01-01
使用python編程時(shí),改變控制臺(tái)或終端中輸出字體的顏色和格式,會(huì)顯著提升代碼質(zhì)量,快速幫助我們定位問題和鎖定重要輸出,但是一般情況下,python控制臺(tái)輸出的字體默認(rèn)為白色,所以這篇文章給大家介紹了如何利用Python控制終端打印字體的顏色和格式,需要的朋友可以參考下2024-06-06
Python中reduce()函數(shù)的語法參數(shù)與作用詳解
這篇文章主要介紹了Python中reduce()函數(shù)的語法參數(shù)與作用詳解,reduce函數(shù)是通過函數(shù)對(duì)迭代器對(duì)象中的元素進(jìn)行遍歷操作,Python3.x中reduce函數(shù)已經(jīng)從內(nèi)置函數(shù)中取消了,轉(zhuǎn)而放在functools模塊中,需要的朋友可以參考下2023-08-08
python利用smtplib實(shí)現(xiàn)QQ郵箱發(fā)送郵件
這篇文章主要為大家詳細(xì)介紹了python利用smtplib實(shí)現(xiàn)QQ郵箱發(fā)送郵件，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2018-05-05
這篇文章主要介紹了由Python編寫的MySQL管理工具，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-04-04
今天小編就為大家分享一篇利用ctypes獲取numpy數(shù)組的指針方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2019-02-02