keras tensorflow 實(shí)現(xiàn)在python下多進(jìn)程運(yùn)行
如下所示：
from multiprocessing import Process import os def training_function(...): import keras # 此處需要在子進(jìn)程中 ... if __name__ == '__main__': p = Process(target=training_function, args=(...,)) p.start()
原文地址：https://stackoverflow.com/questions/42504669/keras-tensorflow-and-multiprocessing-in-python
1、DO NOT LOAD KERAS TO YOUR MAIN ENVIRONMENT. If you want to load Keras / Theano / TensorFlow do it only in the function environment. E.g. don't do this:
import keras def training_function(...): ...
but do the following:
def training_function(...): import keras ...
Run work connected with each model in a separate process: I'm usually creating workers which are making the job (like e.g. training, tuning, scoring) and I'm running them in separate processes. What is nice about it that whole memory used by this process is completely freedwhen your process is done. This helps you with loads of memory problems which you usually come across when you are using multiprocessing or even running multiple models in one process. So this looks e.g. like this:
def _training_worker(train_params): import keras model = obtain_model(train_params) model.fit(train_params) send_message_to_main_process(...) def train_new_model(train_params): training_process = multiprocessing.Process(target=_training_worker, args = train_params) training_process.start() get_message_from_training_process(...) training_process.join()
Different approach is simply preparing different scripts for different model actions. But this may cause memory errors especially when your models are memory consuming. NOTE that due to this reason it's better to make your execution strictly sequential.
以上這篇keras tensorflow 實(shí)現(xiàn)在python下多進(jìn)程運(yùn)行就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
Python中內(nèi)置了一些與時(shí)間處理相關(guān)的庫(kù)，如time、datatime和calendar庫(kù)，這篇文章主要介紹了python-time時(shí)間庫(kù),需要的朋友可以參考下2022-08-08
python使用itchat實(shí)現(xiàn)手機(jī)控制電腦
這篇文章主要為大家詳細(xì)介紹了python使用itchat實(shí)現(xiàn)手機(jī)控制電腦，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2018-02-02
關(guān)于numpy中np.nonzero()函數(shù)用法的詳解
下面小編就為大家?guī)硪黄P(guān)于numpy中np.nonzero()函數(shù)用法的詳解。小編覺得挺不錯(cuò)的，現(xiàn)在就分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧2017-02-02
這篇文章主要介紹了淺談python之新式類，詳細(xì)的介紹了如何使用新式類和經(jīng)典類的區(qū)別。小編覺得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧2018-08-08
關(guān)于Python解包知識(shí)點(diǎn)總結(jié)
在本篇文章里小編給各位分享的是關(guān)于Python解包知識(shí)點(diǎn)總結(jié)，有興趣的朋友們可以學(xué)習(xí)參考下。2020-05-05
Python提供了ord和chr兩個(gè)內(nèi)置的函數(shù)，用于字符與ASCII碼之間的轉(zhuǎn)換。2008-09-09
使用Python Flask構(gòu)建輕量級(jí)靈活的Web應(yīng)用實(shí)例探究
Flask是一個(gè)流行的Python Web框架,以其輕量級(jí)、靈活和易學(xué)的特性受到開發(fā)者的喜愛,本文將深入探討Flask框架的各個(gè)方面,通過詳實(shí)的示例代碼,幫助大家更全面地了解和掌握這一強(qiáng)大的工具,2024-01-01
python實(shí)現(xiàn)輸入的數(shù)據(jù)在地圖上生成熱力圖效果
今天小編就為大家分享一篇python實(shí)現(xiàn)輸入的數(shù)據(jù)在地圖上生成熱力圖效果，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2019-12-12
這篇文章主要介紹了CentOS中安裝python3.8.2的詳細(xì)教程,本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2021-03-03
python實(shí)現(xiàn)對(duì)csv文件的列的內(nèi)容讀取
今天小編就為大家分享一篇python實(shí)現(xiàn)對(duì)csv文件的列的內(nèi)容讀取，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2018-07-07