快捷導(dǎo)航

解決Tensorflow 內(nèi)存泄露問(wèn)題

更新時(shí)間：2020年02月05日 10:09:48 作者：ferriswym

今天小編就為大家分享一篇解決Tensorflow 內(nèi)存泄露問(wèn)題，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧

使用tensorflow進(jìn)行編程時(shí)，經(jīng)常遇到操作不當(dāng)，帶來(lái)的內(nèi)存泄露問(wèn)題，這里有一個(gè)可以幫助debug問(wèn)題所在方法：

https://stackoverflow.com/questions/51175837/tensorflow-runs-out-of-memory-while-computing-how-to-find-memory-leaks/51183870#51183870

使用tf.Graph.finalize()把運(yùn)算圖變成只讀的，從而對(duì)圖的修改都會(huì)報(bào)錯(cuò)，從而找到內(nèi)存泄露的定點(diǎn)。

目前我出現(xiàn)過(guò)內(nèi)存泄露問(wèn)題的有兩處：

1.

session和graph沒有釋放內(nèi)存。按照資料的說(shuō)法，使用了with關(guān)鍵字可以在session異常退出時(shí)也釋放內(nèi)存，否則要用session.close()關(guān)閉session。代碼如下：

with tf.Session() as session:
  #codes

#一般使用with以后就會(huì)釋放內(nèi)存，否則運(yùn)行如下釋放
session.close()
del session

另一方面，我是在session中加載graph（訓(xùn)練好的模型），導(dǎo)致每次關(guān)閉程序再運(yùn)行，graph出現(xiàn)重復(fù)加載的現(xiàn)象。錯(cuò)誤代碼示例：

with tf.Seesion() as session:
  # 在session內(nèi)部加載保存好的graph
  saver = tf.train.import_meta_graph('./CNN_cracks.meta')
  saver.restore(session, "./CNN_cracks")
  # codes

此處，在一次運(yùn)行session時(shí)會(huì)加載一次graph，一次運(yùn)行的時(shí)候沒問(wèn)題，但多次運(yùn)行（調(diào)試時(shí)），每次graph都會(huì)加載到內(nèi)存而不被釋放，因而造成內(nèi)存泄露。

正確的做法如下：

# 用with新建一個(gè)graph，這樣在運(yùn)行完以及異常退出時(shí)就會(huì)釋放內(nèi)存
graph = tf.Gragh()
with graph.as_default():
  saver = tf.train.import_meta_graph('./CNN_cracks.meta')

with tf.Session(graph=graph) as session:
  saver.restore(session, "./CNN_cracks")

2.

一些tensorflow的運(yùn)算似乎也會(huì)修改圖，原因未明。所以在在訓(xùn)練里面把所有屬于tensorflow的運(yùn)算都寫進(jìn)去，運(yùn)行session.run返回的只能是只讀。

##錯(cuò)誤代碼

#訓(xùn)練
graph = tf.Graph()
with graph.as_default():
  #codes
  predict = tf.nn.softmax(model(data))

#預(yù)測(cè)，這里訓(xùn)練文件與預(yù)測(cè)文件是分離的
with tf.Session(graph=graph) as session:
  #codes
  predict = session.run(predict, feed_dict={data: block})
  prediction = tf.argmax(predict, -1) #這里會(huì)對(duì)圖進(jìn)行修改

##正確代碼

#訓(xùn)練
graph = tf.Graph()
with graph.as_default():
  #codes
  predict = tf.argmax(tf.nn.softmax(model(data)), -1)

#預(yù)測(cè)
with tf.Session(graph=graph) as session:
  #codes
  prediction = session.run(predict, feed_dict={data: block})

以上這篇解決Tensorflow 內(nèi)存泄露問(wèn)題就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。

您可能感興趣的文章: