快捷導(dǎo)航

pytorch多進(jìn)程加速及代碼優(yōu)化方法

更新時(shí)間：2019年08月19日 18:35:54 作者：兢兢業(yè)業(yè)小碼農(nóng)

今天小編就為大家分享一篇pytorch多進(jìn)程加速及代碼優(yōu)化方法。具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧

目標(biāo)：優(yōu)化代碼，利用多進(jìn)程，進(jìn)行近實(shí)時(shí)預(yù)處理、網(wǎng)絡(luò)預(yù)測(cè)及后處理：

本人嘗試了pytorch的multiprocessing，進(jìn)行多進(jìn)程同步處理以上任務(wù)。

from torch.multiprocessing import Pool,Manager

為了進(jìn)行各進(jìn)程間的通信，使用Queue，作為數(shù)據(jù)傳輸載體。

  manager = Manager()
  input_queue = manager.Queue()
  output_queue = manager.Queue()

  show_queue = manager.Queue()

即將預(yù)處理進(jìn)程處理后的圖像放進(jìn) input_queue，而網(wǎng)絡(luò)預(yù)測(cè)進(jìn)程實(shí)時(shí)獲取 input_queue隊(duì)列中的數(shù)據(jù)，一旦放入，就從中取出，輸入網(wǎng)絡(luò)：

while 1：

  input = input_queue.get()

同理，將網(wǎng)絡(luò)輸出放入output_queue，再由后處理進(jìn)程實(shí)時(shí)獲取并進(jìn)行后處理，處理后，放入show_queue

從而實(shí)現(xiàn)了多進(jìn)程同步進(jìn)行預(yù)處理、網(wǎng)絡(luò)預(yù)測(cè)及后處理，加速了網(wǎng)絡(luò)實(shí)時(shí)預(yù)測(cè)的表現(xiàn)。

問(wèn)題及解決方案：

1. pytorch cuda報(bào)錯(cuò)，re-initialization報(bào)錯(cuò)問(wèn)題：

習(xí)慣了在一開(kāi)始將模型先加載進(jìn)來(lái)放入gpu中，所以模型在主線程就完成了初始化，但是調(diào)用網(wǎng)絡(luò)是在網(wǎng)絡(luò)預(yù)測(cè)子進(jìn)程進(jìn)行的，就會(huì)導(dǎo)致跨進(jìn)程重復(fù)初始化失敗。

解決方案：

直接在子進(jìn)程開(kāi)始時(shí)初始化，其他進(jìn)程可以設(shè)置個(gè)延時(shí)，等網(wǎng)絡(luò)初始化好后再開(kāi)始運(yùn)行。

同理，數(shù)據(jù)輸入網(wǎng)絡(luò)也是同樣的在子進(jìn)程進(jìn)行。

2. python3多進(jìn)程編程，子進(jìn)程不報(bào)錯(cuò)問(wèn)題：

一開(kāi)始總是代碼運(yùn)行起來(lái)什么都不出現(xiàn)，就開(kāi)始各種debug，但因?yàn)閜ython3中子進(jìn)程不報(bào)錯(cuò)，出錯(cuò)了就卡在那里，就每次自己找bug很麻煩，所以就急需子進(jìn)程的報(bào)錯(cuò)信息。

解決方案：

用try except組合，來(lái)打印子進(jìn)程中某段程序錯(cuò)誤，如下：

      try:
        out = forward(input_img,model,1)
      except Exception as error:
        print(error)

3.進(jìn)程完全不運(yùn)行時(shí)，考慮是否是輸入設(shè)置的問(wèn)題，即當(dāng)單變量輸入時(shí)，后面要加都好，如：

pool.apply_async(load_frame,args=(input_queue,))

如果是pool.apply_async(load_frame,args=(input_queue))則該進(jìn)程不會(huì)啟動(dòng)運(yùn)行。

4. 一開(kāi)始想優(yōu)化cv2.resize，想用gpu下的tensor的resize_代替，但發(fā)現(xiàn)這種方式和numpy.resize一脈相承啊，根本不是我們想要的resize，如果是變大的話，這種resize會(huì)直接按順序填，然后剩下的就填0，實(shí)在是太草率了。。。

解決方案：還沒(méi)有很好的替代方案，只找了一下，cuda::resize，但是好像貌似沒(méi)有python接口，要是混合編程好像有點(diǎn)小題大做，得不償失了。如果各位有較好的方案，歡迎指點(diǎn)迷津。

以上這篇pytorch多進(jìn)程加速及代碼優(yōu)化方法就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。

您可能感興趣的文章: