欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Pytorch 如何加速Dataloader提升數(shù)據(jù)讀取速度

 更新時間:2021年05月28日 09:23:29   作者:MKFMIKU  
這篇文章主要介紹了Pytorch 加速Dataloader提升數(shù)據(jù)讀取速度的操作,具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教

在利用DL解決圖像問題時,影響訓練效率最大的有時候是GPU,有時候也可能是CPU和你的磁盤。

很多設計不當?shù)娜蝿?,在訓練神?jīng)網(wǎng)絡的時候,大部分時間都是在從磁盤中讀取數(shù)據(jù),而不是做 Backpropagation 。

這種癥狀的體現(xiàn)是使用 Nividia-smi 查看 GPU 使用率時,Memory-Usage 占用率很高,但是 GPU-Util 時常為 0% ,如下圖所示:

如何解決這種問題呢?

在 Nvidia 提出的分布式框架 Apex 里面,我們在源碼里面找到了一個簡單的解決方案:

https://github.com/NVIDIA/apex/blob/f5cd5ae937f168c763985f627bbf850648ea5f3f/examples/imagenet/main_amp.py#L256 ​

class data_prefetcher():
    def __init__(self, loader):
        self.loader = iter(loader)
        self.stream = torch.cuda.Stream()
        self.mean = torch.tensor([0.485 * 255, 0.456 * 255, 0.406 * 255]).cuda().view(1,3,1,1)
        self.std = torch.tensor([0.229 * 255, 0.224 * 255, 0.225 * 255]).cuda().view(1,3,1,1)
        # With Amp, it isn't necessary to manually convert data to half.
        # if args.fp16:
        #     self.mean = self.mean.half()
        #     self.std = self.std.half()
        self.preload()

    def preload(self):
        try:
            self.next_input, self.next_target = next(self.loader)
        except StopIteration:
            self.next_input = None
            self.next_target = None
            return
        with torch.cuda.stream(self.stream):
            self.next_input = self.next_input.cuda(non_blocking=True)
            self.next_target = self.next_target.cuda(non_blocking=True)
            # With Amp, it isn't necessary to manually convert data to half.
            # if args.fp16:
            #     self.next_input = self.next_input.half()
            # else:
            self.next_input = self.next_input.float()
            self.next_input = self.next_input.sub_(self.mean).div_(self.std)

我們能看到 Nvidia 是在讀取每次數(shù)據(jù)返回給網(wǎng)絡的時候,預讀取下一次迭代需要的數(shù)據(jù),

那么對我們自己的訓練代碼只需要做下面的改造:

training_data_loader = DataLoader(
    dataset=train_dataset,
    num_workers=opts.threads,
    batch_size=opts.batchSize,
    pin_memory=True,
    shuffle=True,
)
for iteration, batch in enumerate(training_data_loader, 1):
    # 訓練代碼

#-------------升級后---------

data, label = prefetcher.next()
iteration = 0
while data is not None:
    iteration += 1
    # 訓練代碼
    data, label = prefetcher.next()

這樣子我們的 Dataloader 就像打了雞血一樣提高了效率很多,如下圖:

當然,最好的解決方案還是從硬件上,把讀取速度慢的機械硬盤換成 NVME 固態(tài)吧~

補充:Pytorch設置多線程進行dataloader時影響GPU運行

使用PyTorch設置多線程(threads)進行數(shù)據(jù)讀取時,其實是假的多線程,他是開了N個子進程(PID是連續(xù)的)進行模擬多線程工作。

以載入cocodataset為例

DataLoader

dataloader = torch.utils.data.DataLoader(COCODataset(config["train_path"],
                                                     (config["img_w"], config["img_h"]),
                                                     is_training=True),
                                         batch_size=config["batch_size"],
                                         shuffle=True, num_workers=32, pin_memory=True)

numworkers就是指定多少線程的參數(shù),原為32。

檢查GPU是否運行該程序

查看運行在gpu上的所有程序:

fuser -v /dev/nvidia*

如果沒有返回,則該程序并沒有在GPU上運行

指定GPU運行

將num_workers改成0即可

以上為個人經(jīng)驗,希望能給大家一個參考,也希望大家多多支持腳本之家。

相關文章

  • OpenCV3.0+Python3.6實現(xiàn)特定顏色的物體追蹤

    OpenCV3.0+Python3.6實現(xiàn)特定顏色的物體追蹤

    這篇文章主要為大家詳細介紹了OpenCV3.0+Python3.6實現(xiàn)特定顏色的物體追蹤,具有一定的參考價值,感興趣的小伙伴們可以參考一下
    2019-07-07
  • Python Selenium中常用的元素定位方法總結

    Python Selenium中常用的元素定位方法總結

    在Web自動化測試中,元素定位是一項非常重要的技術,Python Selenium提供了各種元素定位方法,可以幫助我們定位頁面上的元素并與之交互,本文將詳細介紹Python Selenium中常用的元素定位方法,并提供實例代碼,需要的朋友可以參考下
    2023-11-11
  • 詳解python websocket獲取實時數(shù)據(jù)的幾種常見鏈接方式

    詳解python websocket獲取實時數(shù)據(jù)的幾種常見鏈接方式

    這篇文章主要介紹了詳解python websocket獲取實時數(shù)據(jù)的幾種常見鏈接方式,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧
    2019-07-07
  • python解析xml文件實例分享

    python解析xml文件實例分享

    這篇文章主要介紹了python解析XML文件的方法,大家參考使用吧
    2013-12-12
  • Python刪除指定字符之前或之后所有內(nèi)容的方法

    Python刪除指定字符之前或之后所有內(nèi)容的方法

    本文主要介紹了Python刪除指定字符之前或之后所有內(nèi)容的方法,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧
    2023-03-03
  • Python動態(tài)導入模塊和反射機制詳解

    Python動態(tài)導入模塊和反射機制詳解

    這篇文章主要介紹了Python動態(tài)導入模塊和反射機制詳解,需要的朋友可以參考下
    2020-02-02
  • 一篇文章教你用Python繪畫一個太陽系

    一篇文章教你用Python繪畫一個太陽系

    這篇文章主要給大家介紹了關于如何利用Python繪畫一個太陽系,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧
    2021-10-10
  • Python Numpy中數(shù)組的集合操作詳解

    Python Numpy中數(shù)組的集合操作詳解

    這篇文章主要為大家詳細介紹了Python Numpy中數(shù)組的一些集合操作方法,文中的示例代碼講解詳細,對我們學習Python有一定幫助,需要的可以參考一下
    2022-08-08
  • Python3搭建http服務器的實現(xiàn)代碼

    Python3搭建http服務器的實現(xiàn)代碼

    這篇文章主要介紹了Python3搭建http服務器的實現(xiàn)代碼,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧
    2020-02-02
  • pytorch中LN(LayerNorm)及Relu和其變相的輸出操作

    pytorch中LN(LayerNorm)及Relu和其變相的輸出操作

    這篇文章主要介紹了pytorch中LN(LayerNorm)及Relu和其變相的輸出操作,具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教
    2021-05-05

最新評論