關(guān)于Tensorflow分布式并行策略
tensorFlow中主要包括了三種不同的并行策略，其分別是數(shù)據(jù)并行、模型并行、模型計(jì)算流水線并行，具體參考Tenssorflow白皮書，在接下來(lái)分別簡(jiǎn)單介紹三種并行策略的原理。
數(shù)據(jù)并行
一個(gè)簡(jiǎn)單的加速訓(xùn)練的技術(shù)是并行地計(jì)算梯度，然后更新相應(yīng)的參數(shù)。數(shù)據(jù)并行又可以根據(jù)其更新參數(shù)的方式分為同步數(shù)據(jù)并行和異步數(shù)據(jù)并行，同步的數(shù)據(jù)并行方式如圖所示，tensorflow圖有著很多的部分圖模型計(jì)算副本，單一的客戶端線程驅(qū)動(dòng)整個(gè)訓(xùn)練圖，來(lái)自不同的設(shè)備的數(shù)據(jù)需要進(jìn)行同步更新。這種方式在實(shí)現(xiàn)時(shí)，主要的限制就是每一次更新都是同步的，其整體計(jì)算時(shí)間取決于性能最差的那個(gè)設(shè)備。
數(shù)據(jù)并行還有異步的實(shí)現(xiàn)方式，如圖所示，與同步方式不同的是，在處理來(lái)自不同設(shè)備的數(shù)據(jù)更新時(shí)進(jìn)行異步更新，不同設(shè)備之間互不影響，對(duì)于每一個(gè)圖副本都有一個(gè)單獨(dú)的客戶端線程與其對(duì)應(yīng)。在這樣的實(shí)現(xiàn)方式下，即使有部分設(shè)備性能特別差甚至中途退出訓(xùn)練，對(duì)訓(xùn)練結(jié)果和訓(xùn)練效率都不會(huì)造成太大影響。但是由于設(shè)備間互不影響，所以在更新參數(shù)時(shí)可能其他設(shè)備已經(jīng)更好的更新過(guò)了，所以會(huì)造成參數(shù)的抖動(dòng)，但是整體的趨勢(shì)是向著最好的結(jié)果進(jìn)行的。所以說(shuō)這種方式更適用于數(shù)據(jù)量大，更新次數(shù)多的情況。
模型并行
一個(gè)模型并行訓(xùn)練的例子如圖所示，其針對(duì)的訓(xùn)練對(duì)象是同一批樣本數(shù)據(jù)，但是將不同的模型計(jì)算部分分布在不同的計(jì)算設(shè)備上同時(shí)執(zhí)行。
模型計(jì)算流水線并行
此并行方式主要針對(duì)在同一個(gè)設(shè)備中并發(fā)實(shí)現(xiàn)模型的計(jì)算，如圖是其并發(fā)計(jì)算步驟，可以發(fā)現(xiàn)它實(shí)際上與異步數(shù)據(jù)并行有些相似，但是唯一不同的是此方式的并行發(fā)生在同一個(gè)設(shè)備上，而不是在不同的設(shè)備之間。并且在計(jì)算一批簡(jiǎn)單的樣例時(shí)，允許進(jìn)行“填充間隙”，這可以充分利用空閑的設(shè)備資源。
以上這篇關(guān)于Tensorflow分布式并行策略就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
pandas實(shí)現(xiàn)excel表格處理并讀取指定sheet的方法
這篇文章主要介紹了pandas實(shí)現(xiàn)excel表格處理并讀取指定sheet的方法,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2024-02-02
Python?PEP8?代碼規(guī)范常見(jiàn)問(wèn)題及解決方法
最近換成?PyCharm?寫代碼總是會(huì)出現(xiàn)波浪號(hào),這才了解到?Python?的?PEP8?代碼規(guī)范,所以將常見(jiàn)的?PEP8?代碼規(guī)范問(wèn)題和解決方法記錄一下,養(yǎng)成良好的習(xí)慣,編寫規(guī)范的代碼2023-09-09
python實(shí)現(xiàn)集中式的病毒掃描功能詳解
這篇文章主要介紹了python實(shí)現(xiàn)集中式的病毒掃描功能,結(jié)合實(shí)例形式分析了Python集中式的病毒掃描相關(guān)原理、實(shí)現(xiàn)方法與操作注意事項(xiàng),需要的朋友可以參考下2019-07-07
Python結(jié)合ImageMagick實(shí)現(xiàn)多張圖片合并為一個(gè)pdf文件的方法
這篇文章主要介紹了Python結(jié)合ImageMagick實(shí)現(xiàn)多張圖片合并為一個(gè)pdf文件的方法,結(jié)合實(shí)例形式分析了Python將圖片文件轉(zhuǎn)換為pdf文件的相關(guān)操作技巧,需要的朋友可以參考下2018-04-04
這篇文章主要介紹了python傳遞參數(shù)方式,實(shí)例總結(jié)了Python常用的參數(shù)傳遞方式,具有一定參考借鑒價(jià)值,需要的朋友可以參考下2015-04-04
Python中DataFrame判斷兩列數(shù)據(jù)是否相等的方法
本文主要介紹了DataFrame判斷兩列數(shù)據(jù)是否相等的方法，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2023-04-04
pyqt5之將textBrowser的內(nèi)容寫入txt文檔的方法
今天小編就為大家分享一篇pyqt5之將textBrowser的內(nèi)容寫入txt文檔的方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-06-06
20招讓你的 Python飛起來(lái)！這篇文章主要為大家詳細(xì)介紹了Python性能優(yōu)化的20條建議，感興趣的小伙伴們可以參考一下2016-09-09
pyqt實(shí)現(xiàn).ui文件批量轉(zhuǎn)換為對(duì)應(yīng).py文件腳本
今天小編就為大家分享一篇pyqt實(shí)現(xiàn).ui文件批量轉(zhuǎn)換為對(duì)應(yīng).py文件腳本，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-06-06
python3 破解 geetest（極驗(yàn)）的滑塊驗(yàn)證碼功能
這篇文章主要介紹了python3 破解 geetest（極驗(yàn)）的滑塊驗(yàn)證碼功能,本文通過(guò)實(shí)例代碼給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2018-02-02