聯(lián)邦學習FedAvg中模型聚合過程的理解分析
問題
聯(lián)邦學習原始論文中給出的FedAvg的算法框架為：
參數(shù)介紹： K 表示客戶端的個數(shù)， B表示每一次本地更新時的數(shù)據(jù)量， E 表示本地更新的次數(shù)， η表示學習率。
首先是服務器執(zhí)行以下步驟：
對每一個本地客戶端來說，要做的就是更新本地參數(shù)，具體來講：
- 把自己的數(shù)據(jù)集按照參數(shù)B分成若干個塊，每一塊大小都為B。
- 對每一塊數(shù)據(jù)，需要進行E輪更新：算出該塊數(shù)據(jù)損失的梯度，然后進行梯度下降更新，得到新的本地 w 。
- 更新完后 w w w將被傳送到中央服務器，服務器整合所有客戶端計算出的 w，得到最新的全局模型參數(shù) wt+1
- 客戶端收到服務器發(fā)送的最新全局參數(shù)模型參數(shù)，進行下一次更新。
我們仔細觀察server的最后一步：
聚合
那么針對聚合，就有以下兩種情況。
1. 聚合所有客戶端
服務器端每次將新的全局模型發(fā)送給全部客戶端，并且聚合全部客戶端的模型參數(shù)。如果客戶端未被選中，那么一輪通信結(jié)束后，該客戶端的模型為一輪通信開始時從服務器獲得的初始模型。
設當前全局模型為 wt，服務器選中了 m個客戶端（集合V），m個客戶端本地更新完畢后，服務器端的聚合公式為：
也就是說，每一次聚合時服務器端都將所有客戶端的模型考慮在內(nèi)。
2. 僅聚合被選中的客戶端
服務器每次只是將當前新的參數(shù)傳遞給被選中的模型，并且只是聚合被選中客戶端的模型參數(shù)。
設當前全局模型為 wt，服務器選中了 m 個客戶端（集合V），然后將wt?只發(fā)送給這 m個客戶端。 m m m個客戶端訓練完畢后，服務器端的聚合公式為：
3. 選擇
雖然原始論文中對所有K個客戶端都進行了聚合，但在真正實現(xiàn)時，感覺用第二種會更好一點，因為如果客戶端數(shù)量很龐大，每一次通信都會有不小的代價，用第二種會明顯降低通信成本。
以上就是FedAvg中模型聚合過程的理解分析的詳細內(nèi)容，更多關(guān)于FedAvg模型聚合的資料請關(guān)注腳本之家其它相關(guān)文章！
相關(guān)文章
C/S和B/S兩種架構(gòu)的概念、區(qū)別和聯(lián)系
這篇文章主要介紹了C/S和B/S兩種架構(gòu)的概念、區(qū)別和聯(lián)系,本位還同時講解了主流的Web程序應用平臺、Web工作原理等內(nèi)容,需要的朋友可以參考下2014-09-09
卷積神經(jīng)網(wǎng)絡Inception?V3網(wǎng)絡結(jié)構(gòu)圖
這篇文章主要為大家介紹了卷積神經(jīng)網(wǎng)絡的網(wǎng)絡結(jié)構(gòu)圖Inception?V3的結(jié)構(gòu)圖層詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2022-05-05
最近在 GitHub 上最火的項目是一個對視力友好的十六進制編輯器，它上線僅 5 天就收獲了 2500 star，最近 24 小時漲了 1600 star 量,感興趣的朋友跟隨小編一起看看吧2020-12-12
這篇文章主要給大家介紹了一些關(guān)于爬蟲和反爬蟲的簡略方案的相關(guān)資料，文中介紹的非常詳細，對大家理解和學習爬蟲與反爬蟲具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧。2018-01-01
這篇文章主要為大家介紹了FedAvg中模型聚合過程的理解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2022-05-05
這篇文章主要介紹了2020史上最全IDEA插件總結(jié)，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2020-06-06
xmind?是一款功能強大、易用且具有豐富資源的思維導圖軟件，本文將為您介紹?xmind?的安裝和使用方法，包括基本功能、高級功能、專業(yè)版功能、使用技巧、常見問題等，幫助您快速上手使用?xmind2023-04-04
JetBrains旗下有多款編譯器工具（如：IntelliJ、WebStorm、PyCharm等）在各編程領(lǐng)域幾乎都占據(jù)了壟斷地位。今天給大家分享大批IDEA?激活碼到期之后的亂象，大家可以參考下2020-07-07
vscode中l(wèi)aunch.json和task.json配置教程(重要參數(shù)詳解)
這篇文章主要給大家介紹了關(guān)于vscode中l(wèi)aunch.json和task.json配置(重要參數(shù)詳解)的相關(guān)資料,文中通過圖文介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2023-04-04
這篇文章主要介紹了新型冠狀病毒轉(zhuǎn)二進制的相關(guān)知識，分為java，js，php，pthon等語言的實例代碼,需要的朋友可以參考下2020-02-02