前言

題目： Survey of Personalization Techniques for FederatedLearning

會議： 2020 Fourth World Conference on Smart Trends in Systems, Security and Sustainability (WorldS4)

論文地址：Survey of Personalization Techniques for FederatedLearning

前面講到，客戶端由于本地數(shù)據(jù)不足，無法通過自己的數(shù)據(jù)訓練得到一個較好的模型，因此客戶端需要參與聯(lián)邦學習來獲得一個全局共享模型。但由于各個客戶端間數(shù)據(jù)的非獨立同分布，全局模型在某些客戶端上表現(xiàn)可能并不好，并且如果客戶端自己擁有足夠數(shù)據(jù)，他們是否還有必要參與聯(lián)邦學習呢？

在這種情況下，個性化聯(lián)邦學習應運而生。所謂個性化，是指對全局共享模型進行改進，改進后的模型相比于全局模型和本地模型，可能更適合客戶端。

本文主要總結了七種個性化技術：添加用戶上下文、遷移學習、多任務學習、元學習、知識蒸餾、基礎+個性化層、全局模型和本地模型混合。其中有一些技術后期會有專門的論文解讀來對其進行介紹。

摘要

聯(lián)邦學習通常為所有客戶端生成一個全局共享模型，但由于數(shù)據(jù)在設備間的非IID分布，統(tǒng)計上的異質(zhì)性經(jīng)常導致這樣的情況：對于一些客戶來說，僅根據(jù)其私有數(shù)據(jù)訓練的本地模型比全局共享模型表現(xiàn)更好。目前已經(jīng)提出了一些技術來個性化全局模型，以便更好地為個人客戶工作，本文調(diào)查了最近關于這一主題的研究。

I. 引言

許多數(shù)據(jù)集本質(zhì)上是分散的，在聯(lián)邦學習中，這些數(shù)據(jù)分布在各個客戶端。傳統(tǒng)的機器學習將這些客戶端的數(shù)據(jù)樣本聚集到一個中央存儲庫中，并在此基礎上訓練機器學習模型。將數(shù)據(jù)從本地設備轉移到中央存儲庫帶來了兩個關鍵挑戰(zhàn)。首先，它損害了數(shù)據(jù)的隱私性和安全性。其次，它增加了通信開銷。作為一種解決方案，聯(lián)邦學習使多個用戶(即客戶端)能夠在他們的集體數(shù)據(jù)上協(xié)作地訓練出一個共享的全局模型，而無需將數(shù)據(jù)從本地設備中移動。

客戶端參與聯(lián)邦學習的主要動機是獲得更好的模型?？蛻舳巳绻麤]有足夠的私人數(shù)據(jù)來開發(fā)準確的本地模型，就可以從聯(lián)邦學習的模型中獲益。然而，對于有足夠私人數(shù)據(jù)來訓練準確的本地模型的客戶來說，參與聯(lián)邦學習是否有好處是有爭議的。對于許多應用程序來說，跨客戶端的數(shù)據(jù)分布是非IID的，這種統(tǒng)計上的異質(zhì)性使得很難訓練出適用于所有客戶的全局共享模型。

本文的目的是調(diào)查最近關于在聯(lián)邦學習環(huán)境中為客戶建立個性化模型的研究，這些模型預期比全局共享模型或本地個體模型表現(xiàn)更好。

II. 個性化需求

Wu等人總結了聯(lián)邦學習系統(tǒng)在個性化方面面臨的三個挑戰(zhàn)：

存儲、計算和通信能力方面的設備異質(zhì)性。數(shù)據(jù)非IID分布導致的數(shù)據(jù)異質(zhì)性。模型異質(zhì)性：不同的客戶需要針對其環(huán)境定制模型的情況。

為了應對數(shù)據(jù)的統(tǒng)計異質(zhì)性和非IID分布所帶來的挑戰(zhàn)，需要對全局模型進行個性化處理，大多數(shù)個性化技術通常包含兩個離散的步驟：

以協(xié)作的方式建立一個全局模型。使用客戶端的私有數(shù)據(jù)來個性化全局模型。

為了使聯(lián)邦學習個性化在實踐中有用，以下三個目標必須同時解決，而不是獨立解決：

開發(fā)改進的個性化模型，使大多數(shù)客戶受益。開發(fā)一種準確的全局模式，使那些私人數(shù)據(jù)有限的客戶受益。在少量訓練輪次內(nèi)實現(xiàn)模型快速收斂。

III. 方法

本節(jié)介紹為客戶端調(diào)整全局共享模型的方法。

A. 添加用戶上下文

如果客戶的上下文和個人信息被適當?shù)靥卣骰⒓{入數(shù)據(jù)集，共享的全局模型也可以生成高度個性化的預測。然而，大多數(shù)公共數(shù)據(jù)集并不包含上下文特征，開發(fā)有效整合上下文的技術仍然是一個重要的開放問題。

作為單個全局模型和純本地模型之間的一種中間方法，Masour等人提出了用戶聚類的建議，將類似的客戶端分組在一起，并為每個組訓練一個單獨的模型。

B. 遷移學習

遷移學習使深度學習模型能夠利用解決一個問題時獲得的知識來解決另一個相關問題。

在一些論文中提供了一個具有泛化保證的學習理論框架：遷移學習利用經(jīng)過訓練的全局模型的參數(shù)對局部數(shù)據(jù)進行初始化訓練，從而利用全局模型提取的知識，而不是從頭學習。為了避免災難性遺忘的問題，必須注意不要在本地數(shù)據(jù)上對模型進行過長時間的再訓練。我們可以采用一種變體技術凍結全局模型的基礎層，并僅在局部數(shù)據(jù)上重新訓練最頂層。

C. 多任務學習

在多任務學習中，同時解決多個相關任務，使得模型可以通過聯(lián)邦學習來挖掘任務之間的共性和差異。Smith等人的研究表明，多任務學習是建立個性化聯(lián)邦模型的自然選擇，他們在聯(lián)邦設置中開發(fā)了用于多任務學習的MOCHA算法，以解決與通信、掉隊和容錯相關的挑戰(zhàn)。在聯(lián)邦設置中使用多任務學習的一個缺點是，由于它為每個任務生成一個模型，因此所有客戶端都必須參與每一輪。

D. 元學習

元學習中需要對多個學習任務進行訓練，以生成高適應性的模型，這些模型可以通過少量的訓練實例進一步學習解決新任務。Finn提出了一種模型無關的元學習(MAML)算法，該算法與使用梯度下降訓練的任何模型都兼容。MAML構建一個通常適用于多個任務的內(nèi)部表示，因此為新任務微調(diào)頂層可以產(chǎn)生良好的結果。

MAML分兩個階段進行：元訓練和元測試。元訓練在多個任務上構建全局模型，而元測試則針對不同的任務分別調(diào)整全局模型。如果我們將聯(lián)邦學習過程視為元訓練，將個性化過程視為元測試，那么FedAVG就與一種流行的MAML算法Reptile非常相似。

E. 知識蒸餾

一些研究證明，可以將一個模型集合的知識壓縮成一個更容易部署的模型。知識蒸餾通過讓學生模仿教師，將一個大型教師網(wǎng)絡中的知識提取到一個較小的學生網(wǎng)絡中。在個性化過程中，過度擬合是一個重要的挑戰(zhàn)，特別是對于本地數(shù)據(jù)集較小的客戶。鑒于此，Yu提出將全局共享模型作為教師，將個性化模型作為學生，這樣就可以減輕個性化過程中過擬合的影響。Li等人提出了FedMD，這是一個基于知識蒸餾和遷移學習的聯(lián)邦學習框架，允許客戶使用本地私有數(shù)據(jù)集和全局公共數(shù)據(jù)集獨立設計自己的網(wǎng)絡。

F. 基礎+個性化層

為了緩解各個客戶端數(shù)據(jù)分布差異的影響，一些人提出了FedPer：一種神經(jīng)網(wǎng)絡體系結構，其中基礎層通過FedAvg進行集中訓練，而頂層(也稱為個性化層)通過梯度下降的變體進行局部訓練。

FedPer與遷移學習的不同：

在遷移學習中，所有層首先在全局數(shù)據(jù)上訓練，然后在局部數(shù)據(jù)上重新訓練所有或部分層。FedPer在全局數(shù)據(jù)上訓練基礎層，在局部數(shù)據(jù)上訓練個性化層。

G. 全局模型和本地模型混合

為了尋求全局模型和本地模型間的權衡，每個客戶端學習到的應該不是單一的全局模型，而是全局模型和它自己的本地模型的混合。為了解決這一問題，Hanzely提出了一種新的梯度下降法——無環(huán)局部梯度下降法(LLGD)。LLGD只采取步驟求平均，而不是執(zhí)行完全平均。

IV. 總結

聯(lián)邦學習中，當本地數(shù)據(jù)集很小且數(shù)據(jù)分布為IID時，全局模型通常優(yōu)于本地模型，并且大多數(shù)客戶端都能從參與聯(lián)邦學習過程中受益。但是，當客戶端有足夠多的私有數(shù)據(jù)集且數(shù)據(jù)分布為非IID時，本地模型通常比共享的全局模型表現(xiàn)出更好的性能，那么客戶端就沒有參與聯(lián)邦學習的動機。

鑒于此，我們有必要對客戶端建立個性化模型，這些模型預期比全局共享模型或本地個體模型表現(xiàn)更好。

以上就是知識蒸餾聯(lián)邦學習的個性化技術綜述的詳細內(nèi)容，更多關于聯(lián)邦學習的資料請關注腳本之家其它相關文章！

最新評論