FedFA: Federated Feature Augmentation

要約

連合学習は、生データを交換することなく、複数の関係者が協力して深いモデルをトレーニングできるようにする分散パラダイムです。
ただし、クライアント間のデータ分散は当然、非 i.i.d. であり、学習したモデルの深刻な劣化につながります。
このホワイト ペーパーの主な目標は、さまざまな要因 (たとえば、医用画像の取得の違いなど) によって引き起こされる可能性がある、クライアントのサンプルの特徴の変化に対処するための堅牢なフェデレーテッド ラーニング アルゴリズムを開発することです。
この目標を達成するために、フェデレーテッド機能拡張の明確な観点からフェデレーテッド ラーニングに取り組むために FedFA を提案します。
FedFA は、各クライアントのデータ分布を潜在的特徴の統計 (つまり、平均および標準偏差) によって特徴付けることができるという主要な洞察に基づいています。
そして、これらのローカル統計をグローバルに操作する可能性があります。つまり、フェデレーション全体の情報に基づいて、クライアントが基礎となる分布をよりよく理解できるようにし、ローカルデータの偏りを軽減します。
この洞察に基づいて、正規分布に基づいて確率的に各局所特徴統計を増強することを提案します。正規分布の平均は元の統計であり、分散は増強範囲を定量化します。
私たちのアプローチの鍵は、意味のあるガウス分散の決定です。これは、個々のクライアントの偏ったデータだけでなく、参加しているすべてのクライアントによって特徴付けられる基本的な特徴統計も考慮に入れることによって達成されます。
FedFA の有効性を検証するために、理論的および経験的な正当化の両方を提供します。
コードは https://github.com/tfzhou/FedFA で入手できます。

要約(オリジナル)

Federated learning is a distributed paradigm that allows multiple parties to collaboratively train deep models without exchanging the raw data. However, the data distribution among clients is naturally non-i.i.d., which leads to severe degradation of the learnt model. The primary goal of this paper is to develop a robust federated learning algorithm to address feature shift in clients’ samples, which can be caused by various factors, e.g., acquisition differences in medical imaging. To reach this goal, we propose FedFA to tackle federated learning from a distinct perspective of federated feature augmentation. FedFA is based on a major insight that each client’s data distribution can be characterized by statistics (i.e., mean and standard deviation) of latent features; and it is likely to manipulate these local statistics globally, i.e., based on information in the entire federation, to let clients have a better sense of the underlying distribution and therefore alleviate local data bias. Based on this insight, we propose to augment each local feature statistic probabilistically based on a normal distribution, whose mean is the original statistic and variance quantifies the augmentation scope. Key to our approach is the determination of a meaningful Gaussian variance, which is accomplished by taking into account not only biased data of each individual client, but also underlying feature statistics characterized by all participating clients. We offer both theoretical and empirical justifications to verify the effectiveness of FedFA. Our code is available at https://github.com/tfzhou/FedFA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google