FedLPA: One-shot Federated Learning with Layer-Wise Posterior Aggregation

要約

トレーニングされたニューラル ネットワークをローカル クライアントからサーバー上のグローバル モデルに効率的に集約することは、フェデレーション ラーニングにおいて広く研究されているトピックです。
最近、プライバシーへの懸念の軽減、潜在的な攻撃の軽減、通信オーバーヘッドの削減を動機として、ワンショット連合学習 (つまり、クライアントとサーバーの通信を 1 回のラウンドに制限する) が研究者の間で人気を集めています。
ただし、ワンショット集計のパフォーマンスは、一部の現実世界のシナリオでは高い統計的不均一性を示す、非同一のトレーニング データの分布によって敏感に影響を受けます。
この問題に対処するために、FedLPA と呼ばれる、レイヤーごとの事後集約を備えた新しいワンショット集約手法を提案します。
FedLPA はローカル モデルを集約して、追加の補助データセットを必要としたり、ラベル分布などのプライベート ラベル情報を公開したりすることなく、より正確なグローバル モデルを取得します。
実際の非 IID シナリオで偏ったローカル データセットで維持される統計を効果的に取得するために、層ごとのラプラス近似を使用して各ローカル モデルの各層の事後分布を効率的に推論し、それらを集約してグローバル パラメーターをトレーニングします。
広範な実験結果は、FedLPA がいくつかの指標において最先端の方法よりも学習パフォーマンスを大幅に向上させることを示しています。

要約(オリジナル)

Efficiently aggregating trained neural networks from local clients into a global model on a server is a widely researched topic in federated learning. Recently, motivated by diminishing privacy concerns, mitigating potential attacks, and reducing communication overhead, one-shot federated learning (i.e., limiting client-server communication into a single round) has gained popularity among researchers. However, the one-shot aggregation performances are sensitively affected by the non-identical training data distribution, which exhibits high statistical heterogeneity in some real-world scenarios. To address this issue, we propose a novel one-shot aggregation method with layer-wise posterior aggregation, named FedLPA. FedLPA aggregates local models to obtain a more accurate global model without requiring extra auxiliary datasets or exposing any private label information, e.g., label distributions. To effectively capture the statistics maintained in the biased local datasets in the practical non-IID scenario, we efficiently infer the posteriors of each layer in each local model using layer-wise Laplace approximation and aggregate them to train the global parameters. Extensive experimental results demonstrate that FedLPA significantly improves learning performance over state-of-the-art methods across several metrics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google