Test-Time Robust Personalization for Federated Learning

要約

フェデレーテッド ラーニング (FL) は、多くのクライアントが分散トレーニング データを使用して共有グローバル モデルを共同で学習する機械学習パラダイムです。
Personalized FL はさらに、グローバル モデルをさまざまなクライアントに適応させ、一貫したローカル トレーニングとテストの配布で有望な結果を達成します。
ただし、実際のパーソナライズされた FL アプリケーションの場合は、さらに一歩進んで、展開中に進化するローカル テスト セットの下で FL モデルを堅牢化することが重要です。この場合、さまざまな配布の変化が発生する可能性があります。
この研究では、テスト時間分布の変化に伴う既存の作業の落とし穴を特定し、さまざまなテスト時間分布の変化に対するロバスト性を備えた FL モデルをパーソナライズする Federated Test-time Head Ensemble plus Tuning (FedTHE+) を提案します。
CIFAR10 および ImageNet 上でさまざまなニューラル アーキテクチャ (CNN、ResNet、および Transformer) をさまざまなテスト ディストリビューションでトレーニングすることにより、強力な競合他社に対する FedTHE+ (およびその計算効率の高いバリアント FedTHE) の進歩を示します。
これに加えて、導入時にパーソナライズされた FL メソッドのパフォーマンスと堅牢性を評価するためのベンチマークを構築します。
コード: https://github.com/LINs-lab/FedTHE。

要約(オリジナル)

Federated Learning (FL) is a machine learning paradigm where many clients collaboratively learn a shared global model with decentralized training data. Personalized FL additionally adapts the global model to different clients, achieving promising results on consistent local training and test distributions. However, for real-world personalized FL applications, it is crucial to go one step further: robustifying FL models under the evolving local test set during deployment, where various distribution shifts can arise. In this work, we identify the pitfalls of existing works under test-time distribution shifts and propose Federated Test-time Head Ensemble plus tuning(FedTHE+), which personalizes FL models with robustness to various test-time distribution shifts. We illustrate the advancement of FedTHE+ (and its computationally efficient variant FedTHE) over strong competitors, by training various neural architectures (CNN, ResNet, and Transformer) on CIFAR10 andImageNet with various test distributions. Along with this, we build a benchmark for assessing the performance and robustness of personalized FL methods during deployment. Code: https://github.com/LINs-lab/FedTHE.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google