Guiding The Last Layer in Federated Learning with Pre-Trained Models

要約

統合学習（Federated Learning：FL）は、データを共有することなく、多数の参加者にまたがってモデルを学習することを可能にする新たなパラダイムである。最近の研究では、既存のFLアルゴリズムの初期化ポイントとして、事前に訓練されたモデルを使用することの効果を検討し始めている。しかし、これらのアプローチは、集中学習設定からの効率的な転移学習の膨大な文献を無視している。ここでは、先行研究で検討された事前学習済みモデルからのFL問題を再検討し、それをコンピュータビジョンの転移学習問題一式に拡張する。我々はまず、線形分類ヘッドを単純に当てはめることが、多くの場合において効率的かつ効果的であることを観察する。次に、FL設定において、NCM(Nearest Class Means)を用いた分類器のフィッティングは、既存の提案よりも正確に、かつ桁違いに効率的に行うことができ、同時に強力な性能を得ることができることを示す。最後に、分類器を取得し、モデルを微調整するという2段階のアプローチを用いることで、フェデレーション設定において、迅速な収束と改善された汎化が得られることを示す。本手法が、より優れたモデル性能を達成しつつ、通信コストと計算コストを削減できる可能性を示す。

要約(オリジナル)

Federated Learning (FL) is an emerging paradigm that allows a model to be trained across a number of participants without sharing data. Recent works have begun to consider the effects of using pre-trained models as an initialization point for existing FL algorithms; however, these approaches ignore the vast body of efficient transfer learning literature from the centralized learning setting. Here we revisit the problem of FL from a pre-trained model considered in prior work and expand it to a set of computer vision transfer learning problems. We first observe that simply fitting a linear classification head can be efficient and effective in many cases. We then show that in the FL setting, fitting a classifier using the Nearest Class Means (NCM) can be done exactly and orders of magnitude more efficiently than existing proposals, while obtaining strong performance. Finally, we demonstrate that using a two-phase approach of obtaining the classifier and then fine-tuning the model can yield rapid convergence and improved generalization in the federated setting. We demonstrate the potential our method has to reduce communication and compute costs while achieving better model performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL