Elastically-Constrained Meta-Learner for Federated Learning

要約

フェデレーテッド ラーニングは、データ共有を禁止しながら、複数の関係者向けに機械学習モデルを共同でトレーニングするアプローチです。
単一のモデルではすべてのクライアントのデータ分散に適合できないため、フェデレーテッド ラーニングにおける課題の 1 つはクライアント間の非 IID データです。
この課題に対処するために、Per-FedAvg などのメタ学習が導入されています。
メタ学習は、すべてのクライアントの共有初期パラメータを学習します。
各クライアントは勾配降下法を使用して初期化をローカル データ分布に迅速に適応させ、モデルのパーソナライゼーションを実現します。
ただし、非凸損失関数とサンプリング更新のランダム性により、メタ学習アプローチでは、同じクライアントに対する局所適応における目標が不安定になります。
異なる適応方向におけるこの変動は、メタ学習の収束を妨げます。
この課題を克服するために、過去の局所適応モデルを使用して内側ループの方向を制限し、弾性拘束法を提案します。
その結果、現在のラウンドの内部ループは過去の目標を維持し、より良いソリューションに適応します。
実験では、私たちの方法が追加の計算やコミュニケーションを必要とせずにメタ学習の収束を高め、パーソナライゼーションを向上させることが示されています。
私たちの手法は、3 つの公開データセットのすべてのメトリクスで SOTA を達成しました。

要約(オリジナル)

Federated learning is an approach to collaboratively training machine learning models for multiple parties that prohibit data sharing. One of the challenges in federated learning is non-IID data between clients, as a single model can not fit the data distribution for all clients. Meta-learning, such as Per-FedAvg, is introduced to cope with the challenge. Meta-learning learns shared initial parameters for all clients. Each client employs gradient descent to adapt the initialization to local data distributions quickly to realize model personalization. However, due to non-convex loss function and randomness of sampling update, meta-learning approaches have unstable goals in local adaptation for the same client. This fluctuation in different adaptation directions hinders the convergence in meta-learning. To overcome this challenge, we use the historical local adapted model to restrict the direction of the inner loop and propose an elastic-constrained method. As a result, the current round inner loop keeps historical goals and adapts to better solutions. Experiments show our method boosts meta-learning convergence and improves personalization without additional calculation and communication. Our method achieved SOTA on all metrics in three public datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google