FAM: fast adaptive federated meta-learning

要約

本研究では、単一のグローバルモデルを協調学習し、その後個々のクライアントでローカルにパーソナライズできる、高速適応連合メタ学習（FAM）フレームワークを提案する。連合学習は、データを共有することなく、複数のクライアントが協力してモデルを学習することを可能にする。データが不十分なクライアントやデータの多様性があるクライアントが連合学習に参加することで、より優れた性能を持つモデルを学習することができる。しかし、データの分布が乖離すると、学習が困難になる。クライアント固有の情報を用いて適応可能なグローバルモデルを学習し、クライアントにパーソナライズされたモデルを作成する必要がある。MRIデータはこの問題に悩まされている。1つは、データ取得の課題により、正確なモデルを学習するためには、サイトのローカルデータで十分であること、2つ目は、プライバシーの懸念によりデータの共有に制限があること、3つ目は、クライアントのサイト間でドメインがシフトすることを考慮して、学習された共有グローバルモデルのパーソナライゼーションが必要であることである。グローバルモデルは疎であり、MRIに共通する特徴を捉える。このスケルトンネットワークを各クライアントで成長させ、ローカルデータからクライアント固有のパラメータを追加学習することで、パーソナライズされたモデルを学習する。実験の結果、各クライアントにおけるパーソナライズ化プロセスは、限られたエポック数で速やかに収束することが示された。パーソナライズされたクライアントモデルはローカルに学習されたモデルを上回り、FAMメカニズムの有効性が実証された。さらに、連携学習中に通信される疎なパラメータセットにより、通信オーバーヘッドが大幅に削減され、リソースが限られたネットワークでも実行可能な方式となった。

要約(オリジナル)

In this work, we propose a fast adaptive federated meta-learning (FAM) framework for collaboratively learning a single global model, which can then be personalized locally on individual clients. Federated learning enables multiple clients to collaborate to train a model without sharing data. Clients with insufficient data or data diversity participate in federated learning to learn a model with superior performance. Nonetheless, learning suffers when data distributions diverge. There is a need to learn a global model that can be adapted using client’s specific information to create personalized models on clients is required. MRI data suffers from this problem, wherein, one, due to data acquisition challenges, local data at a site is sufficient for training an accurate model and two, there is a restriction of data sharing due to privacy concerns and three, there is a need for personalization of a learnt shared global model on account of domain shift across client sites. The global model is sparse and captures the common features in the MRI. This skeleton network is grown on each client to train a personalized model by learning additional client-specific parameters from local data. Experimental results show that the personalization process at each client quickly converges using a limited number of epochs. The personalized client models outperformed the locally trained models, demonstrating the efficacy of the FAM mechanism. Additionally, the sparse parameter set to be communicated during federated learning drastically reduced communication overhead, which makes the scheme viable for networks with limited resources.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL