Asynchronous Federated Continual Learning

要約

タイトル：非同期フェデレーテッド継続学習
要約：

– 標準のクラス増分継続学習設定は、固定された順序で1つのタスクを順番に見ることを前提としています。
– しかし、フェデレーテッド学習環境では、各クライアントが異なるタイムフレームで異なるタスクのデータを非同期に取得することができ、順序が相互に無関係であるため、この前提は現実的ではありません。
– そこで、新しいフェデレーテッド学習設定（AFCL）を導入しました。この設定では、各クライアントが異なる順序で異なるタイムスロットで複数のタスクの継続的学習を行います。
– 我々は、プロトタイプベースの学習、表現の損失、フラクタル事前トレーニング、および変更された集計ポリシーを用いて、この新しいタスクに取り組んでいます。
– 結果として、CIFAR-100データセットを用いた3つの異なるフェデレーテッド分割（50、100、500クライアント）において、我々のアプローチ「FedSpace」はこのタスクに効果的に対処していることが示されています。コードとフェデレーテッド分割は、 https://github.com/LTTM/FedSpace で入手可能です。

要約(オリジナル)

The standard class-incremental continual learning setting assumes a set of tasks seen one after the other in a fixed and predefined order. This is not very realistic in federated learning environments where each client works independently in an asynchronous manner getting data for the different tasks in time-frames and orders totally uncorrelated with the other ones. We introduce a novel federated learning setting (AFCL) where the continual learning of multiple tasks happens at each client with different orderings and in asynchronous time slots. We tackle this novel task using prototype-based learning, a representation loss, fractal pre-training, and a modified aggregation policy. Our approach, called FedSpace, effectively tackles this task as shown by the results on the CIFAR-100 dataset using 3 different federated splits with 50, 100, and 500 clients, respectively. The code and federated splits are available at https://github.com/LTTM/FedSpace.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI