Coordinated Replay Sample Selection for Continual Federated Learning

要約

継続的フェデレーテッド ラーニング (CFL) は、データを通信しない可能性がある多数のクライアント デバイス上での中央モデルの分散学習であるフェデレーテッド ラーニング (FL) と、データの継続的なストリームからのモデルの学習である継続的学習 (CL) を組み合わせたものです。
履歴全体を保持せずにデータを保存します。
CL における主な課題は、過去のデータから学んだことを \textit{忘れてしまう}ことです。
過去のトレーニング データの小さなプールを保持するリプレイベースのアルゴリズムは、忘却を減らすのに効果的ですが、これまでの研究では単純なリプレイ サンプル選択戦略のみが CFL に適用されており、サンプル選択を改善するためのクライアント間の調整について検討した以前の研究はありませんでした。
このギャップを埋めるために、損失勾配ダイバーシティに基づく再生サンプル選択目標を CFL に適応させ、目標を最適化するための新しい緩和ベースのサンプル選択を提案します。
次に、プライベート データを通信することなく、クライアント間で勾配ベースの再生サンプル選択を調整する実用的なアルゴリズムを提案します。
大規模な匿名化された現実世界のテキスト データセットでトレーニングされた言語モデルを使用して、ランダム サンプリング ベースのベースラインに対して調整および非調整リプレイ サンプル選択アルゴリズムをベンチマークします。
勾配ベースのサンプル選択方法は、ランダム サンプリング方法と比較してパフォーマンスを向上させ、忘却を低減することを示します。調整方法では、低再生サイズ領域 (過去のデータを保存するための予算が小さい場合) の早い段階で利益が得られることが示されています。

要約(オリジナル)

Continual Federated Learning (CFL) combines Federated Learning (FL), the decentralized learning of a central model on a number of client devices that may not communicate their data, and Continual Learning (CL), the learning of a model from a continual stream of data without keeping the entire history. In CL, the main challenge is \textit{forgetting} what was learned from past data. While replay-based algorithms that keep a small pool of past training data are effective to reduce forgetting, only simple replay sample selection strategies have been applied to CFL in prior work, and no previous work has explored coordination among clients for better sample selection. To bridge this gap, we adapt a replay sample selection objective based on loss gradient diversity to CFL and propose a new relaxation-based selection of samples to optimize the objective. Next, we propose a practical algorithm to coordinate gradient-based replay sample selection across clients without communicating private data. We benchmark our coordinated and uncoordinated replay sample selection algorithms against random sampling-based baselines with language models trained on a large scale de-identified real-world text dataset. We show that gradient-based sample selection methods both boost performance and reduce forgetting compared to random sampling methods, with our coordination method showing gains early in the low replay size regime (when the budget for storing past data is small).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google