Reducing Bias in Federated Class-Incremental Learning with Hierarchical Generative Prototypes

要約

Federated Learning (FL) は、データのプライバシーを保護しながら、複数のデバイス (クライアント) に計算を分散することで、ディープ モデルのトレーニングの負担を軽減することを目的としています。
それに加えて、Federated Continual Learning (FCL) は、時間の経過とともに進化するデータ分散も考慮し、現実世界の環境の動的な性質を反映します。
この研究では、FCL で自然に現れる増分バイアスと連合バイアスに光を当てます。
前者は継続学習における既知の問題であり、最近導入されたクラスの優先順位付けに起因しますが、後者 (つまり、ローカル分布への偏り) は比較的未調査のままです。
私たちの提案は、学習可能なプロンプトを使用して事前トレーニングされたバックボーンを効率的に微調整することにより、最後の層で両方のバイアスを制限し、その結果、クライアントが生成するバイアスの少ない表現と、よりバイアスの高い分類子を生成します。
したがって、パラメーターの集約だけに依存するのではなく、生成プロトタイプも活用して、グローバル モデルの予測のバランスを効果的にとります。
私たちの方法は現在の最先端技術を改良しており、精度が平均 +7.9% 向上しています。

要約(オリジナル)

Federated Learning (FL) aims at unburdening the training of deep models by distributing computation across multiple devices (clients) while safeguarding data privacy. On top of that, Federated Continual Learning (FCL) also accounts for data distribution evolving over time, mirroring the dynamic nature of real-world environments. In this work, we shed light on the Incremental and Federated biases that naturally emerge in FCL. While the former is a known problem in Continual Learning, stemming from the prioritization of recently introduced classes, the latter (i.e., the bias towards local distributions) remains relatively unexplored. Our proposal constrains both biases in the last layer by efficiently fine-tuning a pre-trained backbone using learnable prompts, resulting in clients that produce less biased representations and more biased classifiers. Therefore, instead of solely relying on parameter aggregation, we also leverage generative prototypes to effectively balance the predictions of the global model. Our method improves on the current State Of The Art, providing an average increase of +7.9% in accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google