Addressing Spatial-Temporal Data Heterogeneity in Federated Continual Learning via Tail Anchor

要約

フェデレーテッド継続学習 (FCL) により、各クライアントはタスク ストリームから知識を継続的に更新できるため、現実世界のシナリオにおけるフェデレーテッド ラーニングの適用可能性が高まります。
ただし、FCL はクライアント間の空間的データの異質性だけでなく、タスク間の時間的データの異質性にも対処する必要があります。
この論文では、このような入力レベルの不均一性がモデルの内部パラメータと出力に大きな影響を与え、局所的および以前の知識の時空間的かつ壊滅的な忘却につながることを実証実験により実証しています。
この目的を達成するために、トレーニング可能なテール アンカーと凍結された出力特徴を組み合わせて特徴空間内の位置を調整し、それによってパラメーターの忘却と出力の忘却を克服する Federated Tail Anchor (FedTA) を提案します。
さらに、FedTA には 3 つの新しいコンポーネントも含まれています。下流のタスクで事前トレーニングされたモデルのパフォーマンスを向上させるための入力強化。
サーバー側で異種のローカル知識を融合するための選択的入力知識融合。
特徴空間内の各クラスに最適なアンカー ポイントを見つけるための最適なグローバル プロトタイプの選択。
広範な実験により、FedTA は既存の FCL 手法より優れているだけでなく、特徴の相対位置を効果的に保存し、空間的および時間的変化の影響を受けないことが実証されました。

要約(オリジナル)

Federated continual learning (FCL) allows each client to continually update its knowledge from task streams, enhancing the applicability of federated learning in real-world scenarios. However, FCL needs to address not only spatial data heterogeneity between clients but also temporal data heterogeneity between tasks. In this paper, empirical experiments demonstrate that such input-level heterogeneity significantly affects the model’s internal parameters and outputs, leading to severe spatial-temporal catastrophic forgetting of local and previous knowledge. To this end, we propose Federated Tail Anchor (FedTA) to mix trainable Tail Anchor with the frozen output features to adjust their position in the feature space, thereby overcoming parameter-forgetting and output-forgetting. Moreover, three novel components are also included in FedTA: Input Enhancement for improving the performance of pre-trained models on downstream tasks; Selective Input Knowledge Fusion for fusion of heterogeneous local knowledge on the server side; and Best Global Prototype Selection for finding the best anchor point for each class in the feature space. Extensive experiments demonstrate that FedTA not only outperforms existing FCL methods but also effectively preserves the relative positions of features, remaining unaffected by spatial and temporal changes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google