MEGA: Second-Order Gradient Alignment for Catastrophic Forgetting Mitigation in GFSCIL

要約

グラフショットクラスインクリメンタル学習（GFSCIL）により、モデルは、大規模なベースデータセットでの最初のトレーニング後、新しいタスクの限られたサンプルから継続的に学習できます。
既存のGFSCILアプローチは、通常、メトリックベースのクラス表現にプロトタイプネットワーク（PNS）を利用し、増分学習段階でモデルを微調整します。
ただし、これらのPNベースの方法は、新しいクエリセット微調整を介して学習を単純化し、アーキテクチャの制約によりグラフ継続学習（GCL）技術を統合できません。
これらの課題に対処するために、インクリメンタルトレーニングフェーズ中にクエリセットを除外するGFSCILのより厳密で実用的な設定を提案します。
この基盤に基づいて、GFSCILの壊滅的な忘却を効果的に緩和することを目的とした、モデルに依存しないメタグラフ継続学習（MEGA）を導入します。
具体的には、メタトレーニング段階で増分2次勾配を計算することにより、モデルに授与し、メタトレーニングおよび増分学習段階の両方で動作を整列させることにより、増分学習を強化する高品質のプライアーを学習します。
4つの主流グラフデータセットでの広範な実験は、MEGAが最新の結果を達成し、GFSCILのさまざまなGCLメソッドの有効性を高めることを示しています。
提案されたメガは、モデルに依存しないGFSCILパラダイムとして機能し、将来の研究への道を開いていると考えています。

要約(オリジナル)

Graph Few-Shot Class-Incremental Learning (GFSCIL) enables models to continually learn from limited samples of novel tasks after initial training on a large base dataset. Existing GFSCIL approaches typically utilize Prototypical Networks (PNs) for metric-based class representations and fine-tune the model during the incremental learning stage. However, these PN-based methods oversimplify learning via novel query set fine-tuning and fail to integrate Graph Continual Learning (GCL) techniques due to architectural constraints. To address these challenges, we propose a more rigorous and practical setting for GFSCIL that excludes query sets during the incremental training phase. Building on this foundation, we introduce Model-Agnostic Meta Graph Continual Learning (MEGA), aimed at effectively alleviating catastrophic forgetting for GFSCIL. Specifically, by calculating the incremental second-order gradient during the meta-training stage, we endow the model to learn high-quality priors that enhance incremental learning by aligning its behaviors across both the meta-training and incremental learning stages. Extensive experiments on four mainstream graph datasets demonstrate that MEGA achieves state-of-the-art results and enhances the effectiveness of various GCL methods in GFSCIL. We believe that our proposed MEGA serves as a model-agnostic GFSCIL paradigm, paving the way for future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google