GUIDE: Guidance-based Incremental Learning with Diffusion Models

要約

GUIDE は、拡散モデルに忘れ去られる危険があるサンプルをリハーサルするよう指示する、新しい継続的学習アプローチです。
既存の生成戦略は、生成モデルからリハーサル例をランダムにサンプリングすることで壊滅的な忘却と闘っています。
このようなアプローチは、サンプリング戦略が重要な役割を果たすバッファベースのアプローチとは矛盾します。
私たちは、拡散モデルを分類子ガイダンス技術と統合して、継続的にトレーニングされたモデルによって忘れられた情報を特にターゲットにしたリハーサル例を作成することで、このギャップを埋めることを提案します。
このアプローチにより、最近遭遇したクラスのコンテキストで誤分類される可能性がより高い、先行するタスク分布からのサンプルの生成が可能になります。
私たちの実験結果は、GUIDE が壊滅的な忘却を大幅に軽減し、従来のランダム サンプリング アプローチを上回り、生成再生による継続学習において最近の最先端の手法を上回っていることを示しています。

要約(オリジナル)

We introduce GUIDE, a novel continual learning approach that directs diffusion models to rehearse samples at risk of being forgotten. Existing generative strategies combat catastrophic forgetting by randomly sampling rehearsal examples from a generative model. Such an approach contradicts buffer-based approaches where sampling strategy plays an important role. We propose to bridge this gap by integrating diffusion models with classifier guidance techniques to produce rehearsal examples specifically targeting information forgotten by a continuously trained model. This approach enables the generation of samples from preceding task distributions, which are more likely to be misclassified in the context of recently encountered classes. Our experimental results show that GUIDE significantly reduces catastrophic forgetting, outperforming conventional random sampling approaches and surpassing recent state-of-the-art methods in continual learning with generative replay.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google