DiffusePast: Diffusion-based Generative Replay for Class Incremental Semantic Segmentation

要約

クラス増分セマンティック セグメンテーション (CISS) は、新しく追加されたクラスを段階的に学習することで、従来のセグメンテーション タスクを拡張します。
これまでの研究では、壊滅的な忘却とプライバシーの問題に対処するために、事前トレーニングされた GAN から生成された古いクラス サンプルを再生する生成再生が導入されました。
ただし、生成された画像は意味論的な精度を欠き、分布外の特性を示すため、マスクが不正確になり、セグメンテーションのパフォーマンスがさらに低下します。
これらの課題に取り組むために、私たちは、さまざまな命令 (テキスト プロンプトやエッジ マップなど) によってガイドされる、より信頼性の高いマスクを使用して意味的に正確な画像を生成する、拡散ベースの生成再生モジュールを特徴とする新しいフレームワークである DiffusePast を提案します。
具体的には、DiffusePast はデュアル ジェネレーター パラダイムを導入しています。これは、元のイメージの構造とレイアウトを維持しながら、ダウンストリーム データセットの分布に合わせて古いクラス イメージを生成することに重点を置き、より正確なマスクを可能にします。
新しく追加されたクラスの斬新なビジュアルコンセプトに継続的に適応するために、デュアルジェネレーターを更新するときにクラスごとのトークン埋め込みを組み込みます。
さらに、古いクラスの適切な擬似ラベルを新しいステップ画像の背景ピクセルに割り当て、以前に学習した知識の忘れをさらに軽減します。
包括的な実験を通じて、私たちのメソッドは主流のベンチマーク全体で競争力のあるパフォーマンスを実証し、古いクラスと新しいクラスのパフォーマンスのより良いバランスを実現します。

要約(オリジナル)

The Class Incremental Semantic Segmentation (CISS) extends the traditional segmentation task by incrementally learning newly added classes. Previous work has introduced generative replay, which involves replaying old class samples generated from a pre-trained GAN, to address the issues of catastrophic forgetting and privacy concerns. However, the generated images lack semantic precision and exhibit out-of-distribution characteristics, resulting in inaccurate masks that further degrade the segmentation performance. To tackle these challenges, we propose DiffusePast, a novel framework featuring a diffusion-based generative replay module that generates semantically accurate images with more reliable masks guided by different instructions (e.g., text prompts or edge maps). Specifically, DiffusePast introduces a dual-generator paradigm, which focuses on generating old class images that align with the distribution of downstream datasets while preserving the structure and layout of the original images, enabling more precise masks. To adapt to the novel visual concepts of newly added classes continuously, we incorporate class-wise token embedding when updating the dual-generator. Moreover, we assign adequate pseudo-labels of old classes to the background pixels in the new step images, further mitigating the forgetting of previously learned knowledge. Through comprehensive experiments, our method demonstrates competitive performance across mainstream benchmarks, striking a better balance between the performance of old and novel classes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google