SDDGR: Stable Diffusion-based Deep Generative Replay for Class Incremental Object Detection

要約

クラス増分学習 (CIL) の分野では、生成モデルの継続的な改善と並行して、致命的な忘却を軽減する方法として生成リプレイがますます注目を集めています。
ただし、主に複数のラベルが関係するシーンの複雑さのため、クラス増分オブジェクト検出 (CIOD) での応用は大幅に制限されてきました。
この論文では、CIOD に対する安定拡散深層生成再生 (SDDGR) と呼ばれる新しいアプローチを提案します。
私たちの方法では、事前にトレーニングされたテキストから拡散へのネットワークを備えた拡散ベースの生成モデルを利用して、現実的で多様な合成画像を生成します。
SDDGR には、古いクラスを含む高品質のイメージを生成する反復改良戦略が組み込まれています。
さらに、L2 知識蒸留技術を採用して、合成画像における事前知識の保持を向上させます。
さらに、私たちのアプローチには、新しいタスク画像内の古いオブジェクトの疑似ラベル付けが含まれており、背景要素としての誤分類を防ぎます。
COCO 2017 データセットに対する広範な実験により、SDDGR が既存のアルゴリズムを大幅に上回り、さまざまな CIOD シナリオで新たな最先端を実現することが実証されました。
ソースコードは一般に公開される予定です。

要約(オリジナル)

In the field of class incremental learning (CIL), generative replay has become increasingly prominent as a method to mitigate the catastrophic forgetting, alongside the continuous improvements in generative models. However, its application in class incremental object detection (CIOD) has been significantly limited, primarily due to the complexities of scenes involving multiple labels. In this paper, we propose a novel approach called stable diffusion deep generative replay (SDDGR) for CIOD. Our method utilizes a diffusion-based generative model with pre-trained text-to-diffusion networks to generate realistic and diverse synthetic images. SDDGR incorporates an iterative refinement strategy to produce high-quality images encompassing old classes. Additionally, we adopt an L2 knowledge distillation technique to improve the retention of prior knowledge in synthetic images. Furthermore, our approach includes pseudo-labeling for old objects within new task images, preventing misclassification as background elements. Extensive experiments on the COCO 2017 dataset demonstrate that SDDGR significantly outperforms existing algorithms, achieving a new state-of-the-art in various CIOD scenarios. The source code will be made available to the public.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google