DCA: Dividing and Conquering Amnesia in Incremental Object Detection

要約

Incremental Object Detection（IOD）は、以前のクラスでパフォーマンスを維持しながら、新しいクラスを継続的にローカライズおよび認識できるオブジェクト検出器を育成することを目的としています。
既存の方法は、トランスベースの検出フレームワークの知識の蒸留と模範的なリプレイを改善することにより、特定の成功を達成しますが、本質的な忘却メカニズムは未熟なままです。
この論文では、トランスベースのIODにおけるローカリゼーションと認識の間の忘却の不均衡を忘れて発見することを発見します。つまり、ローカリゼーションは忘れられなくなり、将来のクラスに一般化できますが、壊滅的な忘却は主に認識で発生します。
これらの洞察に基づいて、私たちは、変圧器ベースのIODをローカリゼーションの認識プロセスに再設計する分割整理記憶喪失（DCA）戦略を提案します。
DCAはローカリゼーション能力を維持および転送することができ、分離された脆弱な認識を特別に征服することができます。
フィーチャドリフトを認識して削減するために、事前に訓練された言語モデルでエンコードされたセマンティック知識を活用して、インクリメンタルタスク全体で統一された機能空間内にクラス表現を固定します。
これには、デュプレックス分類器の融合を設計し、クラスのセマンティック機能をクエリの形で認識デコードプロセスに埋め込むことが含まれます。
広範な実験では、特に長期的な増分シナリオで、私たちのアプローチが最先端のパフォーマンスを達成することを検証します。
たとえば、MS-CoCoの4段階の設定では、DCA戦略により最終的なAPが6.9％改善されます。

要約(オリジナル)

Incremental object detection (IOD) aims to cultivate an object detector that can continuously localize and recognize novel classes while preserving its performance on previous classes. Existing methods achieve certain success by improving knowledge distillation and exemplar replay for transformer-based detection frameworks, but the intrinsic forgetting mechanisms remain underexplored. In this paper, we dive into the cause of forgetting and discover forgetting imbalance between localization and recognition in transformer-based IOD, which means that localization is less-forgetting and can generalize to future classes, whereas catastrophic forgetting occurs primarily on recognition. Based on these insights, we propose a Divide-and-Conquer Amnesia (DCA) strategy, which redesigns the transformer-based IOD into a localization-then-recognition process. DCA can well maintain and transfer the localization ability, leaving decoupled fragile recognition to be specially conquered. To reduce feature drift in recognition, we leverage semantic knowledge encoded in pre-trained language models to anchor class representations within a unified feature space across incremental tasks. This involves designing a duplex classifier fusion and embedding class semantic features into the recognition decoding process in the form of queries. Extensive experiments validate that our approach achieves state-of-the-art performance, especially for long-term incremental scenarios. For example, under the four-step setting on MS-COCO, our DCA strategy significantly improves the final AP by 6.9%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google