CASA: Class-Agnostic Shared Attributes in Vision-Language Models for Efficient Incremental Object Detection

要約

インクリメンタルオブジェクトの検出は、壊滅的な忘却によって根本的に挑戦されます。
この問題に貢献する主な要因は、バックグラウンドシフトです。ここでは、シーケンシャルタスクの背景カテゴリが以前に学習または将来の目に見えないクラスのいずれかと重複する可能性があります。
これに対処するために、モデルがインクリメンタルクラスで共有されたカテゴリに依存しない属性を学習することを奨励するクラスに依存しない共有属性ベース（CASA）と呼ばれる新しい方法を提案します。
当社のアプローチは、LLMを活用して候補のテキスト属性を生成し、現在のトレーニングデータに基づいて最も関連性の高いものを選択し、割り当てマトリックスでそれらの重要性を記録します。
その後のタスクでは、保持された属性が凍結され、残りの候補者から新しい属性が選択され、知識の保持と適応性の両方が確保されます。
COCOデータセットでの広範な実験は、私たちの方法の最先端のパフォーマンスを示しています。

要約(オリジナル)

Incremental object detection is fundamentally challenged by catastrophic forgetting. A major factor contributing to this issue is background shift, where background categories in sequential tasks may overlap with either previously learned or future unseen classes. To address this, we propose a novel method called Class-Agnostic Shared Attribute Base (CASA) that encourages the model to learn category-agnostic attributes shared across incremental classes. Our approach leverages an LLM to generate candidate textual attributes, selects the most relevant ones based on the current training data, and records their importance in an assignment matrix. For subsequent tasks, the retained attributes are frozen, and new attributes are selected from the remaining candidates, ensuring both knowledge retention and adaptability. Extensive experiments on the COCO dataset demonstrate the state-of-the-art performance of our method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google