OW-Rep: Open World Object Detection with Instance Representation Learning

要約

Open World Object Detection（OWOD）は、目に見えないオブジェクトクラスが出現する現実的なシナリオに対処し、既知のクラスでトレーニングされた検出器が不明なオブジェクトを検出し、提供する知識を徐々に組み込むことを可能にします。
既存のOWODメソッドは主に未知のオブジェクトの検出に焦点を当てていますが、多くの場合、検出されたオブジェクト間の豊富なセマンティックな関係を見落としています。これは、オープンワールド環境のシーンの理解とアプリケーション（例：オープンワールドの追跡や新しいクラスの発見など）に不可欠です。
このホワイトペーパーでは、OWODフレームワークを拡張して、未知のオブジェクトを共同で検出し、意味的にリッチなインスタンスの埋め込みを学習し、検出器がインスタンス間の細かい意味関係をキャプチャできるようにします。
この目的のために、Vision Foundationモデル（VFM）の豊富で一般化可能な知識を活用する2つのモジュールを提案します。
まず、未知のボックスを洗練するモジュールは、セグメントからのインスタンスマスクを使用して、モデルのすべてのモデルを使用して、不明なオブジェクトを正確にローカライズします。
埋め込み転送モジュールは、インスタンスごとのセマンティックな類似性を、VFM機能からリラックスしたコントラスト損失を介して検出器の埋め込みに蒸留し、検出器が意味的に意味のある一般化可能なインスタンス機能を学習できるようにします。
広範な実験では、この方法により、不明なオブジェクトの検出とインスタンスの埋め込み品質の両方が大幅に改善され、オープンワールド追跡などの下流タスクのパフォーマンスが向上することが示されています。

要約(オリジナル)

Open World Object Detection(OWOD) addresses realistic scenarios where unseen object classes emerge, enabling detectors trained on known classes to detect unknown objects and incrementally incorporate the knowledge they provide. While existing OWOD methods primarily focus on detecting unknown objects, they often overlook the rich semantic relationships between detected objects, which are essential for scene understanding and applications in open-world environments (e.g., open-world tracking and novel class discovery). In this paper, we extend the OWOD framework to jointly detect unknown objects and learn semantically rich instance embeddings, enabling the detector to capture fine-grained semantic relationships between instances. To this end, we propose two modules that leverage the rich and generalizable knowledge of Vision Foundation Models(VFM). First, the Unknown Box Refine Module uses instance masks from the Segment Anything Model to accurately localize unknown objects. The Embedding Transfer Module then distills instance-wise semantic similarities from VFM features to the detector’s embeddings via a relaxed contrastive loss, enabling the detector to learn a semantically meaningful and generalizable instance feature. Extensive experiments show that our method significantly improves both unknown object detection and instance embedding quality, while also enhancing performance in downstream tasks such as open-world tracking.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google