Finding Dino: A Plug-and-Play Framework for Zero-Shot Detection of Out-of-Distribution Objects Using Prototypes

要約

あらゆるシーンで不明または分散排出（OOD）オブジェクトを検出およびローカリングすることは、特に自動化された車両や列車などの自律システムが関与する安全性のあるケースでは、ビジョンにおける挑戦的なタスクになる可能性があります。
監視された異常セグメンテーションまたはオープンワールドオブジェクト検出モデルは、すべてのドメインの徹底的に注釈付きのデータセットでのトレーニングに依存し、背景とOODオブジェクトを区別するのに苦労しています。
この作業では、プラグアンドプレイフレームワーク – ラベルのないプロトタイプベースのOOD検出（Prowl）を提示します。
これは、ドメインデータセットでのトレーニングを必要としない推論ベースの方法であり、自己教師の事前訓練モデルから関連する機能の抽出に依存しています。
Prowlは、このドメインから既知のクラスのリストを指定することにより、任意の設計ドメイン（ODD）のドメイン内オブジェクトをゼロショット方法で簡単に検出できるように簡単に適合させることができます。
Prowlは、最初のゼロショットの監視なしの方法として、道路駆動ベンチマークで提供されるロードノマリーおよびロード抽象データセットで最新の結果を達成します – SegmentMeifyoucan（SMIYC）と魚の科。
補助的なoodデータ。
また、鉄道や海事などの他のドメインに対する一般化可能性も示しています。

要約(オリジナル)

Detecting and localising unknown or out-of-distribution (OOD) objects in any scene can be a challenging task in vision, particularly in safety-critical cases involving autonomous systems like automated vehicles or trains. Supervised anomaly segmentation or open-world object detection models depend on training on exhaustively annotated datasets for every domain and still struggle in distinguishing between background and OOD objects. In this work, we present a plug-and-play framework – PRototype-based OOD detection Without Labels (PROWL). It is an inference-based method that does not require training on the domain dataset and relies on extracting relevant features from self-supervised pre-trained models. PROWL can be easily adapted to detect in-domain objects in any operational design domain (ODD) in a zero-shot manner by specifying a list of known classes from this domain. PROWL, as a first zero-shot unsupervised method, achieves state-of-the-art results on the RoadAnomaly and RoadObstacle datasets provided in road driving benchmarks – SegmentMeIfYouCan (SMIYC) and Fishyscapes, as well as comparable performance against existing supervised methods trained without auxiliary OOD data. We also demonstrate its generalisability to other domains such as rail and maritime.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google