Pixels Together Strong: Segmenting Unknown Regions Rejected by All

要約

セマンティック セグメンテーション メソッドは、通常、セマンティック カテゴリの固定セットを想定して、ピクセルごとの分類を実行します。
それらは既知のセットでうまく機能しますが、ネットワークは、未知のオブジェクトを識別するために必要なオブジェクト性の概念を学習できません。
この論文では、未知のオブジェクトのセグメンテーションに対するクエリベースのマスク分類の可能性を探ります。
オブジェクト クエリは特定のクラスの予測に特化しており、1 つの分類子とすべての分類子のように動作し、すべてのクエリで無視される領域を見つけることで未知のものを検出できることを発見しました。
モデルの動作の詳細な分析に基づいて、新しい異常スコアリング関数を提案します。
マスク分類がオブジェクト性を維持するのに役立ち、提案されたスコアリング関数が無関係な不​​確実性の原因を排除することを示します。
私たちの方法は、再トレーニングや外れ値データを使用せずに、ドメインシフトが大きい場合でも、複数のベンチマークで一貫した改善を実現します。
外れ値を適度に監視することで、クローズド セットのパフォーマンスに影響を与えることなく、さらなる改善を達成できることを示します。

要約(オリジナル)

Semantic segmentation methods typically perform per-pixel classification by assuming a fixed set of semantic categories. While they perform well on the known set, the network fails to learn the concept of objectness, which is necessary for identifying unknown objects. In this paper, we explore the potential of query-based mask classification for unknown object segmentation. We discover that object queries specialize in predicting a certain class and behave like one vs. all classifiers, allowing us to detect unknowns by finding regions that are ignored by all the queries. Based on a detailed analysis of the model’s behavior, we propose a novel anomaly scoring function. We demonstrate that mask classification helps to preserve the objectness and the proposed scoring function eliminates irrelevant sources of uncertainty. Our method achieves consistent improvements in multiple benchmarks, even under high domain shift, without retraining or using outlier data. With modest supervision for outliers, we show that further improvements can be achieved without affecting the closed-set performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google