RbA: Segmenting Unknown Regions Rejected by All

要約

標準的なセマンティック セグメンテーション モデルは、新しいカテゴリから未知のオブジェクトを識別する可能性を考慮せずに、セマンティック カテゴリの固定セットを使用して精選されたデータセットの成功を負っています。
外れ値検出の既存の方法は、ピクセルごとの分類パラダイムの制限により、予測における滑らかさと客観性の欠如に悩まされています。
さらに、外れ値を検出するための追加のトレーニングは、既知のクラスのパフォーマンスに悪影響を及ぼします。
このホワイトペーパーでは、未知のオブジェクトをより適切にセグメント化するために、領域レベルの分類を使用した別のパラダイムを探ります。
マスク分類のオブジェクト クエリは、1 つの \vs すべての分類子のように動作する傾向があることを示します。
この発見に基づいて、外れ値であるというイベントをすべての既知のクラスによって拒否されると定義することにより、RbA と呼ばれる新しい外れ値スコアリング関数を提案します。
私たちの広範な実験は、マスク分類が既存の外れ値検出方法のパフォーマンスを向上させ、提案された RbA で最良の結果が達成されることを示しています。
また、外れ値の監視を最小限に抑えて RbA を最適化するという目的も提案します。
外れ値を使用してさらに微調整すると、未知のパフォーマンスが向上し、以前の方法とは異なり、インライアのパフォーマンスが低下することはありません。

要約(オリジナル)

Standard semantic segmentation models owe their success to curated datasets with a fixed set of semantic categories, without contemplating the possibility of identifying unknown objects from novel categories. Existing methods in outlier detection suffer from a lack of smoothness and objectness in their predictions, due to limitations of the per-pixel classification paradigm. Furthermore, additional training for detecting outliers harms the performance of known classes. In this paper, we explore another paradigm with region-level classification to better segment unknown objects. We show that the object queries in mask classification tend to behave like one \vs all classifiers. Based on this finding, we propose a novel outlier scoring function called RbA by defining the event of being an outlier as being rejected by all known classes. Our extensive experiments show that mask classification improves the performance of the existing outlier detection methods, and the best results are achieved with the proposed RbA. We also propose an objective to optimize RbA using minimal outlier supervision. Further fine-tuning with outliers improves the unknown performance, and unlike previous methods, it does not degrade the inlier performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google