Hybrid Open-set Segmentation with Synthetic Negative Data

要約

開集合セグメンテーションは、閉集合分類を異常検出で補完することによって考案されることがよくあります。
既存の高密度異常検出器は、通常のトレーニング データの生成モデリングを通じて、またはネガティブなトレーニング データを区別することによって動作します。
これら 2 つのアプローチは異なる目的を最適化するため、異なる故障モードが現れます。
その結果、生成的手がかりと識別的手がかりを融合した最初の高密度ハイブリッド異常スコアを提案します。
提案されたスコアは、データ尤度および事後データセットの密な推定を使用してセマンティック セグメンテーション モデルをアップグレードすることで効率的に実装できます。
私たちの設計は、閉集合ベースラインを超える計算オーバーヘッドが無視できるため、大きな画像での効率的な推論に非常に適しています。
結果として得られる高密度ハイブリッド オープンセット モデルには、補助ネガティブ データセット、共同トレーニングされた生成モデル、または両方のソースの混合からサンプリングできるネガティブ トレーニング画像が必要です。
私たちは、高密度異常検出とオープンセット セグメンテーションのベンチマークに対する貢献を評価します。
実験では、計算オーバーヘッドが無視できるにもかかわらず、強力なオープンセット パフォーマンスが明らかになりました。

要約(オリジナル)

Open-set segmentation is often conceived by complementing closed-set classification with anomaly detection. Existing dense anomaly detectors operate either through generative modelling of regular training data or by discriminating with respect to negative training data. These two approaches optimize different objectives and therefore exhibit different failure modes. Consequently, we propose the first dense hybrid anomaly score that fuses generative and discriminative cues. The proposed score can be efficiently implemented by upgrading any semantic segmentation model with dense estimates of data likelihood and dataset posterior. Our design is a remarkably good fit for efficient inference on large images due to negligible computational overhead over the closed-set baseline. The resulting dense hybrid open-set models require negative training images that can be sampled from an auxiliary negative dataset, from a jointly trained generative model, or from a mixture of both sources. We evaluate our contributions on benchmarks for dense anomaly detection and open-set segmentation. The experiments reveal strong open-set performance in spite of negligible computational overhead.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google