Concurrent Misclassification and Out-of-Distribution Detection for Semantic Segmentation via Energy-Based Normalizing Flow

要約

最近のセマンティック セグメンテーション モデルは、トレーニング データセットの分布に類似したテスト時のサンプルを正確に分類します。
ただし、彼らの識別閉集合アプローチは、分布シフトや分布外 (OOD) クラスを伴う実際のデータ設定では堅牢ではありません。
その結果、テスト時に信頼スコアとして使用される場合、予測確率は非常に不正確になる可能性があります。
これに対処するために、正規化フロー フレームワークに依存する、分布内誤分類 (IDM) と OOD 検出を同時に行うための生成モデルを提案します。
エネルギーベースの入力を備えた提案されたフローベースの検出器 (FlowEneDet) は、時間のかかる再トレーニングを行わずに、以前に展開されたセグメンテーション モデルを拡張できます。
当社の FlowEneDet は、メモリ フットプリントのわずかな増加を伴う、複雑さの低いアーキテクチャを実現します。
FlowEneDet は、事前トレーニング済みの DeepLabV3+ および SegFormer セマンティック セグメンテーション モデルに適用すると、IDM/OOD 検出における Cityscapes、Cityscapes-C、FishyScapes、および SegmentMeIfYouCan ベンチマークで有望な結果を達成します。

要約(オリジナル)

Recent semantic segmentation models accurately classify test-time examples that are similar to a training dataset distribution. However, their discriminative closed-set approach is not robust in practical data setups with distributional shifts and out-of-distribution (OOD) classes. As a result, the predicted probabilities can be very imprecise when used as confidence scores at test time. To address this, we propose a generative model for concurrent in-distribution misclassification (IDM) and OOD detection that relies on a normalizing flow framework. The proposed flow-based detector with an energy-based inputs (FlowEneDet) can extend previously deployed segmentation models without their time-consuming retraining. Our FlowEneDet results in a low-complexity architecture with marginal increase in the memory footprint. FlowEneDet achieves promising results on Cityscapes, Cityscapes-C, FishyScapes and SegmentMeIfYouCan benchmarks in IDM/OOD detection when applied to pretrained DeepLabV3+ and SegFormer semantic segmentation models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google