Pixel-wise Energy-biased Abstention Learning for Anomaly Segmentation on Complex Urban Driving Scenes

要約

複雑な都市走行シーンにおける最先端の（SOTA）異常セグメンテーションアプローチは、異常値露出から学習したピクセル単位の分類の不確実性、または外部再構成モデルを探求している。しかし、高い不確実性を直接的に異常と関連付ける従来の不確実性アプローチは、時に誤った異常予測につながる可能性があり、また、外部再構成モデルはリアルタイムの自動運転組み込みシステムには非効率になりがちである。本論文では、ピクセルレベルの異常クラスを適応的に学習するモデルと、インライアピクセル分布を学習するエネルギーベースモデル（EBM）を用いてピクセル単位の禁制学習（AL）を探求する、ピクセル単位のエネルギーバイアス禁制学習（PEBAL）と名付けた新しい異常セグメンテーション手法を提案します。より具体的には、PEBALはEBMとALを組み合わせた訓練に基づいており、EBMは（異常値露出から）異常画素に対して高エネルギーを出力するように訓練し、ALはこれらの高エネルギー画素が異常クラスに含まれることに対して適応的に低いペナルティを受けるように訓練される。PEBALをSOTAに対して広範囲に評価し、4つのベンチマークで最高の性能を達成することを示す。コードは https://github.com/tianyu0207/PEBAL で公開されています。

要約(オリジナル)

State-of-the-art (SOTA) anomaly segmentation approaches on complex urban driving scenes explore pixel-wise classification uncertainty learned from outlier exposure, or external reconstruction models. However, previous uncertainty approaches that directly associate high uncertainty to anomaly may sometimes lead to incorrect anomaly predictions, and external reconstruction models tend to be too inefficient for real-time self-driving embedded systems. In this paper, we propose a new anomaly segmentation method, named pixel-wise energy-biased abstention learning (PEBAL), that explores pixel-wise abstention learning (AL) with a model that learns an adaptive pixel-level anomaly class, and an energy-based model (EBM) that learns inlier pixel distribution. More specifically, PEBAL is based on a non-trivial joint training of EBM and AL, where EBM is trained to output high-energy for anomaly pixels (from outlier exposure) and AL is trained such that these high-energy pixels receive adaptive low penalty for being included to the anomaly class. We extensively evaluate PEBAL against the SOTA and show that it achieves the best performance across four benchmarks. Code is available at https://github.com/tianyu0207/PEBAL.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL