Self-supervised Likelihood Estimation with Energy Guidance for Anomaly Segmentation in Urban Scenes

要約

堅牢な自動運転では、エージェントが都市のシーンで予期しない領域を正確に特定する必要があります。
この目的のために、いくつかの重要な問題が未解決のままです: 異常を測定するための推奨されるメトリックを設計する方法と、異常データのトレーニング サンプルを適切に生成する方法は?
以前の取り組みは、通常、分類タスクからの不確実性の推定とサンプル合成に頼っています。これは、コンテキスト情報を無視し、場合によってはきめ細かな注釈を含む補助データセットを必要とします。
それどころか、この論文では、セグメンテーションタスクの強力なコンテキスト依存の性質を活用し、異常セグメンテーションのためのエネルギー誘導自己監視フレームワークを設計します。これは、自己生成された異常ピクセルの可能性を最大化することによって異常ヘッドを最適化します。
この目的のために、異常尤度推定用に 2 つの推定量を設計します。1 つは単純なタスクに依存しないバイナリ推定量であり、もう 1 つは異常尤度をタスク指向のエネルギー モデルの残差として表します。
提案された推定量に基づいて、フレームワークを尤度ガイド付きマスク調整プロセスにさらに組み込み、モデルトレーニング用の有益な異常ピクセルを抽出します。
私たちは挑戦的な Fishyscapes と Road Anomaly ベンチマークで広範な実験を行い、補助データや合成モデルがなくても、私たちの方法が他の SOTA スキームに匹敵するパフォーマンスを達成できることを実証しています。

要約(オリジナル)

Robust autonomous driving requires agents to accurately identify unexpected areas in urban scenes. To this end, some critical issues remain open: how to design advisable metric to measure anomalies, and how to properly generate training samples of anomaly data? Previous effort usually resorts to uncertainty estimation and sample synthesis from classification tasks, which ignore the context information and sometimes requires auxiliary datasets with fine-grained annotations. On the contrary, in this paper, we exploit the strong context-dependent nature of segmentation task and design an energy-guided self-supervised frameworks for anomaly segmentation, which optimizes an anomaly head by maximizing the likelihood of self-generated anomaly pixels. To this end, we design two estimators for anomaly likelihood estimation, one is a simple task-agnostic binary estimator and the other depicts anomaly likelihood as residual of task-oriented energy model. Based on proposed estimators, we further incorporate our framework with likelihood-guided mask refinement process to extract informative anomaly pixels for model training. We conduct extensive experiments on challenging Fishyscapes and Road Anomaly benchmarks, demonstrating that without any auxiliary data or synthetic models, our method can still achieves competitive performance to other SOTA schemes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google