Uncertainty-aware Panoptic Segmentation

要約

信頼性の高いシーンの理解は、現代の自律システムにとって不可欠です。
現在の学習ベースの方法は、通常、セグメンテーションの品質のみを考慮したセグメンテーションメトリックに基づいてパフォーマンスを最大化しようとします。
ただし、現実の世界でシステムを安全に運用するには、予測の不確実性も考慮することが重要です。
この作業では、ピクセルごとのセマンティックおよびインスタンスのセグメンテーションをピクセルごとの不確実性の推定とともに予測することを目的とした、不確実性を意識したパノラマセグメンテーションの新しいタスクを紹介します。
定量分析を容易にするために、不確実性を意識したパノプティコン品質（uPQ）とパノプティコンの予想キャリブレーションエラー（pECE）の2つの新しいメトリックを定義します。
さらに、このタスクを解決するために、新しいトップダウンの証拠パノプティックセグメンテーションネットワーク（EvPSNet）を提案します。
私たちのアーキテクチャは、予測された不確実性を活用する、シンプルでありながら効果的な確率的融合モジュールを採用しています。
さらに、深い証拠学習によって提供される確率を利用して、セグメンテーションのためにIoUを最適化するための新しいLov\’asz証拠損失関数を提案します。
さらに、最先端のパノラマセグメンテーションネットワークとサンプリングのない不確実性推定技術を組み合わせたいくつかの強力なベースラインを提供します。
広範な評価により、EvPSNetは、標準のパノプティコン品質（PQ）と、不確実性を意識したパノプティコンメトリックの新しい最先端を達成していることが示されています。

要約(オリジナル)

Reliable scene understanding is indispensable for modern autonomous systems. Current learning-based methods typically try to maximize their performance based on segmentation metrics that only consider the quality of the segmentation. However, for the safe operation of a system in the real world it is crucial to consider the uncertainty in the prediction as well. In this work, we introduce the novel task of uncertainty-aware panoptic segmentation, which aims to predict per-pixel semantic and instance segmentations, together with per-pixel uncertainty estimates. We define two novel metrics to facilitate its quantitative analysis, the uncertainty-aware Panoptic Quality (uPQ) and the panoptic Expected Calibration Error (pECE). We further propose the novel top-down Evidential Panoptic Segmentation Network (EvPSNet) to solve this task. Our architecture employs a simple yet effective probabilistic fusion module that leverages the predicted uncertainties. Additionally, we propose a new Lov\’asz evidential loss function to optimize the IoU for the segmentation utilizing the probabilities provided by deep evidential learning. Furthermore, we provide several strong baselines combining state-of-the-art panoptic segmentation networks with sampling-free uncertainty estimation techniques. Extensive evaluations show that our EvPSNet achieves the new state-of-the-art for the standard Panoptic Quality (PQ), as well as for our uncertainty-aware panoptic metrics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google