Uncertainty-aware Panoptic Segmentation

要約

信頼性の高いシーン理解は、現代の自律システムにとって必要不可欠である。現在の学習ベースの手法は、一般的にセグメンテーションの品質のみを考慮したセグメンテーションメトリクスに基づいて、その性能を最大化しようとする。しかし、実世界でシステムを安全に動作させるためには、予測における不確実性も考慮することが極めて重要である。本研究では、不確実性を考慮したパノプティックセグメンテーションという新しい課題を紹介する。この課題は、ピクセル単位のセマンティックおよびインスタンスセグメンテーションと、ピクセル単位の不確実性推定を合わせて予測することを目的としている。このタスクの定量的な分析を容易にするために、我々は2つの新しいメトリクス、不確実性を考慮したパノプティック品質（uPQ）とパノプティック期待較正誤差（pECE）を定義する。さらに、この課題を解決するために、新しいトップダウン型のEvidential Panoptic Segmentation Network (EvPSNet)を提案する。我々のアーキテクチャは、予測された不確実性を活用するシンプルかつ効果的な確率的融合モジュールを採用している。さらに、我々は新しいLov’asz証拠損失関数を提案し、深い証拠学習によって提供される確率を利用して、セグメンテーションのためのIoUを最適化する。さらに、最新のパノプティックセグメンテーションネットワークとサンプリング不要の不確実性推定技術を組み合わせた強力なベースラインをいくつか提供する。広範な評価により、我々のEvPSNetは、標準的なパノプティック品質（PQ）だけでなく、我々の不確実性を考慮したパノプティックメトリクスについても新しい最先端を達成することが示される。

要約(オリジナル)

Reliable scene understanding is indispensable for modern autonomous systems. Current learning-based methods typically try to maximize their performance based on segmentation metrics that only consider the quality of the segmentation. However, for the safe operation of a system in the real world it is crucial to consider the uncertainty in the prediction as well. In this work, we introduce the novel task of uncertainty-aware panoptic segmentation, which aims to predict per-pixel semantic and instance segmentations, together with per-pixel uncertainty estimates. We define two novel metrics to facilitate its quantitative analysis, the uncertainty-aware Panoptic Quality (uPQ) and the panoptic Expected Calibration Error (pECE). We further propose the novel top-down Evidential Panoptic Segmentation Network (EvPSNet) to solve this task. Our architecture employs a simple yet effective probabilistic fusion module that leverages the predicted uncertainties. Additionally, we propose a new Lov\’asz evidential loss function to optimize the IoU for the segmentation utilizing the probabilities provided by deep evidential learning. Furthermore, we provide several strong baselines combining state-of-the-art panoptic segmentation networks with sampling-free uncertainty estimation techniques. Extensive evaluations show that our EvPSNet achieves the new state-of-the-art for the standard Panoptic Quality (PQ), as well as for our uncertainty-aware panoptic metrics.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL