EvidMTL: Evidential Multi-Task Learning for Uncertainty-Aware Semantic Surface Mapping from Monocular RGB Images

要約

構造化されていない環境でのシーンの理解のために、自律システムによる情報に基づいたアクション選択を可能にするために、正確で不確実なメトリックセマンチックなマッピングが必要です。存在するマッピングメソッドは、自信過剰のセマンティック予測、およびまばらで騒がしい深さセンシングに苦しみ、一貫性のない地図の表現につながります。
したがって、このホワイトペーパーでは、深さ推定とセマンティックセグメンテーションに証拠ヘッドを使用するマルチタスク学習フレームワークであるEVIDMTLを導入し、単眼RGB画像からの不確実性を認識した推論を可能にします。
不確実性を調整した証拠マルチタスク学習を可能にするために、証拠セグメンテーション損失と併せて深さ予測の信念強度を共同で最適化する新しい証拠深度損失関数を提案します。
これに基づいて、不確実なセマンティックサーフェスマッピングフレームワークであるEvidkimeraを提示します。
Nyudepthv2でEVIDMTLをトレーニングおよび評価し、SCANNETV2でのゼロショットパフォーマンスを評価し、同等の深度推定とセマンティックセグメンテーションを維持しながら、従来のアプローチと比較して優れた不確実性の推定を実証します。
Scannetv2のゼロショットマッピングテストでは、Evidkimeraはセマンティックサーフェスマッピングの精度と一貫性でKimeraを上回り、不確実性を認識したマッピングの利点を強調し、実際のロボットアプリケーションの可能性を強調しています。

要約(オリジナル)

For scene understanding in unstructured environments, an accurate and uncertainty-aware metric-semantic mapping is required to enable informed action selection by autonomous systems.Existing mapping methods often suffer from overconfident semantic predictions, and sparse and noisy depth sensing, leading to inconsistent map representations. In this paper, we therefore introduce EvidMTL, a multi-task learning framework that uses evidential heads for depth estimation and semantic segmentation, enabling uncertainty-aware inference from monocular RGB images. To enable uncertainty-calibrated evidential multi-task learning, we propose a novel evidential depth loss function that jointly optimizes the belief strength of the depth prediction in conjunction with evidential segmentation loss. Building on this, we present EvidKimera, an uncertainty-aware semantic surface mapping framework, which uses evidential depth and semantics prediction for improved 3D metric-semantic consistency. We train and evaluate EvidMTL on the NYUDepthV2 and assess its zero-shot performance on ScanNetV2, demonstrating superior uncertainty estimation compared to conventional approaches while maintaining comparable depth estimation and semantic segmentation. In zero-shot mapping tests on ScanNetV2, EvidKimera outperforms Kimera in semantic surface mapping accuracy and consistency, highlighting the benefits of uncertainty-aware mapping and underscoring its potential for real-world robotic applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google