On the Overconfidence Problem in Semantic 3D Mapping

要約

セマンティック 3D マッピングは、オブジェクト クラスで注釈が付けられた 3D マップをリアルタイムで構築するために複数のビュー間で深度と画像セグメンテーション情報を融合するプロセスであり、最近の関心のあるトピックです。
この論文では、従来のマッピング手法が不正確な場合でもマップ全体に高い信頼度を割り当て、出力の校正ミスにつながる、融合過信頼問題に焦点を当てています。
核融合パイプラインのさまざまな段階で不確かさの校正を改善するためのいくつかの方法が、ScanNet データセットで提示され、比較されています。
私たちは、最も広く使用されているベイジアン フュージョン戦略が最もキャリブレーションされていないものの 1 つであることを示し、フュージョンとキャリブレーションを組み合わせた学習済みパイプライン GLFS を提案します。GLFS は、リアルタイム機能を維持しながら、より高い精度と 3D マップ キャリブレーションを同時に実現します。
さらに、モジュール式 ObjectNav エージェントに適切なセマンティック融合を組み込むと成功率が向上することを示すことで、下流タスクにおけるマップ キャリブレーションの重要性を説明します。
私たちのコードは、受け入れられ次第、再現性を確保するために Github で提供されます。

要約(オリジナル)

Semantic 3D mapping, the process of fusing depth and image segmentation information between multiple views to build 3D maps annotated with object classes in real-time, is a recent topic of interest. This paper highlights the fusion overconfidence problem, in which conventional mapping methods assign high confidence to the entire map even when they are incorrect, leading to miscalibrated outputs. Several methods to improve uncertainty calibration at different stages in the fusion pipeline are presented and compared on the ScanNet dataset. We show that the most widely used Bayesian fusion strategy is among the worst calibrated, and propose a learned pipeline that combines fusion and calibration, GLFS, which achieves simultaneously higher accuracy and 3D map calibration while retaining real-time capability. We further illustrate the importance of map calibration on a downstream task by showing that incorporating proper semantic fusion on a modular ObjectNav agent improves its success rates. Our code will be provided on Github for reproducibility upon acceptance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google