Calib3D: Calibrating Model Preferences for Reliable 3D Scene Understanding

要約

安全性が重要な 3D シーン理解タスクでは、3D 認識モデルからの正確な予測だけでなく、信頼性の高い予測も必要です。
この研究では、不確実性推定の観点から 3D シーン理解モデルの信頼性をベンチマークし、精査する先駆的な取り組みである Calib3D を紹介します。
私たちは、10 の多様な 3D データセットにわたる 28 の最先端モデルを包括的に評価し、3D シーンの理解における偶発的不確実性と認識論的不確実性の両方に対処する洞察力に富んだ現象を明らかにします。
私たちは、既存のモデルが目覚ましいレベルの精度を達成しているにもかかわらず、信頼できる不確実性の推定値を提供できないことが頻繁にあること、つまり安全性が重視される状況での適用性を大きく損なう落とし穴であることを発見しました。
ネットワーク容量、LiDAR 表現、ラスタライズ解像度、3D データ拡張技術などの主要な要素の広範な分析を通じて、これらの側面をモデル キャリブレーションの有効性と直接相関させます。
さらに、3D モデルのキャリブレーションを強化することを目的とした、新しい深度を意識したスケーリング アプローチである DeptS を紹介します。
幅広い構成にわたる広範な実験により、私たちの方法の優位性が検証されています。
この作品が、3D シーンを確実に理解するための基礎となることを願っています。
コードとベンチマーク ツールキットは公開されています。

要約(オリジナル)

Safety-critical 3D scene understanding tasks necessitate not only accurate but also confident predictions from 3D perception models. This study introduces Calib3D, a pioneering effort to benchmark and scrutinize the reliability of 3D scene understanding models from an uncertainty estimation viewpoint. We comprehensively evaluate 28 state-of-the-art models across 10 diverse 3D datasets, uncovering insightful phenomena that cope with both the aleatoric and epistemic uncertainties in 3D scene understanding. We discover that despite achieving impressive levels of accuracy, existing models frequently fail to provide reliable uncertainty estimates — a pitfall that critically undermines their applicability in safety-sensitive contexts. Through extensive analysis of key factors such as network capacity, LiDAR representations, rasterization resolutions, and 3D data augmentation techniques, we correlate these aspects directly with the model calibration efficacy. Furthermore, we introduce DeptS, a novel depth-aware scaling approach aimed at enhancing 3D model calibration. Extensive experiments across a wide range of configurations validate the superiority of our method. We hope this work could serve as a cornerstone for fostering reliable 3D scene understanding. Code and benchmark toolkit are publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google