Calib3D: Calibrating Model Preferences for Reliable 3D Scene Understanding

要約

セーフティクリティカルな3Dシーン理解タスクでは、3D知覚モデルからの予測は正確であるだけでなく、信頼性も必要とされる。本研究では、不確実性推定の観点から3Dシーン理解モデルの信頼性をベンチマークし精査する先駆的な取り組みであるCalib3Dを紹介する。我々は、10個の多様な3Dデータセットにわたって28個の最先端モデルを包括的に評価し、3Dシーン理解におけるalleatoricな不確実性とepistemicな不確実性の両方に対処する洞察に満ちた現象を明らかにする。我々は、印象的なレベルの精度を達成しているにもかかわらず、既存のモデルが信頼できる不確実性推定を提供できないことが多いことを発見した。ネットワーク容量、LiDAR表現、ラスタライズ解像度、3Dデータ補強技術などの重要な要因の広範な分析を通じて、これらの側面とモデルキャリブレーションの有効性を直接相関させます。さらに、3Dモデルキャリブレーションを強化することを目的とした、深度を考慮した新しいスケーリングアプローチであるDeptSを紹介する。幅広い構成にわたる広範な実験により、本手法の優位性が検証された。この研究が、信頼性の高い3Dシーン理解を育むための礎となることを期待している。コードとベンチマークツールキットは公開されている。

要約(オリジナル)

Safety-critical 3D scene understanding tasks necessitate not only accurate but also confident predictions from 3D perception models. This study introduces Calib3D, a pioneering effort to benchmark and scrutinize the reliability of 3D scene understanding models from an uncertainty estimation viewpoint. We comprehensively evaluate 28 state-of-the-art models across 10 diverse 3D datasets, uncovering insightful phenomena that cope with both the aleatoric and epistemic uncertainties in 3D scene understanding. We discover that despite achieving impressive levels of accuracy, existing models frequently fail to provide reliable uncertainty estimates — a pitfall that critically undermines their applicability in safety-sensitive contexts. Through extensive analysis of key factors such as network capacity, LiDAR representations, rasterization resolutions, and 3D data augmentation techniques, we correlate these aspects directly with the model calibration efficacy. Furthermore, we introduce DeptS, a novel depth-aware scaling approach aimed at enhancing 3D model calibration. Extensive experiments across a wide range of configurations validate the superiority of our method. We hope this work could serve as a cornerstone for fostering reliable 3D scene understanding. Code and benchmark toolkit are publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL