Modeling Uncertainty in 3D Gaussian Splatting through Continuous Semantic Splatting

要約

この論文では、3D ガウス スプラッティング (3D-GS) 内でセマンティック マップを確率的に更新およびラスタライズするための新しいアルゴリズムを紹介します。
これまでの方法では、シーンの理解を強化するために 3D-GS でフィーチャをラスタライズすることを学習するアルゴリズムが導入されていましたが、3D-GS は警告なしに失敗する可能性があり、安全性が重要なロボット アプリケーションにとっては課題となります。
このギャップに対処するために、我々は、3D-GS の正確な構造と確率的ロボット マップの不確実性を定量化する機能を組み合わせて、ボクセルから楕円体への連続意味論的マッピングの文献を前進させる方法を提案します。
画像のセットが与えられると、私たちのアルゴリズムは 3D 楕円体上で確率的意味論的な更新を直接実行し、共役事前分布の使用を通じて期待値と分散を取得します。
また、定量化可能な不確実性を伴うピクセルごとのセグメンテーション予測を返す確率的ラスタライゼーションも提案します。
私たちの方法を同様の確率的ボクセルベースの方法と比較して、3D楕円体への拡張を検証し、不確実性の定量化と時間的平滑化に関するアブレーション研究を実行します。

要約(オリジナル)

In this paper, we present a novel algorithm for probabilistically updating and rasterizing semantic maps within 3D Gaussian Splatting (3D-GS). Although previous methods have introduced algorithms which learn to rasterize features in 3D-GS for enhanced scene understanding, 3D-GS can fail without warning which presents a challenge for safety-critical robotic applications. To address this gap, we propose a method which advances the literature of continuous semantic mapping from voxels to ellipsoids, combining the precise structure of 3D-GS with the ability to quantify uncertainty of probabilistic robotic maps. Given a set of images, our algorithm performs a probabilistic semantic update directly on the 3D ellipsoids to obtain an expectation and variance through the use of conjugate priors. We also propose a probabilistic rasterization which returns per-pixel segmentation predictions with quantifiable uncertainty. We compare our method with similar probabilistic voxel-based methods to verify our extension to 3D ellipsoids, and perform ablation studies on uncertainty quantification and temporal smoothing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google