Mode-GS: Monocular Depth Guided Anchored 3D Gaussian Splatting for Robust Ground-View Scene Rendering

要約

地上ロボットの軌道データセット用の新しいビュー レンダリング アルゴリズム Mode-GS を紹介します。
私たちのアプローチは、既存の 3D ガウス スプラッティング アルゴリズムの制限を克服するように設計されたアンカー ガウス スプラットの使用に基づいています。
従来のニューラル レンダリング手法では、シーンの複雑さと多視点観察が不十分であるため、深刻なスプラット ドリフトが発生し、地上ロボット データセットの真のジオメトリ上でスプラットを修正できない可能性があります。
私たちの方法は、単眼の深度からピクセルに位置合わせされたアンカーを統合し、残差形式のガウス デコーダを使用してこれらのアンカーの周囲にガウス スプラットを生成します。
単眼深度の固有のスケール曖昧さに対処するために、ビューごとの深度スケールでアンカーをパラメータ化し、オンライン スケール キャリブレーションにスケール一貫性のある深度損失を採用します。
私たちの方法により、PSNR、SSIM、LPIPS メトリクスに基づいて、自由な軌道パターンを持つ地上シーンでのレンダリング パフォーマンスが向上し、R3LIVE オドメトリ データセットと戦車と寺院のデータセットで最先端のレンダリング パフォーマンスが実現します。

要約(オリジナル)

We present a novel-view rendering algorithm, Mode-GS, for ground-robot trajectory datasets. Our approach is based on using anchored Gaussian splats, which are designed to overcome the limitations of existing 3D Gaussian splatting algorithms. Prior neural rendering methods suffer from severe splat drift due to scene complexity and insufficient multi-view observation, and can fail to fix splats on the true geometry in ground-robot datasets. Our method integrates pixel-aligned anchors from monocular depths and generates Gaussian splats around these anchors using residual-form Gaussian decoders. To address the inherent scale ambiguity of monocular depth, we parameterize anchors with per-view depth-scales and employ scale-consistent depth loss for online scale calibration. Our method results in improved rendering performance, based on PSNR, SSIM, and LPIPS metrics, in ground scenes with free trajectory patterns, and achieves state-of-the-art rendering performance on the R3LIVE odometry dataset and the Tanks and Temples dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google