DROID-Splat: Combining end-to-end SLAM with 3D Gaussian Splatting

要約

シーン合成における最近の進歩により、レンダリング目標を使用したハイパープリミティブの最適化のみに基づいたスタンドアロン SLAM システムが可能になりました。
ただし、追跡パフォーマンスは、従来のエンドツーエンド SLAM システムに比べてまだ不十分です。
特に単眼ビデオの場合、堅牢性、速度、精度の間の最適なトレードオフにはまだ達していません。
このペーパーでは、エンドツーエンド トラッカーに基づく SLAM システムを紹介し、最近の 3D ガウス スプラッティング技術に基づくレンダラーでそれを拡張します。
私たちのフレームワーク \textbf{DroidSplat} は、一般的な SLAM ベンチマークで SotA トラッキングとレンダリング結果の両方を実現します。
最新の SLAM システムの複数のビルディング ブロックを並列実行するように実装し、一般的なコンシューマ GPU での高速推論を可能にしました。
単眼の深度予測とカメラのキャリブレーションにおける最近の進歩により、当社のシステムは、既知のカメラ固有の機能を持たない実際のデータでも優れた結果を達成できるようになりました。
コードは \url{https://github.com/ChenHoy/DROID-Splat} で入手できます。

要約(オリジナル)

Recent progress in scene synthesis makes standalone SLAM systems purely based on optimizing hyperprimitives with a Rendering objective possible. However, the tracking performance still lacks behind traditional and end-to-end SLAM systems. An optimal trade-off between robustness, speed and accuracy has not yet been reached, especially for monocular video. In this paper, we introduce a SLAM system based on an end-to-end Tracker and extend it with a Renderer based on recent 3D Gaussian Splatting techniques. Our framework \textbf{DroidSplat} achieves both SotA tracking and rendering results on common SLAM benchmarks. We implemented multiple building blocks of modern SLAM systems to run in parallel, allowing for fast inference on common consumer GPU’s. Recent progress in monocular depth prediction and camera calibration allows our system to achieve strong results even on in-the-wild data without known camera intrinsics. Code will be available at \url{https://github.com/ChenHoy/DROID-Splat}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google