Scaffold-SLAM: Structured 3D Gaussians for Simultaneous Localization and Photorealistic Mapping

要約

3D ガウス スプラッティング (3DGS) は最近、同時ローカリゼーションとマッピング (SLAM) における新しいビュー合成に革命をもたらしました。
しかし、3DGS を利用した既存の SLAM 方法では、単眼カメラ、ステレオカメラ、および RGB-D カメラに同時に高品質の新しいビュー レンダリングを提供できませんでした。
特に、一部の方法は RGB-D カメラでは良好に機能しますが、単眼カメラではレンダリング品質が大幅に低下します。
この論文では、単眼カメラ、ステレオカメラ、および RGB-D カメラにわたって同時に位置特定と高品質でフォトリアリスティックなマッピングを実現する Scaffold-SLAM について紹介します。
この最先端のビジュアル品質を実現するために、2 つの重要なイノベーションを導入します。
まず、私たちは、Appearance-from-Motion 埋め込みを提案します。これにより、3D ガウスが、さまざまなカメラのポーズにわたる画像の外観の変化をより適切にモデル化できるようになります。
次に、ガウス分布をガイドする周波数正則化ピラミッドを導入し、モデルがシーン内のより詳細な詳細を効果的にキャプチャできるようにします。
単眼、ステレオ、および RGB-D データセットに関する広範な実験により、Scaffold-SLAM が写実的なマッピング品質において最先端の方法よりも大幅に優れていることが実証されています。たとえば、単眼カメラの TUM RGB-D データセットでは PSNR が 16.76% 高くなります。

要約(オリジナル)

3D Gaussian Splatting (3DGS) has recently revolutionized novel view synthesis in the Simultaneous Localization and Mapping (SLAM). However, existing SLAM methods utilizing 3DGS have failed to provide high-quality novel view rendering for monocular, stereo, and RGB-D cameras simultaneously. Notably, some methods perform well for RGB-D cameras but suffer significant degradation in rendering quality for monocular cameras. In this paper, we present Scaffold-SLAM, which delivers simultaneous localization and high-quality photorealistic mapping across monocular, stereo, and RGB-D cameras. We introduce two key innovations to achieve this state-of-the-art visual quality. First, we propose Appearance-from-Motion embedding, enabling 3D Gaussians to better model image appearance variations across different camera poses. Second, we introduce a frequency regularization pyramid to guide the distribution of Gaussians, allowing the model to effectively capture finer details in the scene. Extensive experiments on monocular, stereo, and RGB-D datasets demonstrate that Scaffold-SLAM significantly outperforms state-of-the-art methods in photorealistic mapping quality, e.g., PSNR is 16.76% higher in the TUM RGB-D datasets for monocular cameras.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google