MBA-SLAM: Motion Blur Aware Dense Visual SLAM with Radiance Fields Representation

要約

Neural Radiance Fields (NeRF) や 3D Gaussian Splatting (3DGS) などの新たな 3D シーン表現は、特に高品質のビデオ シーケンスを入力として使用する場合に、写真のようにリアルなレンダリングのための同時ローカリゼーションとマッピング (SLAM) での有効性を実証しています。
ただし、既存の方法は、低照度または長時間露光条件などの現実世界のシナリオでよく見られる、モーションブラーのあるフレームに対処するのに苦労しています。
これにより、多くの場合、カメラの位置特定精度とマップ再構成の品質の両方が大幅に低下します。
この課題に対処するために、深刻なモーションブラー入力を処理するための高密度ビジュアル SLAM パイプライン (つまり MBA-SLAM) を提案します。
私たちのアプローチは、効率的なモーション ブラー対応トラッカーをニューラル放射フィールドまたはガウス スプラッティング ベースのマッパーと統合します。
モーションブラー画像の物理的な画像形成プロセスを正確にモデル化することにより、私たちの方法は 3D シーン表現を学習し、露光時間中のカメラの局所軌道を推定することを同時に行い、カメラの動きによって引き起こされるモーションブラーのプロアクティブな補正を可能にします。
私たちの実験では、MBA-SLAM がカメラ位置特定と地図再構成の両方において以前の最先端の方法を上回り、鮮明な画像と影響を受けた画像を特徴とする合成データセットと実際のデータセットを含む、さまざまなデータセットにわたって優れたパフォーマンスを示していることを実証しました。
モーションブラーによって、私たちのアプローチの多用途性と堅牢性を強調します。
コードは https://github.com/WU-CVGL/MBA-SLAM で入手できます。

要約(オリジナル)

Emerging 3D scene representations, such as Neural Radiance Fields (NeRF) and 3D Gaussian Splatting (3DGS), have demonstrated their effectiveness in Simultaneous Localization and Mapping (SLAM) for photo-realistic rendering, particularly when using high-quality video sequences as input. However, existing methods struggle with motion-blurred frames, which are common in real-world scenarios like low-light or long-exposure conditions. This often results in a significant reduction in both camera localization accuracy and map reconstruction quality. To address this challenge, we propose a dense visual SLAM pipeline (i.e. MBA-SLAM) to handle severe motion-blurred inputs. Our approach integrates an efficient motion blur-aware tracker with either neural radiance fields or Gaussian Splatting based mapper. By accurately modeling the physical image formation process of motion-blurred images, our method simultaneously learns 3D scene representation and estimates the cameras’ local trajectory during exposure time, enabling proactive compensation for motion blur caused by camera movement. In our experiments, we demonstrate that MBA-SLAM surpasses previous state-of-the-art methods in both camera localization and map reconstruction, showcasing superior performance across a range of datasets, including synthetic and real datasets featuring sharp images as well as those affected by motion blur, highlighting the versatility and robustness of our approach. Code is available at https://github.com/WU-CVGL/MBA-SLAM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google