Optimizing NeRF-based SLAM with Trajectory Smoothness Constraints

要約

Neural Radiance Fields (NeRF) とカメラ軌道の共同最適化は、その優れた高密度マッピング品質と一貫性により、SLAM タスクに広く適用されています。
NeRF ベースの SLAM は、暗黙的なマップ表現による制約を使用してカメラのポーズを学習します。
この形式の制約から生じる現象として広く観察されているのは、ぎくしゃくした物理的に非現実的な推定カメラ モーションであり、これがマップの品質に影響を与えます。
現在の NeRF ベースの SLAM のこの欠陥に対処するために、本論文では TS-SLAM (TS for Trajectory Smoothness) を提案します。
滑らかなカメラの動きを保証する連続加速を伴う均一な 3 次 B スプラインで表現することで、カメラの軌跡に滑らかさの制約を導入します。
TS-SLAM は、B スプラインの微分可能性とローカル制御特性の恩恵を受けて、スライディング ウィンドウ パラダイムを使用して制御点をエンドツーエンドで段階的に学習できます。
さらに、さらに滑らかな軌道を描く前に、ダイナミクスを利用してカメラの軌道を規則化します。
実験結果は、上記の平滑性制約を採用しない NeRF ベースの SLAM と比較して、TS-SLAM が優れた軌道精度を実現し、マッピング品質を向上させることを示しています。

要約(オリジナル)

The joint optimization of Neural Radiance Fields (NeRF) and camera trajectories has been widely applied in SLAM tasks due to its superior dense mapping quality and consistency. NeRF-based SLAM learns camera poses using constraints by implicit map representation. A widely observed phenomenon that results from the constraints of this form is jerky and physically unrealistic estimated camera motion, which in turn affects the map quality. To address this deficiency of current NeRF-based SLAM, we propose in this paper TS-SLAM (TS for Trajectory Smoothness). It introduces smoothness constraints on camera trajectories by representing them with uniform cubic B-splines with continuous acceleration that guarantees smooth camera motion. Benefiting from the differentiability and local control properties of B-splines, TS-SLAM can incrementally learn the control points end-to-end using a sliding window paradigm. Additionally, we regularize camera trajectories by exploiting the dynamics prior to further smooth trajectories. Experimental results demonstrate that TS-SLAM achieves superior trajectory accuracy and improves mapping quality versus NeRF-based SLAM that does not employ the above smoothness constraints.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google