TivNe-SLAM: Dynamic Mapping and Tracking via Time-Varying Neural Radiance Fields

要約

Neural Radiance Fields (NeRF) を Simultaneous Localization and Mapping (SLAM) フレームワークに統合するというこれまでの試みは、静的なシーンの仮定に依存するか、グラウンド トゥルース カメラのポーズを必要とするため、現実世界のシナリオでの適用が妨げられていました。
この論文では、動的なシーンを追跡し再構成するための時間変化表現を提案します。
まず、追跡プロセスとマッピングプロセスという 2 つのプロセスがフレームワーク内で同時に維持されます。
追跡プロセスでは、すべての入力画像が均一にサンプリングされ、自己教師ありパラダイムで段階的にトレーニングされます。
マッピング プロセスでは、モーション マスクを利用して動的オブジェクトを静的背景から区別し、動的領域からより多くのピクセルをサンプリングします。
第 2 に、両方のプロセスのパラメーターの最適化は 2 つの段階で構成されます。第 1 段階では、時間を 3D 位置に関連付けて、変形フィールドを標準フィールドに変換します。
第 2 段階では、時間を正準フィールドの埋め込みに関連付けて、色と符号付き距離関数 (SDF) を取得します。
最後に、重複率に基づいた新しいキーフレーム選択戦略を提案します。
私たちのアプローチは 2 つの合成データセットと 1 つの現実世界のデータセットで評価され、既存の最先端の NeRF ベースの動的 SLAM システムと比較した場合、私たちの方法が追跡とマッピングの両方で競合する結果を達成できることが実験によって検証されています。

要約(オリジナル)

Previous attempts to integrate Neural Radiance Fields (NeRF) into the Simultaneous Localization and Mapping (SLAM) framework either rely on the assumption of static scenes or require the ground truth camera poses, which impedes their application in real-world scenarios. This paper proposes a time-varying representation to track and reconstruct the dynamic scenes. Firstly, two processes, a tracking process and a mapping process, are maintained simultaneously in our framework. In the tracking process, all input images are uniformly sampled and then progressively trained in a self-supervised paradigm. In the mapping process, we leverage motion masks to distinguish dynamic objects from the static background, and sample more pixels from dynamic areas. Secondly, the parameter optimization for both processes is comprised of two stages: the first stage associates time with 3D positions to convert the deformation field to the canonical field. The second stage associates time with the embeddings of the canonical field to obtain colors and a Signed Distance Function (SDF). Lastly, we propose a novel keyframe selection strategy based on the overlapping rate. Our approach is evaluated on two synthetic datasets and one real-world dataset, and the experiments validate that our method achieves competitive results in both tracking and mapping when compared to existing state-of-the-art NeRF-based dynamic SLAM systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google