DynaMoN: Motion-Aware Fast and Robust Camera Localization for Dynamic Neural Radiance Fields

要約

神経放射輝度フィールドを使用した動的シーンの正確な再構成は、カメラのポーズの推定に大きく依存します。
広く使用されているストラクチャ フロム モーション パイプラインでは、シーン コンテンツとカメラの動きの個別のダイナミクスに直面した場合、カメラの軌道を正確に追跡することが困難になります。
この課題に対処するために、私たちはダイナミック ニューラル ラジアンス フィールド用の動的モーション認識高速かつ堅牢なカメラ位置特定 (DynaMoN) を提案します。
DynaMoN は、セマンティック セグメンテーションと汎用モーション マスクを利用して、初期カメラ ポーズ推定のための動的なコンテンツを処理し、高速かつ正確なノベル ビュー合成のための静学に焦点を当てたレイ サンプリングを行います。
私たちの新しい反復学習スキームは、NeRF のトレーニングとポーズ パラメーターの更新を切り替えて、再構成と軌道推定の品質を向上させます。
提案されたパイプラインは、トレーニング プロセスの大幅な加速を示しています。
私たちは、TUM RGB-D データセットと BONN RGB-D ダイナミック データセットという 2 つの現実世界の動的データセットに対するアプローチを広範囲に評価しています。
DynaMoN は、再構成の品質と軌道の精度の両方の点で最先端のものよりも向上しています。
この分野の研究を強化するために、コードを公開する予定です。

要約(オリジナル)

The accurate reconstruction of dynamic scenes with neural radiance fields is significantly dependent on the estimation of camera poses. Widely used structure-from-motion pipelines encounter difficulties in accurately tracking the camera trajectory when faced with separate dynamics of the scene content and the camera movement. To address this challenge, we propose Dynamic Motion-Aware Fast and Robust Camera Localization for Dynamic Neural Radiance Fields (DynaMoN). DynaMoN utilizes semantic segmentation and generic motion masks to handle dynamic content for initial camera pose estimation and statics-focused ray sampling for fast and accurate novel-view synthesis. Our novel iterative learning scheme switches between training the NeRF and updating the pose parameters for an improved reconstruction and trajectory estimation quality. The proposed pipeline shows significant acceleration of the training process. We extensively evaluate our approach on two real-world dynamic datasets, the TUM RGB-D dataset and the BONN RGB-D Dynamic dataset. DynaMoN improves over the state-of-the-art both in terms of reconstruction quality and trajectory accuracy. We plan to make our code public to enhance research in this area.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google