Joint Optimization of Neural Radiance Fields and Continuous Camera Motion from a Monocular Video

要約

ニューラル放射輝度フィールド（NERF）は、3Dジオメトリを表現する優れた能力を実証していますが、トレーニング中に正確に事前に計算されたカメラのポーズが必要です。
この要件を緩和するために、既存のメソッドはカメラのポーズを共同で最適化し、NERFはしばしば良いポーズ初期化または深さのプライアーに依存します。
ただし、これらのアプローチは、各カメラが世界座標系にマッピングするため、大きな回転などの挑戦的なシナリオに苦労しています。
連続カメラの動きを時間依存の角速度と速度としてモデル化することにより、以前の依存関係を排除する新しい方法を提案します。
カメラ間の相対的な動きは速度統合を介して最初に学習されますが、ビデオ内の1回の時間ステップで定義された世界座標系までこのような相対的な動きを集約することにより、カメラのポーズを取得できます。
具体的には、正確な連続カメラの動きは、時間依存のナーフを通じて学習されます。これは、各タイムステップで隣接するフレームからトレーニングすることにより、ローカルシーンのジオメトリと動きをキャプチャします。
学習された動きにより、NERFを微調整してシーン全体のジオメトリを表すことができます。
CO3DとScannetの実験は、私たちのアプローチが、最先端の方法と比較して、優れたカメラのポーズと深さの推定、および同等の新規ビュー合成パフォーマンスを達成することを示しています。
私たちのコードは、https：//github.com/hoangchuongnguyen/cope-nerfで入手できます。

要約(オリジナル)

Neural Radiance Fields (NeRF) has demonstrated its superior capability to represent 3D geometry but require accurately precomputed camera poses during training. To mitigate this requirement, existing methods jointly optimize camera poses and NeRF often relying on good pose initialisation or depth priors. However, these approaches struggle in challenging scenarios, such as large rotations, as they map each camera to a world coordinate system. We propose a novel method that eliminates prior dependencies by modeling continuous camera motions as time-dependent angular velocity and velocity. Relative motions between cameras are learned first via velocity integration, while camera poses can be obtained by aggregating such relative motions up to a world coordinate system defined at a single time step within the video. Specifically, accurate continuous camera movements are learned through a time-dependent NeRF, which captures local scene geometry and motion by training from neighboring frames for each time step. The learned motions enable fine-tuning the NeRF to represent the full scene geometry. Experiments on Co3D and Scannet show our approach achieves superior camera pose and depth estimation and comparable novel-view synthesis performance compared to state-of-the-art methods. Our code is available at https://github.com/HoangChuongNguyen/cope-nerf.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google