RefiNeRF: Modelling dynamic neural radiance fields with inconsistent or missing camera parameters

要約

ノベル ビュー合成 (NVS) は、限られた一連の入力画像からシーンの新しいビューを合成することを含む、コンピューター ビジョンにおける困難なタスクです。
Neural Radiance Fields (NeRF) は、この問題に対処するための強力なアプローチとして登場しましたが、カメラ \textit{intrinsic} および \textit{extrinsic} パラメーターの正確な知識が必要です。
従来、Structure from Motion (SfM) およびマルチビュー ステレオ (MVS) アプローチを使用してカメラ パラメーターを抽出してきましたが、これらの方法は信頼性が低く、場合によっては失敗する可能性があります。
このホワイト ペーパーでは、NVIDIA 動的シーン データセットなどの動的データセットからポーズをとっていない画像を活用して、データから直接カメラ パラメーターを学習する新しい手法を提案します。
私たちのアプローチは拡張性が高く、最小限の変更で既存の NeRF アーキテクチャに統合できます。
さまざまな静的および動的シーンでの方法の有効性を実証し、従来の SfM および MVS アプローチよりも優れていることを示します。
メソッドのコードは、\href{https://github.com/redacted/refinerf}{https://github.com/redacted/refinerf} で公開されています。
私たちのアプローチは、NeRF を使用して NVS の精度と堅牢性を向上させるための有望な新しい方向性を提供し、コンピューター ビジョンとグラフィックスの幅広いアプリケーションにとって価値のあるツールになると期待しています。

要約(オリジナル)

Novel view synthesis (NVS) is a challenging task in computer vision that involves synthesizing new views of a scene from a limited set of input images. Neural Radiance Fields (NeRF) have emerged as a powerful approach to address this problem, but they require accurate knowledge of camera \textit{intrinsic} and \textit{extrinsic} parameters. Traditionally, structure-from-motion (SfM) and multi-view stereo (MVS) approaches have been used to extract camera parameters, but these methods can be unreliable and may fail in certain cases. In this paper, we propose a novel technique that leverages unposed images from dynamic datasets, such as the NVIDIA dynamic scenes dataset, to learn camera parameters directly from data. Our approach is highly extensible and can be integrated into existing NeRF architectures with minimal modifications. We demonstrate the effectiveness of our method on a variety of static and dynamic scenes and show that it outperforms traditional SfM and MVS approaches. The code for our method is publicly available at \href{https://github.com/redacted/refinerf}{https://github.com/redacted/refinerf}. Our approach offers a promising new direction for improving the accuracy and robustness of NVS using NeRF, and we anticipate that it will be a valuable tool for a wide range of applications in computer vision and graphics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google