NeRFtrinsic Four: An End-To-End Trainable NeRF Jointly Optimizing Diverse Intrinsic and Extrinsic Camera Parameters

要約

ニューラル ラジアンス フィールド (NeRF) を使用した新しいビュー合成は、新しい視点から高品質の画像を生成するための最先端の技術です。
既存の方法では、外部および内部のカメラ パラメーターに関するアプリオリな知識が必要です。
これにより、合成シーン、または前処理ステップが必要な現実世界のシナリオへの適用性が制限されます。
カメラ パラメーターと NeRF の共同最適化に関する現在の研究は、ノイズの多い外部カメラ パラメーターの改良に焦点を当てており、多くの場合、固有カメラ パラメーターの前処理に依存しています。
さらなるアプローチは、1 つのカメラ固有の機能のみをカバーするように制限されています。
これらの制限に対処するために、NeRFtrinsic Four と呼ばれる新しいエンドツーエンドのトレーニング可能なアプローチを提案します。
ガウス フーリエ機能を利用して外部カメラ パラメーターを推定し、投影誤差の監視を通じて変化する内部カメラ パラメーターを動的に予測します。
私たちのアプローチは、LLFF と BLEFF での既存の共同最適化手法よりも優れています。
これらの既存のデータセットに加えて、さまざまな固有のカメラ パラメーターを持つ iFF と呼ばれる新しいデータセットを導入します。
NeRFtrinsic Four は、共同最適化 NeRF ベースのビュー合成における一歩前進であり、さまざまなカメラ パラメーターを使用して現実世界のシナリオでより現実的で柔軟なレンダリングを可能にします。

要約(オリジナル)

Novel view synthesis using neural radiance fields (NeRF) is the state-of-the-art technique for generating high-quality images from novel viewpoints. Existing methods require a priori knowledge about extrinsic and intrinsic camera parameters. This limits their applicability to synthetic scenes, or real-world scenarios with the necessity of a preprocessing step. Current research on the joint optimization of camera parameters and NeRF focuses on refining noisy extrinsic camera parameters and often relies on the preprocessing of intrinsic camera parameters. Further approaches are limited to cover only one single camera intrinsic. To address these limitations, we propose a novel end-to-end trainable approach called NeRFtrinsic Four. We utilize Gaussian Fourier features to estimate extrinsic camera parameters and dynamically predict varying intrinsic camera parameters through the supervision of the projection error. Our approach outperforms existing joint optimization methods on LLFF and BLEFF. In addition to these existing datasets, we introduce a new dataset called iFF with varying intrinsic camera parameters. NeRFtrinsic Four is a step forward in joint optimization NeRF-based view synthesis and enables more realistic and flexible rendering in real-world scenarios with varying camera parameters.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google