MC-NeRF: Multi-Camera Neural Radiance Fields for Multi-Camera Image Acquisition Systems

要約

Neural Radiance Fields (NeRF) は、3D シーン表現にマルチビュー画像を採用しており、顕著なパフォーマンスを示しています。
マルチカメラ システムは、マルチビュー画像の主要なソースの 1 つとして、固有パラメータの変化やポーズの頻繁な変更などの課題に直面します。
これまでの NeRF ベースの手法のほとんどは、グローバルに固有のカメラを想定しており、複数のカメラを使用するシナリオをほとんど考慮していません。
さらに、一部のポーズ堅牢なメソッドは、ポーズの初期化が不十分な場合、依然として次善の解決策の影響を受けやすいままです。
この論文では、バンドル調整神経放射フィールドの内部パラメータと外部パラメータの両方を共同で最適化できる方法である MC-NeRF を提案します。
まず、内部パラメータと外部パラメータの間の結合最適化から生じる縮退ケースとカップリングの問題に取り組むための理論的分析を実行します。
第二に、提案されたソリューションに基づいて、キャリブレーションオブジェクトの設計を含む、マルチカメラシステム用の効率的なキャリブレーション画像取得スキームを紹介します。
最後に、内部パラメータと外部パラメータの回帰を可能にするトレーニング シーケンスを備えたグローバル エンドツーエンド ネットワークと、レンダリング ネットワークを紹介します。
さらに、既存のデータセットのほとんどは独自のカメラ用に設計されているため、4 つの異なるスタイルのマルチカメラ取得システムを含む新しいデータセットを作成し、読者がカスタム データセットを生成できるようにします。
実験により、各画像が異なるカメラパラメータに対応する場合のこの方法の有効性が確認されます。
具体的には、110 種類の異なる内部パラメータと外部パラメータを持つ最大 110 枚の画像を採用し、初期ポーズを提供せずに 3D シーン表現を実現します。
コードと補足資料は https://in2-viaun.github.io/MC-NeRF で入手できます。

要約(オリジナル)

Neural Radiance Fields (NeRF) employ multi-view images for 3D scene representation and have shown remarkable performance. As one of the primary sources of multi-view images, multi-camera systems encounter challenges such as varying intrinsic parameters and frequent pose changes. Most previous NeRF-based methods often assume a global unique camera and seldom consider scenarios with multiple cameras. Besides, some pose-robust methods still remain susceptible to suboptimal solutions when poses are poor initialized. In this paper, we propose MC-NeRF, a method can jointly optimize both intrinsic and extrinsic parameters for bundle-adjusting Neural Radiance Fields. Firstly, we conduct a theoretical analysis to tackle the degenerate case and coupling issue that arise from the joint optimization between intrinsic and extrinsic parameters. Secondly, based on the proposed solutions, we introduce an efficient calibration image acquisition scheme for multi-camera systems, including the design of calibration object. Lastly, we present a global end-to-end network with training sequence that enables the regression of intrinsic and extrinsic parameters, along with the rendering network. Moreover, most existing datasets are designed for unique camera, we create a new dataset that includes four different styles of multi-camera acquisition systems, allowing readers to generate custom datasets. Experiments confirm the effectiveness of our method when each image corresponds to different camera parameters. Specifically, we adopt up to 110 images with 110 different intrinsic and extrinsic parameters, to achieve 3D scene representation without providing initial poses. The Code and supplementary materials are available at https://in2-viaun.github.io/MC-NeRF.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google