VMRF: View Matching Neural Radiance Fields

要約

ニューラル・ラディアンス・フィールド（NeRF）は、マルチビュー2D画像から3D表現を暗黙的にモデル化することにより、新しいビュー合成において非常に優れた性能を発揮することが示されている。しかし、多くの既存研究では、合理的なカメラポーズ初期化または手動で作成したカメラポーズ分布を用いてNeRFモデルを学習しており、これらは実世界の様々なデータで利用できないか、取得が困難であることが多い。本研究では、カメラポーズやカメラポーズ分布の事前知識を必要とせず、効果的なNeRFの学習を可能にする革新的なビューマッチングNeRF、VMRFを設計します。VMRFは、カメラポーズをランダムに初期化したレンダリング画像を対応する実画像にマッピングするための特徴量輸送計画を生成するために、不均衡最適輸送を利用したビューマッチング方式を導入している。この特徴的な輸送計画をガイダンスとして、レンダリング画像と実画像のペア間の相対的な姿勢変換を予測することにより、最初にランダム化されたカメラ姿勢を修正する新しい姿勢校正技術が設計されています。提案するVMRFは、多くの合成データセットと実データセットに対する広範な実験により、質的にも量的にも最先端技術を大きく上回ることが示される。

要約(オリジナル)

Neural Radiance Fields (NeRF) have demonstrated very impressive performance in novel view synthesis via implicitly modelling 3D representations from multi-view 2D images. However, most existing studies train NeRF models with either reasonable camera pose initialization or manually-crafted camera pose distributions which are often unavailable or hard to acquire in various real-world data. We design VMRF, an innovative view matching NeRF that enables effective NeRF training without requiring prior knowledge in camera poses or camera pose distributions. VMRF introduces a view matching scheme, which exploits unbalanced optimal transport to produce a feature transport plan for mapping a rendered image with randomly initialized camera pose to the corresponding real image. With the feature transport plan as the guidance, a novel pose calibration technique is designed which rectifies the initially randomized camera poses by predicting relative pose transformations between the pair of rendered and real images. Extensive experiments over a number of synthetic and real datasets show that the proposed VMRF outperforms the state-of-the-art qualitatively and quantitatively by large margins.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL