CamP: Camera Preconditioning for Neural Radiance Fields

要約

Neural Radiance Fields (NeRF) を最適化して、オブジェクトや大規模シーンの高忠実度 3D シーン再構築を取得できます。
ただし、NeRF は入力として正確なカメラ パラメーターを必要とします。不正確なカメラ パラメーターはレンダリングがぼやけてしまいます。
外部カメラ パラメータと内部カメラ パラメータは通常、NeRF の前処理ステップとして Structure-from-Motion (SfM) 法を使用して推定されますが、これらの技術で完璧な推定値が得られることはほとんどありません。
したがって、これまでの研究では、NeRF と並行してカメラ パラメータを共同最適化することが提案されてきましたが、これらの方法は、困難な設定では極小値になる傾向があります。
この研究では、さまざまなカメラのパラメータ化がこの結合最適化問題にどのような影響を与えるかを分析し、標準的なパラメータ化が小さな摂動に関して大きさに大きな違いを示し、それが悪条件の最適化問題につながる可能性があることを観察しました。
私たちは、代理問題を使用して、カメラ パラメーター間の相関を排除し、その効果を正規化する白色化変換を計算することを提案します。また、この変換を共同最適化中にカメラ パラメーターの前提条件として使用することを提案します。
事前調整されたカメラの最適化により、Mip-NeRF 360 データセットからのシーンの再構成品質が大幅に向上します。Zip-NeRF などのカメラ用に最適化されていない最先端の NeRF アプローチと比較して、エラー率 (RMSE) が 67% 削減されます。
SCNeRF のカメラ パラメータ化を使用した最先端の共同最適化アプローチと比較して 29% 向上しました。
私たちのアプローチは実装が簡単で、ランタイムが大幅に増加することはなく、さまざまなカメラのパラメーター化に適用でき、他の NeRF のようなモデルに直接組み込むことができます。

要約(オリジナル)

Neural Radiance Fields (NeRF) can be optimized to obtain high-fidelity 3D scene reconstructions of objects and large-scale scenes. However, NeRFs require accurate camera parameters as input — inaccurate camera parameters result in blurry renderings. Extrinsic and intrinsic camera parameters are usually estimated using Structure-from-Motion (SfM) methods as a pre-processing step to NeRF, but these techniques rarely yield perfect estimates. Thus, prior works have proposed jointly optimizing camera parameters alongside a NeRF, but these methods are prone to local minima in challenging settings. In this work, we analyze how different camera parameterizations affect this joint optimization problem, and observe that standard parameterizations exhibit large differences in magnitude with respect to small perturbations, which can lead to an ill-conditioned optimization problem. We propose using a proxy problem to compute a whitening transform that eliminates the correlation between camera parameters and normalizes their effects, and we propose to use this transform as a preconditioner for the camera parameters during joint optimization. Our preconditioned camera optimization significantly improves reconstruction quality on scenes from the Mip-NeRF 360 dataset: we reduce error rates (RMSE) by 67% compared to state-of-the-art NeRF approaches that do not optimize for cameras like Zip-NeRF, and by 29% relative to state-of-the-art joint optimization approaches using the camera parameterization of SCNeRF. Our approach is easy to implement, does not significantly increase runtime, can be applied to a wide variety of camera parameterizations, and can straightforwardly be incorporated into other NeRF-like models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google