MELON: NeRF with Unposed Images Using Equivalence Class Estimation

要約

ニューラル放射輝度フィールドは、少数の画像からフォトリアリスティックな品質で斬新なビューの合成とシーンの再構成を可能にしますが、既知の正確なカメラ ポーズが必要です。
従来のポーズ推定アルゴリズムは、滑らかなシーンや自己相似シーンでは失敗しますが、ポーズをとっていないビューから逆レンダリングを実行する方法では、カメラの向きを大まかに初期化する必要があります。
ポーズ推定の主な難しさは、実際のオブジェクトが特定の変換の下でほとんど不変であり、レンダリングされたビュー間の測光距離がカメラ パラメーターに関して非凸になることにあります。
カメラ空間の極小値の分布に一致する等価関係を使用して、この空間をその商集合に減らします。この商集合では、姿勢推定がより凸の問題になります。
ニューラルネットワークを使用してポーズ推定を正則化することで、私たちの方法である MELON が、敵対的アプローチよりも 10 分の 1 のビューしか必要とせずに、最先端の精度で非ポーズ画像からニューラル放射輝度フィールドを再構築できることを実証します。

要約(オリジナル)

Neural radiance fields enable novel-view synthesis and scene reconstruction with photorealistic quality from a few images, but require known and accurate camera poses. Conventional pose estimation algorithms fail on smooth or self-similar scenes, while methods performing inverse rendering from unposed views require a rough initialization of the camera orientations. The main difficulty of pose estimation lies in real-life objects being almost invariant under certain transformations, making the photometric distance between rendered views non-convex with respect to the camera parameters. Using an equivalence relation that matches the distribution of local minima in camera space, we reduce this space to its quotient set, in which pose estimation becomes a more convex problem. Using a neural-network to regularize pose estimation, we demonstrate that our method – MELON – can reconstruct a neural radiance field from unposed images with state-of-the-art accuracy while requiring ten times fewer views than adversarial approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google