BID-NeRF: RGB-D image pose estimation with inverted Neural Radiance Fields

要約

我々は、画像姿勢推定問題を NeRF ベースの反復線形最適化として定義する反転ニューラル ラジアンス フィールド (iNeRF) アルゴリズムを改善することを目指しています。
NeRF は、現実世界のシーンやオブジェクトのフォトリアリスティックな新しいビューを合成できる新しい神経空間表現モデルです。
私たちの貢献は次のとおりです。深度ベースの損失関数を使用して位置特定の最適化目標を拡張し、計算の複雑さを増加させることなく、既知の相対姿勢を持つ一連の画像を使用する複数画像ベースの損失関数を導入し、階層的なサンプリングを省略しました。
ボリューム レンダリング中、つまり粗いモデルのみが姿勢推定に使用されます。また、サンプリング間隔を延長することで、初期姿勢推定誤差が均等またはそれ以上に収束する方法を説明します。
提案された修正により、収束速度が大幅に向上し、収束領域が大幅に拡張されます。

要約(オリジナル)

We aim to improve the Inverted Neural Radiance Fields (iNeRF) algorithm which defines the image pose estimation problem as a NeRF based iterative linear optimization. NeRFs are novel neural space representation models that can synthesize photorealistic novel views of real-world scenes or objects. Our contributions are as follows: we extend the localization optimization objective with a depth-based loss function, we introduce a multi-image based loss function where a sequence of images with known relative poses are used without increasing the computational complexity, we omit hierarchical sampling during volumetric rendering, meaning only the coarse model is used for pose estimation, and we how that by extending the sampling interval convergence can be achieved even or higher initial pose estimate errors. With the proposed modifications the convergence speed is significantly improved, and the basin of convergence is substantially extended.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google