BAA-NGP: Bundle-Adjusting Accelerated Neural Graphics Primitives

要約

暗黙神経表現は、2D画像から3Dシーンを再構成するための強力な手法として登場した。カメラのポーズと関連する画像のセットがあれば、モデルを学習させて、見たことのない新しいビューを合成することができる。暗黙的ニューラル表現のユースケースを拡大するためには、表現学習の一部としてカメラポーズ推定機能を組み込む必要がある。これは、一般的にカメラが追跡されていない実世界のビデオシーケンスからシーンを再構成するために必要だからである。COLMAPや、最近ではバンドル調整ニューラル輝度フィールド法のような既存のアプローチは、しばしば処理時間の長さに悩まされている。数時間から数日に及ぶこれらの遅延は、手間のかかる特徴マッチング、ハードウェアの制限、高密度な点サンプリング、多数のパラメータを持つ多層パーセプトロン構造に必要な長い学習時間から生じる。これらの課題に対処するために、我々はバンドル調整加速ニューラルグラフィックスプリミティブ（BAA-NGP）と呼ばれるフレームワークを提案する。本アプローチでは、加速サンプリングとハッシュエンコーディングを活用することで、ポーズの精密化・推定と3Dシーンの再構成の両方を高速化する。実験結果では、ポーズ推定の品質を犠牲にすることなく、他のバンドル調整ニューラル放射フィールド手法と比較して、新規ビュー合成において10～20倍$以上の速度改善を達成することが実証された。githubリポジトリはこちらhttps://github.com/IntelLabs/baa-ngp。

要約(オリジナル)

Implicit neural representation has emerged as a powerful method for reconstructing 3D scenes from 2D images. Given a set of camera poses and associated images, the models can be trained to synthesize novel, unseen views. In order to expand the use cases for implicit neural representations, we need to incorporate camera pose estimation capabilities as part of the representation learning, as this is necessary for reconstructing scenes from real-world video sequences where cameras are generally not being tracked. Existing approaches like COLMAP and, most recently, bundle-adjusting neural radiance field methods often suffer from lengthy processing times. These delays ranging from hours to days, arise from laborious feature matching, hardware limitations, dense point sampling, and long training times required by a multi-layer perceptron structure with a large number of parameters. To address these challenges, we propose a framework called bundle-adjusting accelerated neural graphics primitives (BAA-NGP). Our approach leverages accelerated sampling and hash encoding to expedite both pose refinement/estimation and 3D scene reconstruction. Experimental results demonstrate that our method achieves a more than 10 to 20 $\times$ speed improvement in novel view synthesis compared to other bundle-adjusting neural radiance field methods without sacrificing the quality of pose estimation. The github repository can be found here https://github.com/IntelLabs/baa-ngp.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL