Bringing NeRFs to the Latent Space: Inverse Graphics Autoencoder

要約

事前に訓練された画像自動エンコーダーは、コンピュータービジョンでますます利用されていますが、2D潜在スペースでの逆グラフィックスの適用は未調査です。
しかし、トレーニングを減らして複雑さをレンダリングすることに加えて、潜在スペースに逆グラフィックスを適用することで、他の潜在ベースの2Dメソッドとの貴重な相互運用性が可能になります。
主な課題は、逆の3Dジオメトリがないため、そのような画像潜在スペースに逆グラフィックを直接適用できないことです。
この論文では、この問題に特に対処する逆グラフィックスオートエンコーダー（IG-AE）を提案します。
この目的のために、潜在スペースを共同訓練された潜在的な3Dシーンと整列させることにより、3Dジオメトリを使用して画像オートエンコーダーを正規化します。
訓練されたIG-AEを利用して、NERFSの潜在的なトレーニングパイプラインを使用して潜在スペースにnerfsを持ち込みます。これは、Nerfstudioフレームワークのオープンソース拡張に実装して、サポートされている方法の潜在的なシーン学習のロックを解除します。
Ig-AEで訓練された潜在的なNERFSが、標準の自動エンコーダーと比較して品質が向上していることを実験的に確認しますが、すべてが画像スペースで訓練されたNERFに関するトレーニングとレンダリングの加速を示します。
プロジェクトページは、https：//ig-ae.github.ioにあります。

要約(オリジナル)

While pre-trained image autoencoders are increasingly utilized in computer vision, the application of inverse graphics in 2D latent spaces has been under-explored. Yet, besides reducing the training and rendering complexity, applying inverse graphics in the latent space enables a valuable interoperability with other latent-based 2D methods. The major challenge is that inverse graphics cannot be directly applied to such image latent spaces because they lack an underlying 3D geometry. In this paper, we propose an Inverse Graphics Autoencoder (IG-AE) that specifically addresses this issue. To this end, we regularize an image autoencoder with 3D-geometry by aligning its latent space with jointly trained latent 3D scenes. We utilize the trained IG-AE to bring NeRFs to the latent space with a latent NeRF training pipeline, which we implement in an open-source extension of the Nerfstudio framework, thereby unlocking latent scene learning for its supported methods. We experimentally confirm that Latent NeRFs trained with IG-AE present an improved quality compared to a standard autoencoder, all while exhibiting training and rendering accelerations with respect to NeRFs trained in the image space. Our project page can be found at https://ig-ae.github.io .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google