Exploring 3D-aware Latent Spaces for Efficiently Learning Numerous Scenes

要約

意味的に類似した多数のシーンを学習するために NeRF のスケーリングを可能にする方法を紹介します。
2 つの手法を組み合わせて、シーンごとに必要なトレーニング時間とメモリ コストを改善します。
まず、Tri-Plane シーン表現をトレーニングする 3D 認識の潜在空間を学習するため、シーンが学習される解像度が低下します。
さらに、シーン間で共通の情報を共有する方法を提案するため、特定のシーンを学習するためのモデルの複雑さを軽減できます。
私たちの方法では、1,000 シーンをトレーニングする場合、シーンごとの効果的なメモリ コストが 44%、シーンごとの時間コストが 86% 削減されます。
私たちのプロジェクト ページは https://3da-ae.github.io にあります。

要約(オリジナル)

We present a method enabling the scaling of NeRFs to learn a large number of semantically-similar scenes. We combine two techniques to improve the required training time and memory cost per scene. First, we learn a 3D-aware latent space in which we train Tri-Plane scene representations, hence reducing the resolution at which scenes are learned. Moreover, we present a way to share common information across scenes, hence allowing for a reduction of model complexity to learn a particular scene. Our method reduces effective per-scene memory costs by 44% and per-scene time costs by 86% when training 1000 scenes. Our project page can be found at https://3da-ae.github.io .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google