Lightplane: Highly-Scalable Components for Neural 3D Fields

要約

現代の 3D 研究、特に再構成と生成では、入力または監視として 2D 画像に大きく依存しています。
ただし、これらの 2D-3D マッピングの現在の設計はメモリを大量に消費するため、既存の方法にとって重大なボトルネックとなり、新しいアプリケーションの妨げとなります。
これに応えて、2D-3D マッピングでのメモリ使用量を大幅に削減する、3D ニューラル フィールド用のスケーラブルなコンポーネントのペアである Lightplane Render と Splatter を提案します。
これらの革新により、少ないメモリと計算コストで、はるかに多くのより高解像度の画像を処理できるようになります。
画像レベルの損失を伴う単一シーンの最適化による恩恵から、3D 再構成と生成を劇的に拡張するための多用途パイプラインの実現まで、さまざまなアプリケーションにおけるその有用性を実証します。
コード: \url{https://github.com/facebookresearch/lightplane}。

要約(オリジナル)

Contemporary 3D research, particularly in reconstruction and generation, heavily relies on 2D images for inputs or supervision. However, current designs for these 2D-3D mapping are memory-intensive, posing a significant bottleneck for existing methods and hindering new applications. In response, we propose a pair of highly scalable components for 3D neural fields: Lightplane Render and Splatter, which significantly reduce memory usage in 2D-3D mapping. These innovations enable the processing of vastly more and higher resolution images with small memory and computational costs. We demonstrate their utility in various applications, from benefiting single-scene optimization with image-level losses to realizing a versatile pipeline for dramatically scaling 3D reconstruction and generation. Code: \url{https://github.com/facebookresearch/lightplane}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google