SinGRAF: Learning a 3D Generative Radiance Field for a Single Scene

要約

生成モデルは、写真のようにリアルな 3D オブジェクトの合成に大きな期待を寄せていますが、大量のトレーニング データが必要です。
単一シーンのいくつかの入力画像でトレーニングされる 3D 対応の生成モデルである SinGRAF を紹介します。
トレーニングが完了すると、SinGRAF は、シーン レイアウトを変更しながら入力の外観を保持する、この 3D シーンのさまざまな実現を生成します。
この目的のために、3D GAN アーキテクチャの最近の進歩に基づいて構築し、トレーニング中に新しいプログレッシブ スケール パッチ識別アプローチを導入します。
いくつかの実験で、SinGRAF によって生成された結果が、品質と多様性の両方で最も近い関連作品よりも大幅に優れていることを示しています。

要約(オリジナル)

Generative models have shown great promise in synthesizing photorealistic 3D objects, but they require large amounts of training data. We introduce SinGRAF, a 3D-aware generative model that is trained with a few input images of a single scene. Once trained, SinGRAF generates different realizations of this 3D scene that preserve the appearance of the input while varying scene layout. For this purpose, we build on recent progress in 3D GAN architectures and introduce a novel progressive-scale patch discrimination approach during training. With several experiments, we demonstrate that the results produced by SinGRAF outperform the closest related works in both quality and diversity by a large margin.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google