Learning 3D-Aware GANs from Unposed Images with Template Feature Field

要約

トレーニング画像の正確なカメラポーズを収集することは、3D 対応の敵対的生成ネットワーク (GAN) の学習に役立つことが示されていますが、実際にはかなりのコストがかかる可能性があります。
この研究は、ポーズ未設定の画像から 3D 対応 GAN を学習することを目的としており、そのために、学習済みテンプレート特徴フィールド (TeFF) を使用してトレーニング画像のオンザフライ姿勢推定を実行することを提案します。
具体的には、以前のアプローチのような生成放射フィールドに加えて、放射フィールドからの密度を共有しながら、ジェネレータに 2D 意味論的特徴からフィールドを学習するように依頼します。
このようなフレームワークにより、生成モデルによって発見されたデータセット平均を活用して標準 3D 特徴テンプレートを取得し、実データの姿勢パラメータをさらに効率的に推定することができます。
さまざまな困難なデータセットに関する実験結果は、定性的および定量的観点の両方から、最先端の代替案よりも当社のアプローチが優れていることを示しています。

要約(オリジナル)

Collecting accurate camera poses of training images has been shown to well serve the learning of 3D-aware generative adversarial networks (GANs) yet can be quite expensive in practice. This work targets learning 3D-aware GANs from unposed images, for which we propose to perform on-the-fly pose estimation of training images with a learned template feature field (TeFF). Concretely, in addition to a generative radiance field as in previous approaches, we ask the generator to also learn a field from 2D semantic features while sharing the density from the radiance field. Such a framework allows us to acquire a canonical 3D feature template leveraging the dataset mean discovered by the generative model, and further efficiently estimate the pose parameters on real data. Experimental results on various challenging datasets demonstrate the superiority of our approach over state-of-the-art alternatives from both the qualitative and the quantitative perspectives.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google