Learning 3D-aware Image Synthesis with Unknown Pose Distribution

要約

3D 認識画像合成の既存の方法は、トレーニング セットで事前に推定された 3D 姿勢分布に大きく依存しています。
不正確な推定により、モデルが誤ったジオメトリを学習してしまう可能性があります。
この作品は、生成放射輝度フィールドを 3D ポーズ プライアの要件から解放する PoF3D を提案します。
最初に、潜在コードからポーズを推測できる効率的なポーズ学習器をジェネレーターに装備し、基になる真のポーズ分布を自動的に近似します。
次に、ジェネレーターの監督下でポーズ分布を学習し、予測されたポーズを条件として実画像と合成画像を区別するタスクを弁別器に割り当てます。
ポーズフリージェネレーターとポーズ認識ディスクリミネーターは、敵対的な方法で共同でトレーニングされます。
いくつかのデータセットに関する広範な結果により、画像品質とジオメトリ品質の両方に関して、私たちのアプローチのパフォーマンスが最先端のものと同等であることが確認されています。
私たちの知る限りでは、PoF3D は、3D ポーズの優先順位を初めて使用せずに、高品質の 3D 対応の画像合成を学習する可能性を示しています。

要約(オリジナル)

Existing methods for 3D-aware image synthesis largely depend on the 3D pose distribution pre-estimated on the training set. An inaccurate estimation may mislead the model into learning faulty geometry. This work proposes PoF3D that frees generative radiance fields from the requirements of 3D pose priors. We first equip the generator with an efficient pose learner, which is able to infer a pose from a latent code, to approximate the underlying true pose distribution automatically. We then assign the discriminator a task to learn pose distribution under the supervision of the generator and to differentiate real and synthesized images with the predicted pose as the condition. The pose-free generator and the pose-aware discriminator are jointly trained in an adversarial manner. Extensive results on a couple of datasets confirm that the performance of our approach, regarding both image quality and geometry quality, is on par with state of the art. To our best knowledge, PoF3D demonstrates the feasibility of learning high-quality 3D-aware image synthesis without using 3D pose priors for the first time.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google