ContraNeRF: 3D-Aware Generative Model via Contrastive Learning with Unsupervised Implicit Pose Embedding

要約

タイトル：ContraNeRF: Contrastive Learning with Unsupervised Implicit Pose Embeddingを用いた3D-Aware Generative Model

要約：

– 3D-aware GANは競争力のある性能を発揮するも、カメラポーズが明確に定義されているオブジェクトやシーンに限定されるため、適用できるデータセットが限られている。
– 提案手法では、暗黙のポーズ埋め込みを用いたコントラスティブ学習による3D-aware GANの最適化テクニックを提案する。
– これにより、別のカメラポーズを持つデータセットでも適用可能になる。
– 提案手法は、カメラポーズの検索や推定を行わないため、正規カメラポーズが不明なデータセットでも利用できる。
– 実験結果により、多数のオブジェクトカテゴリと正規カメラポーズが不一致なデータセットにおいて、提案アルゴリズムは既存の手法よりも大幅に優れた性能を発揮することが示された。

要約(オリジナル)

Although 3D-aware GANs based on neural radiance fields have achieved competitive performance, their applicability is still limited to objects or scenes with the ground-truths or prediction models for clearly defined canonical camera poses. To extend the scope of applicable datasets, we propose a novel 3D-aware GAN optimization technique through contrastive learning with implicit pose embeddings. To this end, we first revise the discriminator design and remove dependency on ground-truth camera poses. Then, to capture complex and challenging 3D scene structures more effectively, we make the discriminator estimate a high-dimensional implicit pose embedding from a given image and perform contrastive learning on the pose embedding. The proposed approach can be employed for the dataset, where the canonical camera pose is ill-defined because it does not look up or estimate camera poses. Experimental results show that our algorithm outperforms existing methods by large margins on the datasets with multiple object categories and inconsistent canonical camera poses.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI