One-shot Generative Domain Adaptation in 3D GANs

要約

3D 対応の画像生成には、安定したトレーニングを確保し、オーバーフィッティングのリスクを軽減するために、広範なトレーニング データが必要です。
この論文ではまず、ワンショット 3D ジェネレーティブ ドメイン アダプテーション (GDA) として知られる新しいタスクについて検討します。このタスクは、単一の参照画像のみに依存して、事前トレーニング済み 3D ジェネレーターを 1 つのドメインから新しいドメインに転送することを目的としています。
ワンショット 3D GDA は、特定の属性、つまり高忠実度、大きな多様性、クロスドメインの一貫性、およびマルチビューの一貫性を追求することを特徴としています。
このペーパーでは、多様かつ忠実な生成を実現する初のワンショット 3D GDA 手法である 3D-Adapter を紹介します。
私たちのアプローチは、微調整のために制限された重みセットを慎重に選択することから始まり、その後、適応を容易にするために 4 つの高度な損失関数を活用します。
適応プロセスを強化するために、効率的な漸進的微調整戦略も実装されています。
これら 3 つの技術コンポーネントの相乗効果により、3D-Adapter は、3D GDA のすべての望ましい特性にわたって量的および定性的に実証された顕著なパフォーマンスを達成できるようになります。
さらに、3D アダプターはその機能をゼロショット シナリオまでシームレスに拡張し、補間、再構築、編集などの重要なタスクの可能性を事前トレーニングされたジェネレーターの潜在空間内に保持します。
コードは https://github.com/iceli1007/3D-Adapter で入手できます。

要約(オリジナル)

3D-aware image generation necessitates extensive training data to ensure stable training and mitigate the risk of overfitting. This paper first considers a novel task known as One-shot 3D Generative Domain Adaptation (GDA), aimed at transferring a pre-trained 3D generator from one domain to a new one, relying solely on a single reference image. One-shot 3D GDA is characterized by the pursuit of specific attributes, namely, high fidelity, large diversity, cross-domain consistency, and multi-view consistency. Within this paper, we introduce 3D-Adapter, the first one-shot 3D GDA method, for diverse and faithful generation. Our approach begins by judiciously selecting a restricted weight set for fine-tuning, and subsequently leverages four advanced loss functions to facilitate adaptation. An efficient progressive fine-tuning strategy is also implemented to enhance the adaptation process. The synergy of these three technological components empowers 3D-Adapter to achieve remarkable performance, substantiated both quantitatively and qualitatively, across all desired properties of 3D GDA. Furthermore, 3D-Adapter seamlessly extends its capabilities to zero-shot scenarios, and preserves the potential for crucial tasks such as interpolation, reconstruction, and editing within the latent space of the pre-trained generator. Code will be available at https://github.com/iceli1007/3D-Adapter.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google