Enhancing the Authenticity of Rendered Portraits with Identity-Consistent Transfer Learning

要約

コンピューター グラフィックスの急速な進歩にも関わらず、高品質で写真のようにリアルな仮想ポートレートを作成するには法外に高価です。
さらに、レンダリングされたポートレートにおけるよく知られた「不気味の谷」効果は、特に描写が人間の肖像に非常に似ている場合に、ユーザー エクスペリエンスに重大な影響を及ぼし、小さなアーティファクトが不気味さや嫌悪感を呼び起こす可能性があります。
この論文では、「不気味の谷」効果を効果的に軽減し、レンダリングされたポートレートの全体的な信頼性を向上できる、新しい写真のようにリアルなポートレート生成フレームワークを紹介します。
私たちの重要なアイデアは、転移学習を使用して、レンダリングされたポートレートの潜在空間から実際のポートレートの潜在空間への同一性の一貫したマッピングを学習することです。
推論段階では、顔の同一性を維持しながら外観スタイルを変更することで、アバターの入力ポートレートを現実的なポートレートに直接変換できます。
この目的を達成するために、レンダリング スタイルのポートレート用に特別に設計された新しいデータセット Daz-Rendered-Faces-HQ (DRFHQ) を収集します。
このデータセットを利用して、慎重に作成されたフレームワークを使用して StyleGAN2 ジェネレーターを微調整します。これにより、顔のアイデンティティに関連する幾何学的特徴と色の特徴が保持されます。
性別、年齢、人種のバリエーションが多様なポートレートを使用してフレームワークを評価します。
定性的および定量的な評価とアブレーション研究により、最先端のアプローチと比較した当社の方法の利点が示されています。

要約(オリジナル)

Despite rapid advances in computer graphics, creating high-quality photo-realistic virtual portraits is prohibitively expensive. Furthermore, the well-know ”uncanny valley” effect in rendered portraits has a significant impact on the user experience, especially when the depiction closely resembles a human likeness, where any minor artifacts can evoke feelings of eeriness and repulsiveness. In this paper, we present a novel photo-realistic portrait generation framework that can effectively mitigate the ”uncanny valley” effect and improve the overall authenticity of rendered portraits. Our key idea is to employ transfer learning to learn an identity-consistent mapping from the latent space of rendered portraits to that of real portraits. During the inference stage, the input portrait of an avatar can be directly transferred to a realistic portrait by changing its appearance style while maintaining the facial identity. To this end, we collect a new dataset, Daz-Rendered-Faces-HQ (DRFHQ), that is specifically designed for rendering-style portraits. We leverage this dataset to fine-tune the StyleGAN2 generator, using our carefully crafted framework, which helps to preserve the geometric and color features relevant to facial identity. We evaluate our framework using portraits with diverse gender, age, and race variations. Qualitative and quantitative evaluations and ablation studies show the advantages of our method compared to state-of-the-art approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google