MaTe3D: Mask-guided Text-based 3D-aware Portrait Editing

要約

3Dを意識した肖像画編集は、様々な分野で幅広く応用されている。しかし、現在のアプローチは、マスクガイドまたはテキストベースの編集しか行えないため、限界がある。また、この2つの編集方法を融合させたモデルであっても、編集の品質や安定性を確保することはできません。この限界に対処するために、我々はマスクガイド型テキストベース3D認識似顔絵編集を提案する。このフレームワークでは、まず、提案されたSDFと密度の一貫性損失を用いてローカル表現とグローバル表現を学習する、新しいSDFベースの3D生成器を導入する。これにより、局所領域におけるマスクに基づく編集が強化される。第二に、新しい蒸留戦略を提示する：第二に、新しい蒸留戦略である、ジオメトリとテクスチャに関する条件付き蒸留（CDGT）を提案する。従来の蒸留戦略と比較して、視覚的な曖昧さを緩和し、テクスチャとジオメトリのミスマッチを回避することで、編集中に安定したテクスチャと説得力のあるジオメトリを生成する。さらに、モデルの汎化と拡張を探索するために、大規模な高解像度猫顔アノテーションであるCatMask-HQデータセットを作成する。FFHQデータセットとCatMask-HQデータセットの両方で高価な実験を行い、提案手法の編集品質と安定性を実証する。我々の手法は、修正されたマスクとテキストプロンプトに基づいて、3Dを意識した編集顔画像を忠実に生成する。我々のコードとモデルは一般に公開される予定である。

要約(オリジナル)

3D-aware portrait editing has a wide range of applications in multiple fields. However, current approaches are limited due that they can only perform mask-guided or text-based editing. Even by fusing the two procedures into a model, the editing quality and stability cannot be ensured. To address this limitation, we propose \textbf{MaTe3D}: mask-guided text-based 3D-aware portrait editing. In this framework, first, we introduce a new SDF-based 3D generator which learns local and global representations with proposed SDF and density consistency losses. This enhances masked-based editing in local areas; second, we present a novel distillation strategy: Conditional Distillation on Geometry and Texture (CDGT). Compared to exiting distillation strategies, it mitigates visual ambiguity and avoids mismatch between texture and geometry, thereby producing stable texture and convincing geometry while editing. Additionally, we create the CatMask-HQ dataset, a large-scale high-resolution cat face annotation for exploration of model generalization and expansion. We perform expensive experiments on both the FFHQ and CatMask-HQ datasets to demonstrate the editing quality and stability of the proposed method. Our method faithfully generates a 3D-aware edited face image based on a modified mask and a text prompt. Our code and models will be publicly released.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL