ControlFace: Harnessing Facial Parametric Control for Face Rigging

要約

ポーズ、表情、照明などの特定の制御を満たすための顔画像の操作は、顔のリギングとしても知られ、コンピュータビジョンにおける複雑なタスクである。既存の手法は、画像データセットに依存しているため、個人特有の微調整が必要であり、きめ細かなアイデンティティや意味的な詳細を保持する能力が制限され、実用的な使い勝手が低下しています。これらの限界を克服するために、我々は、柔軟で忠実度の高い制御を可能にする、3DMMレンダリングを条件とする新しい顔リギング手法であるControlFaceを紹介する。この手法では、2分岐のU-Netを使用します。1つはFaceNetと呼ばれ、アイデンティティと細かいディテールをキャプチャし、もう1つは生成に焦点を当てます。制御精度を向上させるために、制御ミキサーモジュールは、ターゲットに合わせた制御と参照に合わせた制御の間の相関特徴を符号化し、新しいガイダンス手法である参照制御ガイダンスが、より良い制御の順守のために生成プロセスを制御する。顔動画データセットで学習することで、制御の忠実性を確保しつつ、FaceNetの豊富な表現をフルに活用する。広範な実験により、ControlFaceのアイデンティティ保持と制御精度における優れた性能が実証され、その実用性が強調されました。プロジェクトのウェブサイトhttps://cvlab-kaist.github.io/ControlFace/。

要約(オリジナル)

Manipulation of facial images to meet specific controls such as pose, expression, and lighting, also known as face rigging, is a complex task in computer vision. Existing methods are limited by their reliance on image datasets, which necessitates individual-specific fine-tuning and limits their ability to retain fine-grained identity and semantic details, reducing practical usability. To overcome these limitations, we introduce ControlFace, a novel face rigging method conditioned on 3DMM renderings that enables flexible, high-fidelity control. We employ a dual-branch U-Nets: one, referred to as FaceNet, captures identity and fine details, while the other focuses on generation. To enhance control precision, the control mixer module encodes the correlated features between the target-aligned control and reference-aligned control, and a novel guidance method, reference control guidance, steers the generation process for better control adherence. By training on a facial video dataset, we fully utilize FaceNet’s rich representations while ensuring control adherence. Extensive experiments demonstrate ControlFace’s superior performance in identity preservation and control precision, highlighting its practicality. Please see the project website: https://cvlab-kaist.github.io/ControlFace/.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL