ClipFace: Text-guided Editing of Textured 3D Morphable Models

要約

タイトル: ClipFace: テキストによるテキスチャ付き3Dモーフィングモデルの編集

要約:
– ClipFaceは、自己監督学習アプローチで、テキスチャ付きの3Dモーフィングフェイスモデルのテキストによる編集を提案している
– 3Dモーフィングモデルの幾何学的表現力を生かし、表情や外観を制御するためのユーザーフレンドリーな言語プロンプトを使用する
– 3Dモーフィングモデルは、制御性やテキスチャ表現力が限定的であるため、自己監督学習による生成モデルを開発することで表現豊かでテキスチャ付き、アーティキュレーションのある顔を3Dで合成する
– 実際のRGB画像のコレクションに対する微分可能レンダリングによって誘導された敵対的自己監督学習により、3D顔の高品質なテキスチャ生成を可能にする
– 言語プロンプトによる編集と操作により、3Dモーフィングモデルのテキスチャや表情を適応させることができる
– モデルは、モーフィングモデルのテキスチャと表情の両方の潜在的コードを予測するニューラルネットワークによって実現され、事前学習されたCLIPモデルに基づくレンダリングと損失を利用して自己監督学習される
– 訓練が終了すると、モデルはUV空間内で顔のテキスチャと表情パラメータを同時に予測し、単一のフォワードパスで顔の幾何学的またはテキストチャの変更をキャプチャする
– さらに、アニメーションシークエンスの生成された時間変化するテキスチャを生成する方法も示される。

要約(オリジナル)

We propose ClipFace, a novel self-supervised approach for text-guided editing of textured 3D morphable model of faces. Specifically, we employ user-friendly language prompts to enable control of the expressions as well as appearance of 3D faces. We leverage the geometric expressiveness of 3D morphable models, which inherently possess limited controllability and texture expressivity, and develop a self-supervised generative model to jointly synthesize expressive, textured, and articulated faces in 3D. We enable high-quality texture generation for 3D faces by adversarial self-supervised training, guided by differentiable rendering against collections of real RGB images. Controllable editing and manipulation are given by language prompts to adapt texture and expression of the 3D morphable model. To this end, we propose a neural network that predicts both texture and expression latent codes of the morphable model. Our model is trained in a self-supervised fashion by exploiting differentiable rendering and losses based on a pre-trained CLIP model. Once trained, our model jointly predicts face textures in UV-space, along with expression parameters to capture both geometry and texture changes in facial expressions in a single forward pass. We further show the applicability of our method to generate temporally changing textures for a given animation sequence.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI