UP-FacE: User-predictable Fine-grained Face Shape Editing

要約

私たちは、ユーザー予測可能な顔編集 (UP-FacE) — 予測可能な顔の形状編集のための新しい方法を紹介します。
試行錯誤を伴う既存の顔編集方法とはまったく対照的に、UP-FacE による編集は人間のユーザーによって予測可能です。
つまり、ユーザーは希望する変更の程度を正確かつ決定的に制御でき、特定の編集結果を達成するために必要な変更量を前もって知ることができます。
私たちの方法では、顔のランドマークを活用して顔の特徴値を正確に測定し、手動で属性ラベルを付けることなく UP-FacE のトレーニングを容易にします。
UP-FacE の中核となるのは、事前トレーニングされた生成モデルと顔の特徴の埋め込みからの潜在ベクトルを入力として受け取り、適切な操作ベクトルを予測するトランスフォーマー ベースのネットワークです。
ユーザーが予測可能な編集を可能にするために、スケーリング レイヤーは操作ベクトルを調整して、正確に希望する程度の変更を実現します。
相関のない特徴を変更することなく、目的の特徴がターゲット値に向かって操作されることを保証するために、新しい意味論的な顔特徴の損失をさらに導入します。
定性的および定量的な結果は、UP-FacE が 23 の顔の形状特徴を正確かつきめ細かく制御できることを示しています。

要約(オリジナル)

We present User-predictable Face Editing (UP-FacE) — a novel method for predictable face shape editing. In stark contrast to existing methods for face editing using trial and error, edits with UP-FacE are predictable by the human user. That is, users can control the desired degree of change precisely and deterministically and know upfront the amount of change required to achieve a certain editing result. Our method leverages facial landmarks to precisely measure facial feature values, facilitating the training of UP-FacE without manually annotated attribute labels. At the core of UP-FacE is a transformer-based network that takes as input a latent vector from a pre-trained generative model and a facial feature embedding, and predicts a suitable manipulation vector. To enable user-predictable editing, a scaling layer adjusts the manipulation vector to achieve the precise desired degree of change. To ensure that the desired feature is manipulated towards the target value without altering uncorrelated features, we further introduce a novel semantic face feature loss. Qualitative and quantitative results demonstrate that UP-FacE enables precise and fine-grained control over 23 face shape features.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google